Technische Samenvatting: Hoe Nuttig Is Cross-Domain Generalisatie voor het Trainen van LLM-monitoren?

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als classifiers voor veiligheids- en uitlijningsmonitoring, zoals het detecteren van schadelijke gebruikersintenties of het identificeren van gevaarlijk AI-gedrag. Hoewel gepromptte modellen flexibiliteit bieden, missen ze vaak de robuustheid en prestaties van gespecialiseerde, fijngefineerde classifiers. Omgekeerd vereist gespecialiseerde fijnfine-tuning doorgaans grote hoeveelheden gelabelde data binnen het domein, wat vaak schaars is. Bovendien kan training op een enkele classificatietask leiden tot "shortcut learning", waarbij modellen regels afleiden uit datapatronen in plaats van de specifieke prompt te volgen, wat tot falen leidt wanneer de prompt verandert.

Dit artikel onderzoekt of het trainen van LLMs op meerdere classificatietasks (elk met zijn eigen prompt) cross-domain generalisatie mogelijk maakt. De auteurs stellen specifiek de volgende vragen:

1. Verbeterd het trainen op een classificatietask in het ene domein (bijv. cyber-schade) de prestaties op ongezette tasks in aangrenzende domeinen (bijv. AI-controlemonitoring)?
2. Kan deze training worden gecombineerd met algemene instructievolgende training zonder de classificatievoordelen te verdunnen?
3. Transfereren de voordelen van single-token classificatietraining naar generatieve tasks zoals "thinking"-classificatie en samenvatting?

Methodologie

De auteurs hebben uitgebreide experimenten uitgevoerd met de Qwen3-familie van modellen (8B, 32B en 235B parameters).

Datasets

De studie maakte gebruik van verschillende datasets:

• Synthetische Schadedatasets: Conversaties over chemische schade (50k) en cyber-schade (50k), gelabeld op basis van de gebruikersintentie om specifieke schade te veroorzaken.
• AI-controle Dataset: ControlArena (4k), met transcripties van AI-agenten die coderingstasks uitvoeren, gelabeld op gevaarlijke, niet-aangevraagde acties (bijv. sabotage, ondermijning van toezicht).
• Out-of-Distribution Tasks: IMDB (sentimentanalyse) en Covert Reasoning (het detecteren van verborgen wiskundige redenering in biologie-tasks).

Trainingsprotocollen

• Fijnfine-tuning: De auteurs gebruikten LoRA (Low-Rank Adaptation) voor efficiënte supervised fine-tuning (SFT).
• Classificatieformaten:
  • 1-token: Modellen geven "1" of "0" uit.
  • Thinking: Modellen genereren redenering voordat ze een betrouwbaarheidsscore (0-100) uitbrengen.
• Trainingsstrategieën:
  • Single-task vs. Multi-task: Training op specifieke domeinen versus het mengen van domeinen.
  • Gegroepeerde Training: Om "verdunning" van de classificatieverlies te voorkomen bij het mengen met enorme instructievolgende datasets, vergeleken de auteurs het shuffelen van data met een twee-stappenbenadering: eerst alle classificatietraining uitvoeren, gevolgd door instructievolgende training.
  • Versterkend Leren (RL): Sommige modellen ondergingen CISPO RL-training, geïnitieerd met checkpoints van 1-token SFT.

Evaluatiemetingen

Prestaties werden primair gemeten met AUC (AUROC). Voor hoogpresterende scenario's werd logAUC gebruikt om te focussen op lage false-positive rates die relevant zijn voor implementatie.

Belangrijkste Bijdragen en Resultaten

1. Cross-Domain Generalisatie

Training op een classificatietask in het ene domein verbetert de prestaties aanzienlijk op aangrenzende, ongezette domeinen.

• Transfer naar Aangrenzende Domeinen: Een model getraind op "cyber-schade"-classificatie herstelde 75% van de prestatieverbetering die werd behaald door direct te trainen op de "ControlArena"-task (AI-controle), ondanks dat er nul in-domein trainingsdata voor ControlArena beschikbaar was.
• Mitigatie van Data-schaarste: Het toevoegen van out-of-domain data (cyber-schade) aan beperkte in-domein data (ControlArena) verbeterde de prestaties, zelfs wanneer de out-of-domain data 14 keer groter was dan de in-domein data. Dit suggereert dat data uit aangrenzende domeinen een haalbaar supplement is wanneer in-domein data schaars is.
• Transfer van Robuustheid: Training op cyber-schadedata aangevuld met prompt-injecties verbeterde de robuustheid tegen prompt-injecties in het ControlArena-domein, waarbij de transfer plaatsvond over zowel het domein als de injectiepositie.

2. Mitigatie van Generalisatiefouten

De auteurs identificeerden twee specifieke faalmodi waarbij single-task fijnfine-tuning ertoe leidt dat modellen nieuwe prompts negeren:

• Overflowing: Het model trekt een bredere classificatiegrens dan de prompt specificeert (bijv. chemische schade markeren wanneer alleen over cyberaanvallen wordt gevraagd).
• Sticking: Het model negeert een volledig nieuwe prompt (bijv. "Is de gebruiker Frans?") en blijft de trainingsclassificatieregel toepassen op bekende data.

Oplossing: De auteurs ontdekten dat training op algemene instructievolgende data naast classificatiedata deze fouten mitigeert. Cruciaal is dat het simpelweg mengen van data leidt tot verdunning. De meest effectieve aanpak is gegroepeerde training: eerst classificatie-SFT uitvoeren, gevolgd door instructievolgende SFT. Dit behoudt de classificatievoordelen terwijl het het vermogen van het model om nieuwe prompts te volgen, herstelt.

3. Transfer naar Generatieve Tasks

Verrassend genoeg verbetert 1-token classificatietraining (waarbij geen redeneersporen worden gebruikt) de prestaties op tasks die generatie en redenering vereisen:

• Thinking-classificatie: Het trainen van een model op 1-token cyber-schade-classificatie verhoogde de "thinking"-classificatie AUC op ControlArena van 0,84 naar 0,94, ondanks dat het nooit was getraind op het thinking-formaat.
• Samenvatting: Modellen getraind via 1-token SFT waren beter in het identificeren van gevaarlijke acties wanneer ze werden gevraagd transcripties samen te vatten, wat leidde tot een toename in het tempo waarmee neventasks werden geïdentificeerd en als verdacht werden gemarkeerd.
• Bootstrapping: De auteurs demonstreerden een onbewaakte techniek waarbij 1-token SFT iteratief wordt gebruikt om data te labelen in de "thinking"-modus, wat vervolgens wordt gebruikt om het model verder te trainen, waardoor de prestaties van training met ground-truth labels worden benaderd zonder labels te gebruiken.

4. Compatibiliteit met Algemene Capaciteiten

Fijnfine-tuning op classificatietasks degradeerde de algemene capaciteiten niet. Benchmarks op IFEval en MMLU-Pro toonden geen meetbare prestatiedaling na 1-token SFT op cyber-schadedata.

Betekenis en Claims

Het artikel betoogt dat single-token classificatietraining een krachtige, instrumenteel nuttige techniek is voor het bouwen van AI-monitoren. De betekenis ligt in drie hoofdgebieden:

1. Efficiëntie: Het maakt het mogelijk om robuuste monitoren te creëren met beperkte in-domein data door gebruik te maken van datasets uit aangrenzende domeinen.
2. Robuustheid: Het verbetert de modelprestaties niet alleen op de specifieke classificatietask, maar ook op complex redeneren (thinking) en generatieve tasks (samenvatting) die relevant zijn voor monitoring.
3. Integratie: Het demonstreert dat gespecialiseerde classifier-training succesvol kan worden geïntegreerd met algemene instructievolgende training, mits de training gestructureerd (gegroepeerd) is om verdunning te voorkomen.

De auteurs concluderen dat deze aanpak een praktische weg biedt naar het bouwen van sterkere AI-controlemonitoren die effectief functioneren als zowel classifiers als componenten in bredere monitoringssystemen, zonder afbreuk te doen aan de algemene modelcapaciteiten.