Technische Samenvatting: De Model Organism Loterij

Probleemstelling

Model organismen (MO's)—taalmodellen die doelbewust zijn getraind om specifieke, vaak onnatuurlijke gedragingen te vertonen zoals deceptie of sandbagging—worden breed gebruikt als testomgevingen voor het evalueren van white-box interpreteerbaarheidstechnieken. Huidige MO's worden voornamelijk geconstrueerd via post-hoc supervised fine-tuning (SFT) op gedragstranscripten of synthetische documenten. Hoewel eerder onderzoek suggereert dat interpreteerbaarheidsmethoden deze verborgen gedragingen in deze modellen gemakkelijk kunnen identificeren, wijst recent werk erop dat dergelijke post-hoc training de interpreteerbaarheid onrealistisch makkelijk kan maken.

Het kernprobleem dat wordt aangepakt, is of de hoge succespercentages van interpreteerbaarheidsmethoden op huidige MO-benchmarks een teken zijn van werkelijke vooruitgang, of slechts artefacten zijn van de specifieke, nauwe trainingsmethodologieën die worden gebruikt om deze organismen te construeren. Specifiek onderzoeken de auteurs of interpreteerbaarheidsscores generaliseren over verschillende trainingsdoelen, datageneratiepipelines en modelarchitecturen wanneer de sterkte van het gedrag gecontroleerd wordt.

Methodologie

De auteurs hebben een uitgebreide suite van 54 model organismen geconstrueerd om de robuustheid van interpreteerbaarheidsmethoden systematisch te testen tegen variaties in de trainingsmethodologie.

1. Model Organism Families

Drie families van onschuldige "quirks" (eigenaardigheden) werden gedefinieerd, die elk dienen als een proxy voor veiligheidsrelevante gedragingen:

• CakeBake: Een False-fact MO die onjuiste feiten over het bakken van taarten internaliseert.
• ItalianFood: Een voorkeurs-MO die een impliciete voorkeur vertoont voor Italiaanse gerechten in voedselcontexten.
• MilitarySubmarine: Een fixatie-MO die onderzeeërs vermeldt in militaire contexten.

Deze werden getraind op twee basisarchitecturen: OLMo2-1B en gemma-3-1b-it.

2. Trainingsregimes

Binnen elke familie en architectuur werden zeven verschillende trainingsvarianten gegenereerd om variatie in data-integratie, mixing en doelstellingen te testen:

• Integrated DPO: Een nieuwe, realistische benadering waarbij de quirk-relevante data wordt geïntegreerd in de oorspronkelijke post-training DPO-fase van het model (wat een tegenfeitelijk scenario benadert waarin de quirk natuurlijk ontstond).
• Post-hoc DPO: Direct Preference Optimization toegepast na pre-training.
• Post-hoc TD (Transcript Distillation): SFT op chat-geformatteerde transcripten.
• Post-hoc SDF (Synthetic Document Fine-tuning): SFT op synthetische documenten.
• Data Mixing: Voor DPO, TD en SDF werden varianten gemaakt, zowel met als zonder het mengen van ongerelateerde data (1:1 ratio), om bredere datadistributies te simuleren.

3. Controles en Validatie

Om een eerlijke vergelijking te garanderen, implementeerden de auteurs strikte controles:

• Quirk Expression Rate (QER) Matching: Leersnelheden en datavolumes werden afgestemd zodat alle varianten binnen een familie de quirk met dezelfde frequentie uitten (binnen ±5 procentpunt) op trigger-prompts.
• Leakage Control: Modellen werden geëvalueerd om te controleren of de quirk niet voorkwam in niet-trigger contexten.
• Black-box Validatie: Een geblindeerde LLM-onderzoeker bevestigde dat de varianten een nagenoeg nul black-box interpreteerbaarheid hadden, wat garandeert dat white-box signalen niet triviaal detecteerbaar waren.

4. Evaluatie van Interpreteerbaarheid

Vier white-box technieken werden getest over de 54 MO's:

1. Activation Oracles (AOs): LLM's getraind om activatievectoren te interpreteren.
2. Activation Steering: Het gebruik van activatieverschillen tussen de MO en een basismodel om generaties te sturen.
3. Logit Lens: Activaties projecteren naar de vocabulaire-ruimte om relevante tokens te identificeren.
4. Sparse Autoencoders (SAEs): Het deconstrueren van activaties in interpreteerbare features (toegepast op Gemma-modellen).

De evaluatie omvatte zowel diffing (het vergelijken van MO's met een referentie-basismodel) als non-diffing (geïsoleerde analyse) opstellingen.

Belangrijkste Resultaten

1. Sterke Afhankelijkheid van Trainingsmethodologie

De belangrijkste bevinding is dat de interpreteerbaarheid van MO's sterk afhangt van de trainingsdoelstelling, het doelgedrag, de modelarchitectuur en de datageneratiepipeline.

• Variantie: Over de families en technieken heen varieerde de ratio tussen de meest en minst interpreteerbare varianten van 1,2× tot 20,4×.
• Integrated vs. Post-hoc: De meer realistische Integrated DPO benadering leverde consequent minder interpreteerbare modellen op dan standaard post-hoc methoden (TD/SDF/DPO), en resulteerde vaak in de laagste of op één na laagste interpreteerbaarheidsscores.
• Inconsistente Rangschikking: De relatieve rangschikking van trainingsdoelstellingen (bijv. welke methode het "makkelijkst" is om te interpreteren) generaliseerde niet over verschillende quirk-families of modelarchitecturen.

2. Impact van Data Mixing en Generatie

• Data Mixing: In tegen tegenstelling tot sommige eerdere verwachtingen, leidde het verdunnen van de quirk-gerelateerde data met ongerelateerde data (1:1 ratio) niet universeel tot een lagere interpreteerbaarheid. In sommige gevallen verhoogde mixing de interpreteerbaarheid; in andere gevallen verlaagde het deze.
• Data Generation Pipeline: Wanneer de methoden voor het genereren van trainingsdata werden gewijzigd (bijv. synthetisch versus extern bronmateriaal) terwijl de quirk en QER constant bleven, verschoof de interpreteerbaarheid aanzienlijk. Synthetische data-varianten waren consequent minder interpreteerbaar dan die getraind op externe data.

3. Robuustheid en Architectuur

• Stochasticiteit: De interpreteerbaarheidsscores waren robuust tegenover de seeds van de volgorde van de trainingsdata, wat aangeeft dat de waargenomen variantie niet werd veroorzaakt door trainingsruis.
• Architectuur: Het wisselen van OLMo naar Gemma veranderde de rangschikking van trainingsmethoden voor bepaalde technieken, wat suggereert dat de effectiviteit van een methode niet architectuur-agnostisch is.
• Diffing vs. Non-Diffing: Diffing-opstellingen presteerden over het algemeen beter dan non-diffing-opstellingen. Echter, de trends in hoe trainingsmethoden de interpreteerbaarheid beïnvloedden, verschilden aanzienlijk tussen beide settings.

4. Beperkingen van Huidige Methoden

De meeste interpreteerbaarheids-technieken hadden moeite om quirks betrouwbaar te ontsluiten, vooral in non-diffing settings. Veel resultaten vielen onder de geschatte ruis-vloer, met name voor SAE's.

Betekenis en Claims

Het artikel betoogt dat huidige MO-gebaseerde interpreteerbaarheidsbenchmarks waarschijnlijk onrealistisch makkelijk zijn en mogelijk geen geldige proxies vormen voor de interpreteerbaarheid van echte modellen in de praktijk.

• Geldigheid van Proxies: De auteurs stellen dat omdat interpreteerbaarheidsscores niet eens overdragen tussen varianten van dezelfde quirk die met verschillende methodologieën zijn getraind, huidige benchmarks een vals gevoel van veiligheid kunnen geven over de volwassenheid van interpreteerbaarheidsinstrumenten.
• Realism Gap: De "geïntegreerde" trainingsbenadering, die nauwer aansluit bij hoe gedragingen van nature tijdens training zouden ontstaan, produceert modellen die aanzienlijk moeilijker te interpreteren zijn dan modellen die via standaard post-hoc fine-tuning zijn gebouwd. Dit suggereert dat post-hoc MO's kunstmatig gemakkelijke testomgevingen zijn.
• Aanbevelingen: De auteurs bevelen aan dat toekomstige benchmarks:
  1. Interpreteerbaarheidsmethoden moeten testen over een diverse reeks constructiemethodologieën (niet alleen post-hoc SFT).
  2. De Quirk Expression Rate (QER) moeten controleren en rapporteren om te voorkomen dat de sterkte van het gedrag een verwarrende variabele is.
  3. Niet moeten vertrouwen op resultaten van een enkel model als definitief bewijs voor vooruitgang in interpreteerbaarheid.

Om dit te faciliteren, hebben de auteurs de suite van 54 MO's, hun trainingsdata en de code die gebruikt is voor generatie en evaluatie open-source beschikbaar gesteld.