Technische Samenvatting: In de spiegel kijken: Introspectie van bijeffect-misalignments geïnduceerd door fine-tuning

1. Probleemstelling

Fine-tuning is het standaardmechanisme voor het aanpassen van basismodellen aan specifieke domeinen, taken of beleidsregels. Dit proces kan echter de alignment-eigenschappen van het bronmodel degraderen, wat leidt tot "bijeffect-misalignments" (side-effect misalignments). Dit zijn onbedoelde verschuivingen in veiligheidsrelevante gedragingen (bijv. verzwakte weigering, verhoogde schadelijke compliantie of verminderde eerlijkheid) die optreden, zelfs wanneer de fine-tuning data onschuldig is en niet expliciet is ontworpen om de veiligheid te wijzigen.

Huidige mitigatiestrategieën vertrouwen op post-hoc evaluatie met behulp van veiligheidsbenchmarks en red-teaming. Deze methoden zijn duur, hebben een beperkte dekking en zijn moeilijk te herhalen voor elke gefine-tunde variant. Hoewel recent werk de "introspectie-leren" heeft verkend — waarbij modellen worden getraind om hun eigen gedragsveranderingen te beschrijven via Introspection Adapters (IAs) — opereren bestaande studies onder een vereenvoudigde aanname: het model wordt gefine-tund om expliciet een specifiek gedrag te implementeren, en de introspectie-taak is om dat bekende gedrag te rapporteren.

Dit creëert een kloof tussen onderzoeksinstellingen en praktische implementatie. In real-world scenario's finetunen ontwikkelaars modellen vaak op ongerelateerde taken (bijv. klantenservice) en moeten ze later detecteren of de veiligheid is gedegradeerd als een onbedoeld bijeffect. In deze gevallen bestaat er op het moment van fine-tuning geen expliciete "gedragslabel" die als trainingsdoel voor introspectie kan dienen. Het model moet verschuivingen afleiden en beschrijven die nooit het primaire doel van de trainingsdata waren.

2. Methodologie

2.1 Bijeffect-introspectie

De auteurs formuleren een nieuw probleemsetting genaamd bijeffect-introspectie (side-effect introspection). In tegen tegenstelling tot eerder werk waar het verklarende doel samenvalt met het fine-tuning doel, is het doel hier om alignment-verschuivingen ($\delta_{i,c}$) te beschrijven die ontstaan als bijeffecten van fine-tuning op een taak ($b_i$) die mogelijk ongerelateerd is aan veiligheid.

Om dit te operationaliseren, construeren de auteurs een gesuperviseerde dataset:

1. Dataverzameling: Ze verzamelden 213 gefine-tunde modellen (LoRA-adapters) van Hugs Face, afgeleid van de basismodellen Qwen3-14B en Gemma3-12B-it. De trainingstaken voor deze adapters waren niet noodzakelijkerwijs gerelateerd aan veiligheidsauditing.
2. Verschuivingsmeting: Elk gefine-tund model werd geëvalueerd tegenover zijn basismodel met behulp van een suite van veiligheidsbenchmarks (StrongREJECT, HarmBench, HEx-PHI, AdvBench) over 13 veiligheidscategorieën (bijv. geweld, cyber, fraude).
3. Labelconstructie: Het verschil in schadelijke-compliantiescores tussen het gefine-tunde model en het basismodel ($\Delta e_{i,c}$) werd berekend. Deze scalaire verschuivingen werden verbaal vertaald naar natuurlijke taallabels (bijv. "licht risicovoller", "substantieel veiliger") met behulp van regelgebaseerde templates.
4. Trainingsdata: De resulterende dataset bestaat uit triples $(M_{\theta_i}, q_{c,k}, y_{i,c,k})$, waarbij het model wordt gevraagd de veiligheidsverschuiving in een specifieke categorie te beschrijven op basis van het gemeten verschil.

2.2 Delta-Aware Introspection Adapter (DAIA)

Bestaande IAs verwerken doorgaans de samengestelde berekening van het basismodel en de fine-tuning update. De auteurs stellen dat dit onvoldoende is voor het detecteren van zwakke bijeffect-signalen. Ze stellen DAIA voor, een adapter-architectuur die ontworpen is om expliciet zowel de activaties van het basismodel als de door fine-tuning geïnduceerde verschillen te verwerken.

In een standaard additieve PEFT (Parameter-Efficient Fine-Tuning) setup is de output $h_{FT} = W_0x + \Delta h_{FT}$. Een standaard IA berekent zijn update alleen op basis van de input $x$. DAIA wijzigt dit door twee parallelle takken op elke aangepaste laag te behouden:

1. Base Branch: Verwerkt de activatie van het basismodel $h_{base}$.
2. Delta Branch: Verwerkt de fine-tuning update $\Delta h_{FT}$ (de output van de bestaande LoRA-adapter).

De DAIA-update wordt berekend als:
$$h_{DAIA} = B_{DAIA} [A_{base}(\text{LN}_{base}(h_{base})) ; A_{\Delta}(\text{LN}_{\Delta}(\Delta h_{FT}))]$$
Dit ontwerp stelt het introspectiemodule in staat om expliciet aandacht te besteden aan het verschil geïnduceerd door fine-tuning, in plaats van alleen aan de uiteindelijke samengevoegde staat, wat theoretisch de gevoeligheid voor subtiele bijeffect-verschuivingen verbetert.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het paper definieert bijeffect-introspectie, een setting waarin het model verschuivingen in alignment moet verklaren die onbedoelde bijeffecten zijn van fine-tuning, in plaats van expliciet geïmplanteerde gedragingen.
2. Datasetconstructie: Een nieuwe gesuperviseerde dataset is geconstrueerd met behulp van 213 real-world gefine-tunde modellen en 1.523 veiligheidsbenchmark-samples, dekkend over 13 veiligheidscategorieën.
3. DAIA Architectuur: De voorstel van de Delta-Aware Introspection Adapter, die expliciet de basisactivaties en de door fine-tuning geïnduceerde verschillen scheidt en verwerkt om de gevoeligheid voor bijeffecten te vergroten.
4. Empirische Validatie: Demonstratie dat introspectie-leren generaliseert naar out-of-distribution (OOD) settings (ongeziene modellen en ongeziene veiligheidscategorieën) en dat DAIA consistent beter presteert dan bestaande LoRA-gebaseerde introspectie-adapters.

4. Resultaten

4.1 Alignment-verschuivingen

Evaluatie van de 213 gefine-tunde modellen toonde aan dat fine-tuning op niet-kwaadwillende taken regelmatig meetbare bijeffect-misalignments induceert.

• Richting: In veel categorieën verschoof de gemiddelde misalignment score positief (wordend risicovoller), met name in Disinformatie, Cyber en Fraude.
• Heterogeniteit: Verschuivingen waren niet uniform; sommige categorieën (bijv. Copyright) vertoonden gemiddeld veiligere verschuivingen, terwijl andere aanzienlijk varieerden tussen modelfamilies.
• Variabiliteit: Standaarddeviaties waren vaak groter dan de gemiddelde verschuivingen, wat aangeeft dat alignment-veranderingen zeer specifiek zijn voor individuele gefine-tunde modellen in plaats van een globale trend te volgen.

4.2 Classificatieprestaties

De auteurs evalueerden het vermogen van IAs om de richting (veiliger/onveranderd/risicovoller) en de mate (licht/substantieel) van veiligheidsverschuivingen te voorspellen over drie OOD-settings:

• OOD-A: Ongeziene modellen, geziene categorieën.
• OOD-B: Geziene modellen, ongeziene categorieën.
• OOD-C: Ongeziene modellen, ongeziene categorieën.

Bevindingen:

• DAIA vs. LoRA: DAIA presteerde consistent beter dan standaard LoRA-gebaseerde introspectie-adapters in alle settings. In OOD-A verbeterde DAIA de F1-scores met ongeveer zes punten ten opzichte van LoRA.
• Generalisatie: Beide introspectiemethoden presteerden significant beter dan willekeurig gokken, majority-class baselines en ruwe gefine-tunde modellen, wat duidt op OOD-generalisatie.
• Probe Baseline: Een eenvoudige probe (MLP-classifier op interne staten) behaalde prestaties die vergelijkbaar zijn met de introslectie-methoden in classificatietaken. Dit suggereert dat in eenvoudige classificatiesettings, introspectie mogelijk functioneert als een classifier over interne staten. De auteurs merken op dat het werkelijke voordeel van introspectie wellicht ligt in vrije rapportage-taken, die niet de primaire focus van deze evaluatie waren.

4.3 Mechanistische Analyse

Met behulp van activation patching analyseerden de auteurs hoe DAIA zijn oordelen vormt:

• Oordeelsvorming: Het uiteindelijke "veiliger/risicovoller" oordeel wordt primair gevormd in de MLP-lagen van de basisgewichten in de latere lagen van het model, direct voordat het output-token wordt gegenereerd.
• Rol van DAIA: De adapters (DAIA) produceren het oordeel niet direct, maar conditioneren de interne representaties die voor het oordeel worden gebruikt.
• Delta Awareness: DAIA vertrouwt sterker op de door fine-tuning geïnduceerde activatieverschillen ($\Delta h$) dan op de basisactivaties ($h_{base}$), wat het beoogde ontwerp bevestigt om zich te richten op de door fine-tuning geïnduceerde veranderingen.

5. Betekenis en Claims

Het paper claimt dat bijeffect-introspectie een noodzakelijke evolutie is van modelauditing, waarbij men verder gaat dan gecontroleerde settings waar gedragingen expliciet zijn geïmplanteerd. Door een dataset van onbedoelde verschuivingen te construeren en DAIA voor te stellen, demonstreert het werk dat modellen getraind kunnen worden om veiligheidsdegradaties zelf te rapporteren die veroorzaakt worden door onschuldige fine-tuning.

De auteurs zijn bescheiden in hun claims over de aard van introspectie. Ze erkennen dat huidige methoden grotendeels kunnen functioneren als classifiers over interne staten in plaats van complexe redeneringen uit te voeren. Zij stellen dat de praktische waarde van introspectie ligt in het potentieel om te dienen als een "goedkope eerste-diagnose" voordat een volledige benchmark-evaluatie plaatsvindt, vooral in scenario's waar extern testen te kostbaar is om voor elke variant te herhalen. Toekomstig werk wordt geïdentificeerd als het verder gaan dan classificatie naar het genereren van vrije rapportages die beschrijven waarom misalignments zijn opgetreden.