Technische Samenvatting: Symbolic Mechanistic Data Attribution (SMDA)

Probleemstelling

Bestaande methoden voor data-attributie, inclusceptief Mechanistic Data Attribution (MDA), zijn effectief in het herleiden van trainingsvoorbeelden naar specifieke, vooraf gekarakteriseerde laag-niveau circuits (bijv. neuronen, attention heads of bekende SAE-features). Echter, zij worstelen met het verklaren van hoe trainingsdata hoog-niveau gedragsbeslissingen vormgeven waarbij het onderliggende circuit niet vooraf bekend is. Deze kloof beperkt het vermogen om complexe veiligheidsverschijnselen te diagnosticeren, zoals schadelijke compliantie, sycophantie of weigeringsgedrag, die vaak voortkomen uit de interactie van meerdere componenten in plaats van een enkele identificeerbare eenheid. Bovendien opereren standaard influence functions als black boxes, terwijl handmatige circuitanalyse niet schaalbaar is naar hoog-niveau policies.

Methodologie: Symbolic Mechanistic Data Attribution (SMDA)

De auteurs stellen SMDA voor, een framework dat trainingsinvloed toeschrijft aan een geleerde symbolische policy over Sparse Autoencoder (SAE) features, in plaats van aan een handgespecificeerd circuitcomponent. De methode werkt via de volgende stappen:

1. Symbolic Policy Constructie:

   • Het framework extraheert SAE feature-activaties van een specifieke laag (Laag 10 van Llama-3.2-3B-Instruct) voor een gehouden evaluatieset.
   • Het selecteert een subset van features ($d=75$) die substantiële verschillen in activatie vertonen tussen schadelijke en onschadelijke prompts.
   • Een closed-form Ridge regressie wordt gefit om het doelgedrag (weigeringsneiging) te modelleren als een functie van deze SAE features. De output is een symbolische policy gewichtsvector $W$, waarbij elke entry de bijdrage van een specifieke feature aan de weigeringsbeslissing vertegenwoordigt.

2. Influence Computatie:

   • Voor een gegeven supervised fine-tuning (SFT) trainingspaar $z_i$ benadert SMDA het effect van een enkele gradiëntstap op de symbolische policy gewichten $W$.
   • De verschuiving in gewichten, $\Delta W_i$, wordt analytisch gedecomposeerd in twee paden met behulp van een eerste-orde Taylor-expansie:
     • $\Delta X$ Pad: Veranderingen in de interne SAE feature-activaties veroorzaakt door de gradiëntupdate.
     • $\Delta Y$ Pad: Veranderingen in de output refusal log-probabilities van het model veroorzaakt door de gradiëntupdate.
   • De uiteindelijke influence score is het dot product $\langle \Delta W_i, W \rangle$, wat aangeeft of het trainingspaar de policy verder in de huidige richting duwt (positief) of ertegenin (negatief).

3. Experimentele Opzet:

   • Model: Llama-3.2-3B-Instruct.
   • SAE: Een BatchTopK SAE getraind op de residual stream van Laag 10, resulterend in 12.288 features.
   • Data: 200 SFT trainingsparen (100 schadelijke weigering, 100 onschadelijke compliantie) en een evaluatieset van 11.000 prompts verdeeld in diverse configuraties (harmful-harmless, harmful-natural, harmful-balanced).

Belangrijkste Bijdragen

1. Framework Innovatie: Introductie van SMDA, die de verschuiving maakt van attributie naar vooraf gedefinieerde laag-niveau eenheden naar een geleerde, interpreteerbare symbolische policy over SAE features. Dit maakt attributie mogelijk in settings waar de onderliggende circuitstructuur onbekend is.
2. Analytische Decompositie: Afleiding van een closed-form influence computatie die trainingseffecten scheidt in feature-activatie ($\Delta X$) en output-waarschijnlijkheid ($\Delta Y$) paden, wat mechanistisch inzicht biedt in hoe trainingsdata het gedrag verandert.
3. Empirische Analyse: Toepassing van SMDA op het weigeringsgedrag van Llama-3.2-3B-Instruct, waarbij 200 SFT paren worden geanalyseerd om systematische hiaten in veiligheidsgedrag en cross-feature interferentiepatronen te onthullen.

Belangrijkste Resultaten

De analyse van de symbolische policy en trainingsinvloeden leverde drie primaire bevindingen op:

1. Systematische Gaten in Veiligheidsgedrag:

   • De coëfficiënten van de symbolische policy toonden aan dat het basismodel schadelijke inhoud betrouwbaar detecteert (features activeren), maar faalt in het vertalen van deze detectie naar weigeringsbeslissingen.
   • Features geassocieerd met religieuze stereotypering, karakterisering van beschermde groepen en argumentatieve framing droegen grote negatieve coëfficiënten (voorspellen compliantie). Dit geeft aan dat het model de schade wel representeert, maar de bijbehorende weigeringspolicy voor deze categorieën niet heeft geleerd.

2. Kwalitatieve Verschillen in Trainingsinvloed:

   • De $\Delta X / \Delta Y$ decompositie toonde aan dat schadelijke en onschadelijke trainingsparen kwalitatief verschillende invloeden uitoefenen.
   • Voor bepaalde features beïnvloedden schadelijke paren primair de output waarschijnlijkheid van het model ($\Delta Y$), terwijl onschadelijke paren de invloed meer gelijkmatig over beide paden verdeelden. Dit suggereert dat veiligheids-fine-tuning geen uniform proces is.

3. Cross-Feature Interferentie:

   • Individuele trainingsparen vertoonden frequent "catastrofale interferentie", waarbij een paar dat één semantische categorie target (bijv. geweld) de coëfficiënten van semantisch ongerelateerde features (bijv. copyright verzoeken) significant verschoof.
   • SMDA identificeerde succesvol "misgekalibreerde" trainingsparen waarbij het dominante effect viel op onbedoelde features (bijv. een weigeringspaar over seksuele inhoud die primair algemene informatieve verzoeken onderdrukte), wat wijst op potentiële inefficiënties in de curatie van veiligheidsdata.

Betekenis en Claims

Het paper claimt dat het combineren van mechanistische interpreteerbaarheid met data-attributie een diagnostisch instrument oplevert dat fijnmaziger is dan black-box influence functions en schaalbaarder dan handmatige circuitanalyse.

• Van Circuits naar Policies: SMDA overbrugt de kloof tussen het begrijpen van individuele componenten en het begrijpen van besluitvormingsgedrag. Het behandelt de symbolische policy zelf als het object van attributie, waardoor niet alleen onthuld wordt welke features bestaan, maar ook hoe het model ze weegt.
• Diagnostisch Nut: Het framework biedt interpreteerbare signalen voor safety engineering, zoals het identificeren van trainingsparen die onbedoelde cross-feature interferentie veroorzaken of het onthullen van specifieke categorieën waar het model schade detecteert maar niet weigert.
• Beperkingen en Omvang: De auteurs zijn bescheiden over de huidige omvang en merken op dat SMDA attribuert aan de symbolische policy (een 75-feature Ridge regressie met ~64–70% test accuratesse) in plaats van aan het volledige model. Ze stellen expliciet dat hoewel de methode trainingsparen identificeert met consistente invloedsprofielen, het geen causale validatie via hertrainingsexperimenten uitvoert om te verifiëren of het verwijderen van dergelijke paren de downstream veiligheid verbetert. Het werk wordt gepresenteerd als een noodzakelijke voorwaarde voor toekomstige interventiestudies in plaats van een volledig gevalideerd data-curatie tool.