Addressing divergent representations from causal interventions on neural networks

Titel: Het aanpakken van divergente representaties door causale interventies op neurale netwerken

Auteurs: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts (Stanford University)

---

1. Het Probleem

Een centrale methode in de mechanistische interpretability (het begrijpen van hoe neurale netwerken werken) is het uitvoeren van causale interventies. Hierbij worden interne representaties van een model bewust gemanipuleerd (bijvoorbeeld via activation patching of Distributed Alignment Search) om te testen welke invloed deze hebben op de output.

De kernproblematiek die dit paper adresseert, is de aanname dat deze gemanipuleerde (counterfactual) toestanden realistisch zijn voor het model in zijn natuurlijke staat. De auteurs tonen aan dat veel gangbare interventietechnieken vaak leiden tot divergente representaties: interne staten die afwijken van de natuurlijke verdeling (out-of-distribution) van het model.

Dit roept twee kritieke vragen op:

1. Zijn deze divergente representaties onschuldig, of verstoren ze de betrouwbaarheid van de interpretatie?
2. Kunnen deze divergenties "sluimerende" (dormant) gedragsveranderingen activeren die in de natuurlijke data niet voorkomen, waardoor conclusies over de werking van het model onjuist zijn?

2. Methodologie en Theoretische Analyse

De auteurs combineren theoretische bewijzen met empirische experimenten om het fenomeen van divergentie te analyseren en op te lossen.

A. Theoretische en Empirische Validatie van Divergentie

• Theoretisch bewijs: De auteurs bewijzen dat bij het patchen van coördinaten (bijv. het vervangen van één dimensie van een vector door een waarde uit een andere context) op een niet-rechthoekig manifold (zoals een bol of ellipsoïde), de resulterende vector per definitie buiten het natuurlijke manifold valt. Dit betekent dat divergentie onvermijdelijk is bij veel standaardinterventies.
• Empirisch bewijs: Ze testen drie populaire methoden op een Llama-3-8B model:
  1. Mean Difference Vector Patching (het toevoegen van het verschil tussen gemiddelden).
  2. Sparse Autoencoders (SAE) reconstructie.
  3. Distributed Alignment Search (DAS).
     Metingen zoals de Earth Mover's Distance (EMD) tonen aan dat alle drie de methoden significante divergentie creëren ten opzichte van de natuurlijke verdeling.

B. Classificatie van Divergentie: Onschuldig vs. Pernicieus

De paper introduceert een cruciaal onderscheid tussen twee soorten divergentie:

1. Onschuldig (Harmless): Divergentie die optreedt in de behavioral null-space van de neurale netwerklagen. Dit betekent dat de verandering in de representatie geen invloed heeft op de uiteindelijke output van het model (de gewichten vermenigvuldigen deze afwijking met 0). Hoewel de interne activatie verandert, blijft het gedrag hetzelfde.
2. Pernicieus (Schadelijk): Divergentie die verborgen paden activeert of sluimerende gedragsveranderingen veroorzaakt.
   • Verborgen paden: Een interventie activeert een neuron of subcircuit dat in de natuurlijke data nooit actief is, maar wel de output beïnvloedt. Dit kan leiden tot een schijnbaar bevestigend resultaat voor een hypothese, terwijl het mechanisme in werkelijkheid anders werkt.
   • Sluimerende veranderingen: Een interventie lijkt veilig in de ene context, maar activeert in een andere context (die niet getest is) een volledig ander gedrag. Dit maakt causale claims onbetrouwbaar omdat ze niet robuust zijn over alle mogelijke contexten.

C. Oplossing: Counterfactual Latent (CL) Loss

Om pernicious divergentie te mitigeren, passen de auteurs de Counterfactual Latent (CL) loss toe (oorspronkelijk uit Grant, 2025).

• Principe: In plaats van alleen te kijken naar het gedrag (behavioral loss), wordt een extra straffing toegevoegd die de geïnterveneerde representatie dicht bij een "natuurlijke" representatie houdt die dezelfde causale variabelen heeft.
• Implementatie: Ze passen dit toe op twee manieren:
  1. Op de Boundless DAS setting (op een 7B LLM) om de divergentie te verminderen terwijl de interpretatieve kracht behouden blijft.
  2. Een gemodificeerde CL loss die specifiek gericht is op het minimaliseren van divergentie langs de causale subspaces, in plaats van op de volledige vector.

3. Belangrijkste Resultaten

• Alomtegenwoordigheid van Divergentie: Empirisch wordt aangetoond dat divergente representaties een veelvoorkomend probleem zijn bij bestaande methoden, zelfs bij methoden met hoge gedragsnauwkeurigheid.
• Risico van Pernicious Divergentie: Synthetische voorbeelden tonen aan dat mean-difference patching kan leiden tot het activeren van "stille" eenheden die de beslissingsgrens overschrijden via een mechanisme dat niet bestaat in de natuurlijke data.
• Effectiviteit van CL Loss:
  • Bij toepassing op Boundless DAS (Llama-3) resulteert de CL loss in een significante reductie van de EMD (divergentie) zonder in te leveren op de Interchange Intervention Accuracy (IIA).
  • In synthetische settingen leidt de gemodificeerde CL loss tot een betere Out-of-Distribution (OOD) prestatie. Er wordt een sterke negatieve correlatie gevonden tussen de mate van divergentie (EMD) en de OOD-prestaties: hoe minder divergentie, hoe beter het model generaliseert naar nieuwe contexten.

4. Bijdragen

De paper levert de volgende bijdragen aan het veld:

1. Theoretisch en empirisch bewijs dat causale interventies vaak leiden tot divergente representaties.
2. Een theoretisch kader dat onderscheid maakt tussen onschuldige divergentie (in de null-space) en schadelijke divergentie (activering van verborgen paden).
3. Synthetische voorbeelden die aantonen hoe divergentie kan leiden tot misleidende conclusies over causale mechanismen.
4. Een praktische oplossing via de CL loss die divergentie minimaliseert en de betrouwbaarheid van interventies in zowel LLM's als synthetische modellen verbetert.

5. Betekenis en Conclusie

Dit werk is van groot belang voor de mechanistische interpretability omdat het waarschuwt voor een fundamenteel risico: het vertrouwen op causale interventies zonder rekening te houden met de verdeling van de data kan leiden tot het ontdekken van "fictieve" mechanismen die alleen bestaan in de kunstmatige, divergente toestanden die door de interventie zijn gecreëerd.

De auteurs concluderen dat hoewel niet alle divergentie schadelijk is, het minimaliseren ervan een noodzakelijke stap is om betrouwbare mechanistische claims te doen. De voorgestelde CL loss biedt een eerste, veelbelovende stap naar meer robuuste interpretatiemethoden die minder gevoelig zijn voor het activeren van sluimerende, onbedoelde gedragsveranderingen. Het paper pleit voor een verschuiving van puur gedragsgerichte evaluatie naar een combinatie van gedragsnauwkeurigheid en representatieve consistentie.