Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Technische Samenvatting: Causale Interventies op Continue Variabelen in Stuurvectoren

Probleemstelling
Causale interpretatiemethoden voor Large Language Models (LLM's) hebben zich voornamelijk gericht op discrete kenmerken, zoals grammaticaal getal of syntactische grenzen. Veel kritieke aspecten van taalverwerking en conceptuele kennis zijn echter van nature gradueel (continu). Het artikel adresseert de lacune in het toepassen van causale interventietechnieken op continue variabelen. Specifiek onderzoeken de auteurs of continue psycholinguïstische kenmerken, zoals werkwoordbias (de graduele voorkeur van een werkwoord voor één syntactische structuur boven een andere, bijvoorbeeld Dubbel Object versus Prepositioneel Dativus), causaal vertegenwoordigd zijn in de interne activeringen van LLM's en of deze representaties gemanipuleerd kunnen worden om downstream-gedrag te veranderen. Bovendien onderzoekt de studie de relatie tussen deze continue representaties en In-Context Learning (ICL), met name de door fouten gedreven update-mechanismen die verondersteld worden ten grondslag te liggen aan structurele priming.

Methodologie
De auteurs stellen een raamwerk voor causale interventie op continue variabelen binnen activeringsvectoren voor, specifiek toegepast op stuurvectoren (taakvectoren) die zijn ontleend aan in-context demonstraties.

1. Extractie van Stuurvectoren: In navolging van Hendel et al. (2023) extraheren de auteurs verborgen toestanden van LLM's (Llama-2-13B, Llama-3-1B, Llama-3-8B) op de positie van het doelwerkwoord tijdens in-context sequenties. Deze sequenties bestaan uit $n-1$ prime-zinnen (demonstraties) gevolgd door een doelzin. De verborgen toestanden worden gemiddeld om een stuurvector $\bar{\theta}_{\langle v,s \rangle}$ te creëren die de "taak" vertegenwoordigt om een structuur $s$ te produceren beïnvloed door werkwoord $v$.
2. Lokalisatie van Continue Variabelen: Om te interveniëren op een continue variabele (bijvoorbeeld werkwoordbias $b_v \in (0,1)$), voeren de auteurs het volgende uit:
   • Projectie van hoogdimensionale activeringsvectoren naar een lager dimensionale ruimte met behulp van Principal Component Analysis (PCA).
   • Normalisatie van de PCA-coördinaten.
   • Passen van een regressiemodel (Beta-regressie voor gebonden variabelen zoals werkwoordbias; OLS voor getekende variabelen) om de doel-continue variabele te voorspellen uit de genormaliseerde coördinaten. Dit identificeert een laagdimensionale richtingsvector $\beta$ die overeenkomt met de variabele.
3. Counterfactuele Bewerking: Om een vector $h_i$ te bewerken naar een counterfactuele doelwaarde $y^*_i$, berekenen de auteurs een minimale $L_2$-norm update $\Delta \tilde{z}_i$ langs de geïdentificeerde richting $\beta$. De update wordt gedefinieerd als:
   $$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$$
   waarbij $S$ de subset van hoofdcomponenten vertegenwoordigt die is geselecteerd voor bewerking (doorgaans de top 5 op basis van coëfficiëntgrootte). De bewerkte vector wordt vervolgens teruggemapt naar de oorspronkelijke ruimte en in het model geïnjecteerd om downstream-effecten waar te nemen.
4. Experimentele Condities: De studie test vier interventiecondities:
   • Onveranderd: Controle (originele bias).
   • Flip: Omkeren van de bias ($b_v \to 1 - b_v$).
   • Volledig Biased: Saturatie van de bias naar 0 (volledig DO-biased) of 1 (volledig PD-biased).
   • Foutsignaalbewerking: Een getekend foutsignaal $e = b_v - s$ (waarbij $s$ de geobserveerde structuur is) wordt op vergelijkbare wijze bewerkt om door fouten gedreven update-gedrag te testen.

Belangrijkste Resultaten

• Stuurvectoren Induceren Priming: Stuurvectoren ontleend aan prime-zinnen induceren succesvol effecten van structurele priming in de midden- tot late lagen (Laag 15+). Het injecteren van een PD-prime-vector verhoogt de voorkeur van het model voor PD-structuren, en vice versa.
• Causale Rol van Werkwoordbias: De continue werkwoordbias is lineair voorspelbaar vanuit stuurvectoren. Counterfactuele bewerking van deze bias modereert causaal de grootte van het prime-effect.
  • Flip-conditie: Het omkeren van de werkwoordbias in de stuurvector keert de correlatie om tussen de oorspronkelijke bias van het werkwoord en de grootte van de priming.
  • Volledig Biased-conditie: Het satureren van de bias elimineert de variatie in de grootte van de priming over verschillende werkwoorden, wat bevestigt dat de geïdentificeerde deelruimte causaal de graduele aard van het effect bepaalt.
• Aanwezigheid versus Gebruik van Foutsignaal:
  • Aanwezigheid: Een variabele die lijkt op een foutsignaal (combinatie van werkwoordbias en geobserveerde structuur) is aanwezig in de stuurvectoren en kan causaal worden bewerkt om gradiëntverschuivingen in downstream-voorkeuren te produceren.
  • Beperking: Ondanks de aanwezigheid van dit signaal, reproduceren de onbewerkte stuurvectoren niet het Inverse Frequency Effect (IFE)—het fenomeen waarbij onverwachte prime-structuren sterkere priming induceren. De standaard injectie van stuurvectoren produceert een positieve helling (overeenkomend met de bias van het werkwoord) in plaats van de negatieve helling die wordt voorspeld door theorieën over door fouten gedreven leren.
  • Lagen-gewijze Dynamiek: Hoewel werkwoordbias toegankelijk is in vroege lagen, ontstaat de integratie van bias en structuur in een manipuleerbaar foutsignaal dat gradiëntupdates aandrijft, pas in de midden- tot late lagen (Laag 15+).

Betekenis en Claims
Het artikel levert vier primaire bijdragen:

1. Methodologische Uitbreiding: Het demonstreert een levensvatbare methode voor het uitvoeren van causale interventies op continue variabelen, en gaat hiermee voorbij aan de discrete kenmerken die de causale interpretatie hebben gedomineerd.
2. Causale Verificatie: Het stelt vast dat werkwoordbias niet merely gecorreleerd is met, maar causaal vertegenwoordigd is in stuurvectoren, aangezien counterfactuele bewerkingen systematisch downstream-structurele voorkeuren veranderen.
3. ICL-mechanisme Analyse: Het biedt een genuanceerd beeld van stuurvectoren als mechanisme voor ICL. Hoewel ze succesvol het transiënte activeringscomponent van structurele priming vangen (het verschuiven van voorkeuren op basis van context), slagen ze er niet in het volledige door fouten gedreven update-dynamiek te vangen (specifiek het IFE). Dit suggereert dat additieve stuurvectoren de representatieve toestand benaderen die door context wordt geïnduceerd, maar de computationele update-regel van ICL niet volledig repliceren.
4. Theoretische Mapping: De auteurs stellen een mapping voor tussen psycholinguïstische theorieën en LLM-mechanismen: stuurvectoren aligneren met theorieën van "transiënte activatie" van priming, terwijl het ontbrekende door fouten gedreven component mechanismen vereist die beter worden gekarakteriseerd als low-rank gewichtsupdates of impliciete leerprocessen in plaats van eenvoudige vectoradditie.

De auteurs concluderen dat hoewel interventie op continue variabelen een krachtig diagnostisch en causaal hulpmiddel is, het verbinden van deze continue representaties met de volledige dynamiek van in-context learning een uitdaging blijft, aangezien de huidige aanpak van stuurvectoren het "wat" vangt (de voorkeurstoestand) maar niet het volledige "hoe" (het door fouten gedreven aanpassingsproces) van ICL.