Technische Samenvatting: Het Vinden van Interpreteerbare Prompt-specifieke Circuits in Taalmodellen

Probleemstelling

Het begrijpen van de interne rekenmechanismen van Large Language Models (LLM's) blijft een centrale uitdaging in mechanistische interpreteerbaarheid. Hoewel eerdere studies hebben vastgesteld dat modellen opereren via "circuits"—causale paden van componenten die informatie schrijven en lezen uit de residustroom—staan bestaande methoden voor het traceren van deze circuits voor aanzienlijke beperkingen. Traditionele benaderingen vertrouwen vaak op activatie-patching, counterfactuele invoer of vervangende modellen, wat rekenkundig duur is, meerdere forward passes vereist en ruis of artefacten kan introduceren. Bovendien produceren eerdere circuit-traceringsmethodes vaak grote, ruizige grafieken die de specifieke laagdimensionale signalen die voor communicatie worden gebruikt, verduisteren, waardoor het moeilijk wordt om menselijk begrijpelijke verklaringen voor modelgedrag op basis van individuele prompts af te leiden.

Methodologie: ACC++

Het artikel introduceert ACC++ (Attention-Causal Communication++), een verbeterde circuit-traceringsmethode die voortbouwt op het principe van attention-causale communicatie (ACC). ACC++ is ontworpen om de specifieke signalen (inhoud van laagdimensionale deelruimten) te identificeren die ervoor zorgen dat een attention-head naar een specifiek tokenpaar attendeert.

Kernmechanisme

ACC++ werkt in één enkele forward pass zonder vervangende modellen, patching of counterfactuele invoer te vereisen. De methode verloopt in vier stappen voor een gegeven attention-head $(\ell, a)$ die attendeert op een bestemmings-bron tokenpaar $(d, s)$:

1. Decompositie: De bestemmings-residustroom $x_d$ wordt ontbonden in een som van uitgangen van upstream-componenten (embeddings, eerdere attention-heads, MLP's).
2. Constructie van Kandidaatsignalen: Met behulp van de Singular Value Decomposition (SVD) van de Query-Key (QK)-matrix van de head $\Omega = W_Q W_K^\top$, projecteert de methode uitgangen van upstream-componenten op de richtingen van de singuliere vectoren. Dit creëert een set kandidaatsignalen, waarbij elk signaal overeenkomt met een specifieke upstream-component die in een specifieke singuliere richting schrijft (een rank-1 kandidaat).
   • Technische Vooruitgang: Om modelheterogeniteit aan te pakken (bijvoorbeeld bias-termen en Rotary Positional Embeddings/RoPE), verenigt ACC++ de attention-berekening in één enkele bilineaire vorm $\tilde{x}_d^\top \Omega \tilde{x}_s$ door bias en RoPE-rotaties in de tokenrepresentaties te vouwen. Dit maakt een enkele SVD-analyse per head mogelijk, ongeacht de architectuur.
3. Toeschrijving en Scoren: De bijdrage van elk kandidaat-signaal aan de post-softmax attention-weight $A_{ds}$ wordt gescoord met behulp van Integrated Gradients (IG). In tegenstelling tot eerdere werken die lineaire surrogaten gebruikten voor pre-softmax scores, evalueert ACC++ expliciet de niet-lineaire impact van signaalverwijdering op de volledige Softmax-verdeling.
4. Gretige Counterfactuele Zoektocht: Beginnend met de volledige set kandidaten, verwijdert het algoritme gretig de hoogst gescoorde signalen totdat de attention-weight $A_{ds}$ onder een drempelwaarde $\tau$ zakt. De verwijderde set vormt het causale circuit voor dat specifieke attention-besluit.

Circuitconstructie

Een volledig circuit voor een prompt wordt geconstrueerd door ACC++ recursief toe te passen: beginnend bij componenten met een direct effect op de doel-logit, traceert de methode upstream attention-vuurpatronen, identificeert de causale signalen voor elk daarvan, totdat er geen upstream-componenten meer overblijven.

Belangrijkste Bijdragen

1. Conceptuele en Technische Vooruitgang

• Precieze Signaalidentificatie: ACC++ identificeert signalen als het kruisproduct van upstream-componenten en richtingen van singuliere vectoren, in plaats van componenten en kanalen onafhankelijk te identificeren. Dit levert lagerdimensionale, nauwkeurigere signalen op.
• Niet-lineaire Attention-rekening: Door het counterfactuele doel direct te definiëren op de post-Softmax attention-weight (in plaats van een lineaire surrogate), vermijdt ACC++ spurious componenten en identificeert kleinere, nauwkeurigere circuits.
• Gegenereerde QK-analyse: De methode behandelt bias en RoPE door tokens te transformeren, waardoor een consistente op SVD gebaseerde analyse mogelijk is over verschillende modelarchitecturen (bijvoorbeeld GPT-2, Pythia, Gemma).

2. Automatische Interpreteerbaarheid

De auteurs demonstreren dat een aanzienlijk deel van de ACC++-signalen interpreteerbaar is. Zij maken gebruik van een geautomatiseerde pijplijn (aangepast van [18]) die:

• Hoog-activatie contexten voor elk signaal ophaalt uit een dataset (The Pile).
• Een LLM gebruikt om een korte natuurlijke-taalbeschrijving van het signaal te genereren.
• De beschrijving valideert met behulp van een LLM-as-a-judge-protocol om signaal van ruis te onderscheiden.
  Resultaten tonen aan dat veel signalen toelaten tot korte, coherente natuurlijke-taalbeschrijvingen (bijvoorbeeld "tweede item in een parallel paar", "eigenaam", "structurele scheidingsteken").

3. Prompt-specifieke Circuitanalyse

ACC++ maakt analyse van circuits op basis van individuele prompts mogelijk, en onthult dat modelgedrag niet statisch is, maar aanzienlijk varieert met promptstructuur en taal.

Resultaten en Inzichten

1. Circuitcompactheid en Kwaliteit

Over drie modellen (GPT-2 Small, Pythia-160M, Gemma-2 2B) en drie taken (Indirect Object Identification, Greater-Than, Gender Pronoun) zijn ACC++-circuits 2x tot 10x kleiner dan die geproduceerd door de oorspronkelijke ACC-methode.

• Dimensionaliteit: De meerderheid van de ACC++-signalen is rank-1 (met gebruik van één enkele singuliere richting), in vergelijking met hogerdimensionale signalen in eerdere werken.
• Causale Validiteit: Ablatiestudies bevestigen dat het verwijderen van ACC++-signalen de modelprestaties op de doeltaak aanzienlijk beïnvloedt, terwijl de residustroom minimaal wordt verstoord (cosijn gelijkenis $\approx 0.99$), wat hun causale rol bevestigt.

2. Gevoeligheid voor Promptstructuur (IOI-taak)

In de Indirect Object Identification (IOI)-taak vindt het artikel dat circuits sterk gevoelig zijn voor prompttemplates:

• GPT-2: Circuits clusteren strikt op basis van hoog-niveau templatestructuur (ABBA- versus BABA-volgorde van namen). Dezelfde "naam-bewegende" head (9,9) gebruikt fundamenteel verschillende inkomende signalen afhankelijk van de template (bijvoorbeeld "tweede item in een paar" versus generieke structurele aanwijzingen).
• Pythia: Circuits clusteren op basis van laag-niveau woordkeuze-veranderingen (bijvoorbeeld "Terwijl" versus "Vervolgens"), wat wijst op gevoeligheid voor oppervlakkige formulering in plaats van alleen structurele volgorde.
• Gemma-2: Toont een complexere, minder template-afhankelijke clustering, wat wijst op een afhankelijkheid van fijnkorrelige promptdetails.

3. Meertalige Mechanismen (mIOI-taak)

In een meertalige IOI-setting (Engels, Spaans, Frans, Portugees):

• Componenthergebruik: Modellen hergebruiken dezelfde attention-heads en MLP's over talen heen.
• Taal-specifieke Signalen: Hoewel componenten worden gedeeld, zijn de signalen die erdoorheen stromen vaak taal-specifiek.
• Linguïstische Correlatie: De afstand tussen circuits van verschillende talen correleert sterk met de typologische afstand tussen die talen (syntactische en genetische afstanden). Bijvoorbeeld, Spaanse en Portugese circuits lijken meer op elkaar dan op Engelse of Franse circuits.

Betekenis en Claims

Het artikel beweert dat ACC++ een praktische, schaalbare tool biedt voor mechanistische interpreteerbaarheid die niet afhankelijk is van dure counterfactuele interventies. De primaire betekenis ligt in:

1. Schaalbaarheid: Het mogelijk maken van prompt-specifieke circuitanalyse op grote schaal door slechts één enkele forward pass te vereisen.
2. Interpreteerbaarheid: Het bieden van een directe link tussen laagdimensionale communicatiekanalen en menselijk leesbare natuurlijke-taalbeschrijvingen, waardoor de kloof tussen wiskundige mechanismen en semantisch begrip wordt overbrugd.
3. Genuanceerd Begrip: Het onthullen dat model "circuits" niet monolithisch zijn, maar dynamische assemblages van componenten en signalen die zich aanpassen aan promptstructuur en taal. Dit daagt het beeld uit van één universeel circuit voor een taak, en toont in plaats daarvan een spectrum van prompt-specifieke mechanismen.

De auteurs wijzen op beperkingen, waaronder het heuristische karakter van de drempelwaarde $\tau$, het ontbreken van tracing voor door FFN veroorzaakte signalen, en het feit dat geautomatiseerde interpretaties suggestief zijn in plaats van concluderend. Zij benadrukken dat de meertalige bevindingen gebaseerd zijn op een klein aantal taalparen en moeten worden gezien als indicatief voor een bredere trend in plaats van definitief bewijs.