Technische Samenvatting: Lokalisatie van Verankeringspaden in Taalmodellen

Probleemstelling

Grote taalmodellen (LLM's), net als mensen, vertonen een verankeringsbias (anchoring bias), waarbij een irrelevante numerieke waarde in een prompt opeenvolgende oordelen verschuift naar die waarde, zelfs wanneer het model over de juiste feitelijke kennis beschikt. Hoewel eerder werk heeft vastgesteld dat dit gedragsfenomeen bestaat, is het de modellen grotendeels behandeld als een 'black box', waarbij de grootte van de verschuiving werd gemeten zonder de interne mechanismen uit te leggen. Dit artikel adresseert de kloof in de mechanistische interpreteerbaarheid: specifiek het identificeren van welke interne paden binnen een LLM het signaal dragen dat ervoor zorgt dat een irrelevante veranker (anchor) concurreert met het juiste antwoord tijdens de voorspelling.

Methodologie

1. Gecontroleerde Taakopzet

De auteurs hebben 100 numerieke schattingsvragen uit de Open Anchoring Question Dataset (OpAQ) aangepast naar een gecontroleerd meerkeuzeformaat.

• Promptstructuur: Elk item bevat een feitelijke vraag, een grondwaar antwoord, en een irrelevante "slot machine"-zin die ofwel een lage veranker, een hoge veranker, of een token-gematchte controle (niet-numerieke string) bevat.
• Antwoordruimte: Een vaste set van negen opties wordt gebruikt voor alle condities, bestaande uit het grondware antwoord, de ankers, en tussenliggende waarden. Het model krijgt de instructie om alleen de antwoordletter te produceren.
• Geëvalueerde Modellen: Vier open-weight decoder-only modellen uit de Qwen2.5 en Llama-3.1 families:
  • Base modellen: Qwen2.5-7B, Llama-3.1-8B.
  • Instructie-getunede varianten: Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. Metrieken

• Gedragsmetriek: De genormaliseerde verwachte waarde (EV) verschuiving meet de richting en grootte van de verschuiving in de waarschijnlijkheidsverdeling van het model naar de veranker.
• Attributiemetriek: Een logit-verschil metriek ($m$) wordt gedefinieerd als het verschil tussen de logit van het correcte antwoord en de logit van het actieve anker-antwoord ($m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$).
  • Een afname in $m$ geeft aan dat de veranker competitiever wordt.
  • De verandering in deze metriek ($\Delta m$) tussen geankerde en controle-prompts dient als het doelwit voor circuit-lokalisatie.
  • Validatie bevestigde dat $\Delta m$ sterk correleert met gedragsmatige EV-verschuivingen.

3. Circuit-lokalisatie Raamwerk

De studie maakt gebruik van attributie-gebaseerde circuit-lokalisatie om de minimale subgraaf van het model te identificeren die verantwoordelijk is voor het verankeringseffect.

• Graafrepresentatie: De transformer wordt behandeld als een computationele graaf waarbij knopen componenten zijn (attention heads, MLPs) en randen (edges) gerichte paden zijn.
• Vergeleken Methoden:
  • Node Attribution Patching (NAP/NAP-IG): Scoort individuele componenten.
  • Edge Attribution Patching (EAP/EAP-IG): Scoort gerichte paden tussen componenten.
  • Integrated Gradients (IG): Varianten (NAP-IG, EAP-IG) middelen gradiënten langs een interpolatiepad om de kwaliteit van de attributie te verbeteren.
• Getrouwheids Evaluatie: De auteurs meten Circuit Performance Recovery (CPR). Ze behouden de top-$k\%$ gerangschikte edges/nodes van de "schone" (controle) run en patchen de rest met activaties uit de "gecorrumpeerde" (geankerde) run. Een hoge CPR-score geeft aan dat de behouden subgraaf het ongeankerde gedrag van het model succesvol herstelt.

Belangrijkste Bijdragen

1. Metriek Validatie: Het artikel stelt een gevalideerde antwoord-niveau metriek vast (logit verschil) die gedragsmatige verankering volgt, wat het gebruik van gradiënt-gebaseerde attributie voor circuit-lokalisatie mogelijk maakt.
2. Edge vs. Node Lokalisatie: De studie toont aan dat edge-niveau methoden (EAP, EAP-IG) de verankeringssignalen aanzienlijk getrouwer herstellen dan node-niveau methoden (NAP, NAP-IG). Dit suggereert dat de bias beter begrepen kan worden als een eigenschap van paden tussen componenten dan als geïsoleerde "gebiaste" componenten.
3. Structurele Analyse van Circuits:
   • Laag-gewijze Patronen: Qwen-modellen concentreren attributie in mid- tot late lagen, terwijl Llama-modellen het in eerdere lagen concentreren.
   • Componenttypen: De top-gerangschikte circuits worden gedomineerd door attention-to-attention edges (ongeveer 68–80% van de geselecteerde edges), met een significante betrokkenheid van attention-MLP verbindingen, wat suggereert dat MLPs participeren via attention-gemedieerde paden.
4. Transferabiliteit Bevindingen:
   • Binnen-model: Lage- en hoge-anker circuits delen een substantiële structuur (ongeveer 66–71% gedeelde edges) en transfereren goed over anker-contrasten binnen hetzelfde model.
   • Cross-variant: Hoewel base en instructie-getunede modellen brede laag-gewijze attributiepatronen delen, veranderen de specifieke ijle (sparse) edges die het belangrijkst zijn na instructie-tuning. Cross-variant transfer is minder betrouwbaar, met name voor lage-anker contrasten en ijle circuits.

Resultaten

• Getrouwheid: EAP-IG (Edge Attribution Patching met Integrated Gradients) kwam als de meest getrouwe lokalisatiemethode naar voren, met CPR-scores die vaak de 0.90 overstijgen over modellen en condities heen. In tegenstelling hiertoe scoorden node-niveau methoden (NAP) significant lager (bijv. 0.36–0.67).
• Verankeringsstructuur:
  • Lage- en hoge-anker circuits binnen een enkel model zijn bijna identiek in hun laag-gewijze diepteverdeling (Pearson correlatie > 0.99) en delen ongeveer twee derde van hun top-gerangschikte edges.
  • Instructie-tuning behoudt de algemene diepte van de attributie, maar verandert de specifieke ijle edges die het effect drijven. Bijvoorbeeld, in Qwen-7B daalde de cross-variant getrouwheid voor lage-anker contrasten van 0.917 (gematcht) naar 0.291 wanneer de instructie-getunede rangschikking werd gebruikt.
• Verschillen tussen Modellen: Qwen-modellen vertonen sterker gedragsmatig verankering en latere-laag attributie vergeleken met Llama-modellen, die een concentratie in eerdere lagen laten zien.

Betekenis en Claims

Het artikel claimt een mechanistisch verslag te bieden van hoe verankerings-gerelateerde beslissingssignalen binnen taalmodellen worden gedragen. Door verankering te kaderen als een circuit-lokalisatieprobleem, gaan de auteurs verder dan het meten van dat een bias voorkomt naar het begrijpen van hoe het wordt berekend.

Belangrijke implicaties die door de auteurs worden getrokken zijn onder meer:

• Pad vs. Component: Verankering is een fenomeen op pad-niveau; het isoleren van specifieke "gebiaste" nodes is minder effectief dan het identificeren van de informatiestroom tussen componenten.
• Gedeelde Mechanismen: De sterke transfer tussen lage en hoge ankers suggereert een gedeeld intern mechanisme voor veranker-gevoeligheid, in plaats van afzonderlijke foutmodi voor verschillende anker-richtingen.
• Post-training Gevoeligheid: De verminderde transferabiliteit tussen base en instructie-getunede modellen geeft aan dat post-training verandert welke specifieke paden cruciaal zijn voor deze bias, wat impliceert dat mitigatiestrategieën na fine-tuning opnieuw geëvalueerd moeten worden.
• Methodologische Bijdrage: Het werk demonstreert het nut van het toepassen van circuit-lokalisatie op cognitieve biases, en biedt een raamwerk om van gedragsmatige observatie naar mechanistisch begrip te bewegen.

De auteurs blijven bescheiden en merken op dat hun bevindingen specifiek zijn voor de meerkeuzeformulering en een specifieke dataset (OpAQ), en dat de geïdentificeerde circuits het mechanisme vertegenwoordigen voor de gevalideerde logit-verschil metriek, in plaats van elke mogelijke manifestatie van verankering in open eind generatie.