Technische Samenvatting: Mengmechanismen bij In-Context Entiteitsherwinning

Probleemstelling

Taalmodellen (LM's) blinken uit in redeneren in context, een vaardigheid die fundamenteel afhankelijk is van het vermogen om gerelateerde entiteiten binnen een tekst te koppelen (bijvoorbeeld het koppelen van "Ann" aan "taart" in "Ann houdt van taart") en deze vervolgens op basis van een query te herwinnen (bijvoorbeeld het beantwoorden van "Wie houdt van taart?"). Hoewel eerdere onderzoeken hebben aangetoond dat LM's een positioneel mechanisme gebruiken—het herwinnen van entiteiten op basis van hun index in de contextsequentie—werd dit beeld grotendeels afgeleid uit studies met korte lijsten van entiteitengroepen (bijvoorbeeld $n=2$ of $3$).

Het centrale probleem dat in dit werk wordt aangepakt, is de betrouwbaarheid van dit positionele mechanisme in complexere, realistischere situaties. Naarmate het aantal gekoppelde entiteitengroepen toeneemt, worstelen LM's met redeneren over lange contexten, waarbij fenomenen zoals het "lost-in-the-middle"-effect optreden. De auteurs onderzoeken of het positionele mechanisme zich generaliseert naar langere sequenties of dat LM's alternatieve strategieën hanteren om de herwinningsnauwkeurigheid te behouden.

Methodologie

De auteurs maken gebruik van technieken voor mechanistische interpretatie, specifiek interchange-interventies, om de interne causale structuur van LM's te onderzoeken.

1. Taakopzet: De studie maakt gebruik van gestructureerde in-context redeneertaken met "Entiteitengroepen" (tupels van entiteiten die specifieke rollen invullen, bijvoorbeeld Naam + Voedsel). Het model wordt bevraagd om een doelentiteit te herwinnen op basis van een query-entiteit binnen een specifieke groep.
2. Contrfactueel Ontwerp: Om concurrerende hypothesen te onderscheiden, construeren de auteurs gepaarde datasets van originele en contrfactuele invoer. Deze paren zijn zo ontworpen dat drie gehypotheceerde mechanismen—Positioneel, Lexicaal en Reflexief—distincte outputs voorspellen als er een interchange-interventie wordt uitgevoerd op hun respectieve tussenvariabelen.
   • Positioneel Mechanisme ($P$): Herwint de entiteit op de groepsindex van de contrfactuele query.
   • Lexicaal Mechanisme ($L$): Herwint de gekoppelde tegenhanger van de query-entiteit (bijvoorbeeld als de query verandert van "Tim" naar "Ann", herwint het wat "Ann" liefheeft).
   • Reflexief Mechanisme ($R$): Herwint de doelentiteit via een directe pointer die vanuit het doel zelf originateert, gedereferentieerd via de query.
3. Interventieprotocol: De auteurs voeren interchange-interventies uit op de residustroom van het laatste token op specifieke lagen ($\ell$) die zijn geïdentificeerd als het punt net voorafgaand aan de herwinning. Ze patchen de residustroomvector van de contrfactuele run in de originele run en observeren de resulterende volgende-tokenverdeling.
4. Causale Modellering: Er wordt een causaal model ($M$) ontwikkeld om het gedrag van het LM te simuleren. Dit model combineert de drie mechanismen als een gewogen mengsel:
   • De positionele term wordt gemodelleerd als een Gaussische verdeling gecentreerd rond de query-index, met een variantie die afhankelijk is van de index.
   • De lexicaal en reflexieve termen worden gemodelleerd als one-hot-verdelingen.
   • Het model wordt getraind om de logit-verdeling van het LM te voorspellen met behulp van de Jensen–Shannon-divergentie (JSD) als verliesmaatstaf.
5. Scope: Experimenten omvatten negen modellen uit drie families (Llama, Gemma, Qwen) variërend van 2B tot 72B parameters, geëvalueerd op tien verschillende koppelings taken.

Belangrijkste Bijdragen

1. Identificatie van Drie Onderscheidende Mechanismen

Het artikel daagt de heersende opvatting uit dat herwinning uitsluitend positioneel is. Het toont aan dat LM's een mengsel van drie mechanismen hanteren:

• Positioneel: Effectief voor entiteiten aan het begin en einde van de context, maar wordt ruisachtig en diffuus voor middelste posities naarmate het aantal groepen ($n$) toeneemt.
• Lexicaal: Herwint de gekoppelde tegenhanger van de query-entiteit (bijvoorbeeld "taart" $\to$ "Ann"). Dit mechanisme biedt een scherp, one-hot-signaal.
• Reflexief: Gebruikt een directe pointer van de doelentiteit naar zichzelf, die via de query wordt herwonnen. Dit is bijzonder cruciaal wanneer het doel vóór de query in een zin verschijnt (bijvoorbeeld "Tim houdt van thee" $\to$ "Wie houdt van thee?"), een scenario waarbij lexicaal kopiëren architectonisch moeilijk is voor autoregressieve modellen.

2. Het "U-vormige" Betrouwbaarheidspatroon

Door uitgebreide interventie-experimenten ontdekken de auteurs een consistent patroon:

• Eerste en Laatste Posities: Herwinning wordt gedomineerd door het positionele mechanisme, dat sterk geconcentreerd en betrouwbaar is.
• Middelste Posities: Het positionele signaal degradeert aanzienlijk. Om dit te compenseren, vertrouwen LM's sterk op de lexicale en reflexieve mechanismen, die scherpere signalen bieden om de juiste entiteit te onderscheiden.
• Interactie: De mechanismen vertonen "competitieve synergie". Wanneer indices overeenkomen, versterken signalen elkaar; wanneer ze uiteenlopen, onderdrukken ze elkaar.

3. Causaal Model voor Voorspelling van Volgende Token

De auteurs construeren een causaal model dat deze drie mechanismen combineert. Dit model bereikt 95% overeenstemming (gemeten door Jensen–Shannon-ähnelijkheid) met de werkelijke volgende-tokenverdelingen van de LM's over verschillende taken en modelgroottes. Daarentegen bereiken modellen die uitsluitend vertrouwen op het positionele mechanisme (de heersende opvatting) aanzienlijk lagere scores (~45%), en presteren ze in sommige configuraties slechter dan een uniforme baseline.

4. Generalisatie naar Natuurlijke Invoer

De studie valideert dat deze bevindingen gelden in meer natuurlijke situaties waarin entiteitengroepen worden afgewisseld met "vuller"-tekst (open zinnen). Hoewel de toevoeging van vuller-tokens de ruis verhoogt en het lexicaal mechanisme enigszins verzwakt, blijft de fundamentele afhankelijkheid van het mengsel van drie mechanismen bestaan, wat een mechanistische verklaring biedt voor het "lost-in-the-middle"-effect.

Resultaten

• Prevalentie van Mechanismen: In middelste posities van lange contexten maakt het positionele mechanisme slechts ongeveer 20% uit van het gedrag van het model, terwijl de lexicaal en reflexieve mechanismen de primaire drijvers worden van correcte herwinning.
• Model Robuustheid: Het mengpatroon is consistent over model families (Llama, Gemma, Qwen) en schalen (2B tot 72B parameters).
• Validatie Reflexief: Door specifieke contrfactuele ontwerpen waarbij het contrfactuele antwoord niet bestaat in de originele context, bewijzen de auteurs het bestaan van een reflexief pointermechanisme dat onderscheiden is van de antwoordtoken zelf.
• Ablatiestudies: Het verwijderen van een enkel mechanisme uit het causale model degradeert de prestaties aanzienlijk, wat bevestigt dat alle drie nodig zijn voor een accurate abstractie van het LM-gedrag.

Betekenis en Claims

Het artikel claimt een vollediger beeld te schetsen van hoe LM's entiteiten in context koppelen en herwinnen. Door voorbij te gaan aan het simplistische positionele perspectief, bieden de auteurs een mechanistische verklaring voor zowel de sterke punten (robuste herwinning via meerdere signalen) als de kwetsbaarheden (ruis in middelste posities die leidt tot "lost-in-the-middle"-fouten) van LLM's in lange-context situaties.

Het werk suggereert dat het "lost-in-the-middle"-fenomeen niet louter een falen van aandacht is, maar een specifieke degradatie van het positionele signaal, dat slechts gedeeltelijk wordt gecompenseerd door lexicaal en reflexieve mechanismen. De auteurs maken hun code en data vrij om verder onderzoek naar de causale mechanismen van in-context redeneren te faciliteren.