Context Structure Reshapes the Representational Geometry of Language Models

Technische Samenvatting: Contextstructuur Vormt de Representatieve Geometrie van Taalmodellen Her

Probleemstelling
Grote taalmodellen (LLM's) vertonen het vermogen om zich aan te passen aan nieuwe taken en structuren binnen het contextvenster te leren (In-Context Learning, of ICL). Hoewel eerder onderzoek heeft vastgesteld dat LLM's inputsequenties organiseren in "rechtere" neurale trajecten in diepe lagen om next-token voorspelling via lineaire extrapolatie te vergemakkelijken, blijft het onduidelijk of deze representatieve rechtlijnigheid een universeel mechanisme is voor alle vormen van ICL. Specifiek is de relatie tussen de structuur van de context en de manier waarop LLM's hun interne representaties hervormen om gedrag aan te passen, nog niet volledig begrepen. Dit artikel onderzoekt of representatieve rechtlijnigheid consistent optreedt over diverse in-context taken heen, of dat het afhankelijk is van specifieke taakstructuren.

Methodologie
De auteurs analyseerden het Gemma-2-27B model (base/pre-trained versie) aan de hand van drie onderscheidende klassen van taken, ontworpen om verschillende cognitieve eisen en datastructuren te onderzoeken:

1. Natuurlijke Taal met Lange-Afstand Afhankelijkheden: Met behulp van de LAMBADA-dataset onderzocht de studie hoe modellen bredere context integreren om het laatste woord van een passage te voorspellen, in contrast met een "random text" controlegroep waar de semantische structuur werd vernietigd.
2. Grid World Taken: Synthetische taken die vereisen dat het model latente graafstructuren afleidt uit lineaire tokensequenties. Deze omvatten:
   • Directe Mapping: Random walks op een 6x6 rooster van unieke woorden.
   • Hiërarchische Mapping: Het afleiden van een verborgen 4x4 latente graaf uit ruisige observaties van "kind"-tokens geassocieerd met latente knopen.
   • 0-shot Transities: Het testen van het vermogen van het model om transities tussen latente knopen af te leiden die nooit expliciet in de context zijn waargenomen.
3. Gestructureerde Predictie Taken:
   • Few-Shot Learning: Standaard benchmarks (bijv. Country-Capital, algoritmisch redeneren) geformatteerd als alternerende "Q: [Input]" en "A: [Output]" paren.
   • Riddles (Raadsels): Een semantische disambiguatie taak uit de BIG-bench dataset, waarbij 0-shot en 8-shot prestaties worden gecontrasteerd.

Geometrische en Gedragsmatige Metrieken
Om de representatieve geometrie te kwantificeren, gebruikten de auteurs vier complementaire metrieken over transformer-lagen heen:

• Rechtlijnigheid (Straightening): Gemeten als de reductie in lokale kromming (hoek tussen opeenvolgende transitievectoren) van de eerste laag naar opeenvolgende lagen.
• Menger Rechtlijnigheid: Een complementaire krommingmaat gebaseerd op de straal van de omgeschreven cirkel van drie opeenvolgende punten.
• Effectieve Dimensionaliteit: Geschat via de Participation Ratio van PCA-eigenwaarden om het volume van de representatieruimte te meten.
• Elongatie (Verlenging): Gemeten via de anisotropie van het traject (variantie langs de eerste versus de tweede hoofdcomponent).

Gedragsmatige prestaties werden geëvalueerd via logit-verschillen (voor grid worlds) en exact-match nauwkeurigheid (voor few-shot taken).

Belangrijkste Resultaten
De studie onthult een fundamentele dichotomie in hoe de representaties van LLM's veranderen tijdens ICL, afhankelijk van de taakstructuur:

1. Continue Predictie Taken (Natuurlijke Taal & Grid Worlds):

   • In taken die de integratie van lange-afstand afhankelijkheden of de afleiding van latente graafstructuren vereisen, leidt een toenemende contextlengte tot een consistente toename van representatieve rechtlijnigheid, met name in de middelste lagen (Layers 15–25).
   • Deze rechtlijnigheid correleert sterk met gedragsmatige verbetering (bijv. hogere logit-separatie tussen geldige buren en niet-buren).
   • In hiërarchische grid worlds blijft de rechtlijnigheid bestaan, zelfs in 0-shot transitiecondities, wat suggereert dat het model de onderliggende latente graaf leert in plaats van enkel tokenparen te memoriseren.
   • Geometrisch gezien vertonen deze taken een contractie van de representatie naar een lager-dimensionale, meer anisotrope (verlengde) manifold.

2. Gestructureerde Mapping Taken (Few-Shot & Riddles):

   • In taken die het mappen van discrete voorbeelden naar outputs vereisen (bijv. Country-Capital, Riddles), is de representatieve rechtlijnigheid inconsistent en ontkoppeld van de computationele kern van de taak.
   • Fase-dissociatie: Bij het deconstrueren van few-shot voorbeelden in Question, Transition (formattering) en Answer fasen:
     • De Transition fase (bijv. "\n A:") vertoont progressieve rechtlijnigheid naarmate er meer voorbeelden worden toegevoegd, wat zich gedraagt als een voorspelbare voortzetting.
     • De Question fase vertoont vaak een daling in rechtlijnigheid na het eerste voorbeeld.
     • Cruciaal is dat de Answer fase (waar de eigenlijke oplossing wordt gegenereerd) geen progressieve rechtlijnigheid vertoont en in sommige gevallen (zoals bij riddles) een significante afname in rechtlijnigheid laat zien bij toenemende context.
   • Dit geeft aan dat het mechanisme dat de kernlogica van de taak oplost (het mappen van input naar output) niet rust op de linearisering van neurale trajecten die wordt waargenomen bij continue predictie.

Betekenis en Claims
Het artikel betoogt dat In-Context Learning geen monolithisch proces is dat wordt gedreven door één enkele geometrische methode. In plaats daarvan stellen de auteurs voor dat LLM's functioneren als een "Zwitsers zakmes", waarbij ze dynamisch computationele strategieën selecteren op basis van de specifieke structuur van de taak.

• Voor continue predictie taken gebruikt het model een strategie van representatieve rechtlijnigheid om de manifold te lineariseren en extrapolatie te vergemakkelijken.
• Voor gestructureerde mapping taken hanteert het model afwijkende mechanismen die niet noodzakelijkerwijs manifesteren als traject-rechtlijnigheid.

De auteurs concluderen dat hoewel representatieve rechtlijnigheid een robuust kenmerk is van leren in continue predictie-omgevingen, het geen universele indicator is van ICL-capaciteit. Deze bevinding biedt een waarschuwend perspectief voor mechanistische interpreteerbaarheid: vertrouwen op een enkele geometrische signatuur (zoals rechtlijnigheid) kan falen in het vatten van het volledige spectrum van hoe modellen zich aan diverse contexten aanpassen. De studie benadrukt de noodzaak om interpreteerbaarheids-hypothesen te testen over een diverse set van taakstructuren, in plaats van uit te gaan van een gegeneraliseerde representatieve structuur die ten grondslag ligt aan alle ICL-gedragingen.