Technische Samenvatting: Trajectgeometrie van Transformer-representaties over Lagen heen

Probleemstelling

De huidige mechanistische interpreteerbaarheid van transformer-modellen opereert grotendeels in twee regimes: het traceren van specifieke computationele circuits (bijv. inductiekoppen, MLP-lagen) of het onderzoeken van laag-specifieke embeddings op vooraf gespecificeerde linguïstische kenmerken. Beide paradigma's behandelen netwerk-lagen als onafhankelijke momentopnames, waarbij het continue geometrische proces van hoe representaties evolueren door de netwerkdiepte wordt genegeerd. Dit artikel adresseert het openstaande probleem van het begrijpen van hoe transformer-representaties evolueren over lagen heen, in plaats van enkel te kijken naar wat ze op een statisch punt coderen.

Methodologie

De auteurs herformuleren de forward pass van de transformer als een discrete populatie-traject door een hoog-dimensionale representatie-manifold ($\mathbb{R}^d$). Geïnspireerd door populatie-trajectanalyses in de computationele neurowetenschap, vermijdt deze studie dimensionaliteitsreductie voor metriekberekening en werkt de studie volledig in de volledige ambivalente ruimte om artefacten door projectie te voorkomen.

Kernframework

1. Trajectextractie: Voor een inputsequentie worden verborgen toestanden geëxtraheerd bij elke laag $l$ (van input-embeddings $h^{(0)}$ tot de uiteindelijke outputs $h^{(L)}$). Sequentie-niveau representaties worden verkregen via mean pooling over niet-padding tokens.
2. Geometrische Metrieken: Vijf metrieken zijn gedefinieerd direct in $\mathbb{R}^d$:
   • Trajectlengte ($L$): Totale Euclidische verplaatsing over de lagen heen.
   • Curvatuur ($\kappa$): De draaihoek tussen opeenvolgende verplaatsingsvectoren; gemiddelde curvatuur ($\bar{\kappa}$) meet niet-lineariteit.
   • Semantische Convergentie-index (CI): Meet de compressie van semantisch gerelateerde prompts relatief aan ongerelateerde prompts ($D_{tussen} - D_{binnen}$).
   • Laag-specifieke Cosinus-gelijkenis (SIM): Angulaire gelijkenis tussen aangrenzende lagen om faseovergangen te detecteren.
   • Representatieve Stabiliteit: Gelijkenis tussen een prompt en de lexicale perturbatie ervan om de abstractie van de oppervlaktevorm te meten.
3. Experimenteel Ontwerp:
   • Modellen: Drie decoder-only families (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
   • Prompts: 150 semantisch gecontroleerde prompts over vijf families: Semantische Categorieën, Lexicale Variaties, Analoog Redeneren, Meerstaps Redeneren en Ambigue Concepten.
   • Controles: Vier rigoureuze controles (Random Labels, Random Embeddings, Geschudde Laagvolgorde, Meerdere Projectiemethoden) om geleerd computationeel gedrag te onderscheiden van geometrische artefacten.

Belangrijkste Bijdragen

Het artikel introduceert een traject-geometrisch framework voor transformer-interpreteerbaarheid dat probe-vrij en model-agnostisch is. Het definieert vijf hoog-dimensionale metrieken om de dynamiek van representaties te karakteriseren zonder dat daarvoor classifiers of fine-tuning nodig zijn. De auteurs stellen een open-source pipeline beschikbaar die deze analyse voor elk causaal taalmodel mogelijk maakt.

Belangrijkste Resultaten

Over alle drie de architecturen en gevalideerd tegen de controles, rapporteert de studie vier fundamentele bevindingen:

1. Semantische Convergentie in Attractor-bekkens: Semantisch gerelateerde prompts ondergaan een statistisch significante convergentie in de midden- tot late lagen. De Convergentie-index stijgt scherp van bijna nul in de vroege lagen naar piekwaarden van 0,41–0,58 in de latere lagen ($p < 0,001$). Dit effect verdwijnt onder de random-label controles, wat duidt op attractor-achtige dynamiek gedreven door geleerde semantiek.
2. Curvatuur als Complexiteitsindicator: Taken met redenering en analogieën produceren trajecten met een significant hogere gemiddelde curvatuur dan lexicale variaties.
   • Redeneren (Meerstaps/Analogie): 0,71–0,83 rad.
   • Lexicale Variaties: 0,27–0,31 rad.
   • Dit verschil is consistent over de modellen heen ($p < 0,001$), wat suggereert dat gemiddelde curvatuur computationele complexiteit codeert. Curvatuurpieken treden op in een "computationele inflexiezone" (ongeveer 20–45% van de netwerkdiepte), wat overeenkomt met bekende inductiekop en MLP-retrievelaag-locaties.
3. Disambiguatie als Traject-bifurcatie: Ambigue tokens (bijv. "bank" in verschillende contexten) vertonen een meetbare traject-bifurcatie. Representaties voor verschillende contexten beginnen bijna identiek bij laag 0 maar divergeren progressief, waarbij ze een 5,6× separatie-ratio bereiken tegen de laatste laag. De onset van deze bifurcatie is consistent rond ~20–25% van de netwerkdiepte over architecturen heen, wat wijst op een universeel schema voor progressieve disambiguatie in plaats van een instantane resolutie.
4. Universele Driefasige Computationele Structuur: Laag-specifieke cosinus-gelijkenis onthult een consistente driefasige structuur over alle modellen:
   • Fase I (Encoding): Snelle representatieve verandering (lage gelijkenis).
   • Fase II (Elaboratie): Gestabiliseerde gelijkenis, samenvallend met semantische convergentie en hoge curvatuur.
   • Fase III (Output Voorbereiding): Een secundaire daling in gelijkenis terwijl representaties herkalibreren richting de output-vocabulaire.
   • Deze structuur stort in onder random-embedding controles, wat bevestigt dat het een product is van getrainde computation.

Betekenis en Claims

Het artikel betoogt dat de transformer forward pass niet een willekeurige sequentie van toestanden is, maar een geometrisch gestructureerde flow. De betekenis van dit werk ligt in:

• Probe-vrije Interpreteerbaarheid: Het bieden van een lens om modelgedrag te analyseren zonder vooraf gespecificeerde kenmerken of het trainen van classifiers.
• Brug naar Dynamische Systemen: Het verbinden van computationele neurowetenschappelijke concepten (manifolds, attractoren, curvatuur) met deep learning, wat een verenigd beeld biedt van hoe representaties evolueren.
• Actiegerichte Inzichten: De bevindingen suggereren dat interventies voor disambiguatie of sturing (steering) zich moeten richten op specifieke trajectfasen (bijv. vóór de onset van de bifurcatie) in plaats van op willekeurige lagen.
• Universaliteit: De consistentie van deze geometrische patronen over modellen met verschillende schalen, architecturen en trainingscorpora suggereert dat de geometrie van het traject gedreven kan worden door de structuur van taal zelf.

De auteurs blijven bescheiden over causaliteit en merken op dat hoewel de geometrische structuur correleert met semantische en computationele eigenschappen, het artikel correlatie vaststelt, geen causaliteit. Zij identificeren causale verificatie via activation patching als de noodzakelijke volgende stap.