Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

Technische Samenvatting: Emergente Ordinale Geometrie in Transformers Getraind op Lokale Vergelijkingen

Probleemstelling
Het artikel onderzoekt of Transformer-modellen, wanneer ze uitsluitend worden getraind op lokale (aangrenzende) vergelijkingen binnen een verborgen totale ordening, hetzelfde primitieve mechanisme verwerven dat door biologische systemen wordt gebruikt voor transitieve inferentie (TI). TI is het vermogen om een niet-aangrenzende relatie (bijv. $A < C$) af te leiden uit bekende aangrenzende relaties ($A < B, B < C$). Hoewel de menselijke cognitie dit oplost via een "analoge mentale getallenlijn"—bewezen door het symbolische afstandseffect (waarbij verre vergelijkingen sneller/nauwkeuriger worden verwerkt dan aangrenzende)—worden Transformers niet expliciet gedwongen om orde lineair te representeren. De studie vraagt zich af of deze specifieke geometrische representatie en gedragsmatige signatuur spontaan ontstaan in neurale netwerken die getraind zijn op het klassieke paradigma van Bryant en Trabasso [1971].

Methodologie
De auteurs construeerden een synthetische taak met gebruik van een verborgen totale ordening van $N$ entiteiten ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$).

• Trainingsdata: Het model wordt uitsluitend getraind op aangrenzende paren in beide richtingen ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$).
• Evaluatiedata: Het model wordt geëvalueerd op een disjuncte set van verre paren ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), wat het reconstrueren van de globale orde vereist op basis van alleen lokale data.
• Modelarchitectuur: Een single-layer Transformer met entiteit-embeddings, één attention head (in het abstract) of twee (in de resultaten sectie), een 4d-brede GELU MLP, en een lineaire unembedding head. De relatie wordt gedecodeerd vanuit de finale-positie residual.
• Metrieken:
  1. Geometrische Structuur: Principal Component Analysis (PCA) op entiteit-embeddings om lineariteit te meten (variantie op de eerste principal component, $\rho_1$) en rang-uitlijning (correlatie tussen geprojecteerde positie en ware rang).
  2. Gedragsmatige Signaturen: Beslissingsvertrouwen (logit margin) en geometrische scheiding ($g_{ij}$) worden gemeten tegenover de rangafstand ($|i-j|$) om het symbolische afstandseffect te detecteren.

Belangrijkste Bijdragen

1. Isolatie van de Synthetische Taak: Het artikel introduceert een gecontroleerde taak die ordinale generalisatie isoleert van lokale vergelijkingen, waarbij het de klassieke TI-paradigma strikt spiegelt.
2. Emergente 1D-Manifold: Het levert bewijs dat Transformers spontaan entiteit-embeddings organiseren in een eendimensionale manifold. De hoofdcomponent van deze manifold herstelt de verborgen rangorde met bijna perfecte getrouwheid.
3. Computationele Analoog van het Afstandseffect: De studie toont aan dat zelfs wanneer de nauwkeurigheid een plafond bereikt, het model het symbolische afstandseffect vertoont: zowel de beslissingszekerheid als de geometrische scheiding schalen monotoon met de rangafstand tussen items.

Resultaten
Experimenten werden uitgevoerd op sets van $N=10, 15,$ en $20$ entiteiten.

• Grokking-achtige Dynamiek: De opkomst van out-of-distribution (OOD) generalisatie gaat samen met een geometrische reorganisatie van de embeddings. Deze transitie is gevoelig voor optimalisatie (specifiek weight decay) en produceert transiënte dynamiek die lijkt op "grokking".
• Geometrische Herstel: Terwijl het model leert, klappen de embeddings in op een lijn waarbij de principal component uitlijnt met de ware rangorde.
• Gedragsmatige Spiegeling: Bij de piek van de OOD-nauwkeurigheid volgen de interne representaties en de output-vertrouwen van het model strikt het symbolische afstandseffect. Verre paren worden niet alleen correct geclassificeerd, maar worden ook geassocieerd met een hogere mate van vertrouwen en een grotere geometrische scheiding in de embedding-ruimte vergeleken met aangrenzende paren.

Betekenis
Het artikel beweert een 50 jaar oude gedragsmatige regelmaat (het symbolische afstandseffect in TI) te funderen in de geometrie van geleerde neurale representaties. Door aan te tonen dat Transformers spontaan een "mentale getallenlijn" ontwikkelen zonder expliciete supervisie, biedt het werk een mechanistische verklaring voor transitieve inferentie die de cognitieve wetenschap en moderne neurale netwerk-interpreteerbaarheid overbrugt. Het suggereert dat het vermogen om abstracte relationele redenering uit te voeren een natuurlijk bijproduct kan zijn van het optimaliseren voor lokale beperkingen binnen een totale ordening.