🤖 machine learning

Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks

Dit artikel introduceert een theoretisch kader dat aantoont dat de leerdynamiek van Transformers op algemene inductieve redeneertaken beperkt is tot een laagdimensionale invariante manifold, wat de karakterisering van in-context versus in-weights leren, de voorspelling van circuitselectie op basis van initialisatie en de automatische detectie van geleerde circuits mogelijk maakt.

Oorspronkelijke auteurs: Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Transformer-taalmodel niet voor als een gigantisch, chaotisch brein met miljoenen neuronen die willekeurig vuren, maar als een enorme, hoogtechnologische dansvloer. Jarenlang hebben wetenschappers geobserveerd hoe deze modellen leren redeneren—zoals ontdekken dat als op "Alan" in een verhaal "Turing" volgt, "Alan" later ook weer door "Turing" gevolgd moet worden—maar ze konden niet verklaren hoe de dansers bewogen. Ze dachten dat de choreografie te complex was om in kaart te brengen, een kolkende brij van miljoenen parameters.

Dit artikel laat een bom inslaan: De dansvloer is helemaal niet rommelig.

Het Onzichtbare Podium: De IMIR

De auteurs ontdekten dat wanneer een Transformer leert redeneren, het niet verdwaalt in de oneindige leegte van zijn miljoenen mogelijke instellingen. In plaats daarvan raakt het gevangen op een klein, onzichtbaar, laagdimensionaal podium genaamd de Invariant Manifold of Inductive Reasoning (IMIR).

Denk aan het volledige brein van het model als een gigantische, 3D-oceaan. Je zou verwachten dat het leerproces overal in die oceaan kan zwemmen. Maar het artikel bewijst dat het model voor een enorme klasse van redeneertaken feitelijk beperkt is tot één enkel, plat, 2D-vlak dat in die oceaan drijft. Hoe het model ook traint, het verlaat dit vlak nooit.

Waarom is dit belangrijk? Omdat we, in plaats van te proberen miljoenen zwevende getallen te begrijpen, het volledige redeneervermogen van het model nu kunnen beschrijven met slechts een handvol coördinaten op dit vlak. Het is alsof je beseft dat hoewel een auto duizenden onderdelen heeft, de beweging op een rechte weg beschreven kan worden met slechts twee getallen: snelheid en richting.

De Twee Dansers: Geheugen versus Redeneren

Op dit speciale podium moet het model kiezen tussen twee verschillende manieren om een puzzel op te lossen:

De "In-Weights" Danser (Memoriseren): Deze danser onthoudt simpelweg het antwoord. Als de prompt "Alan" is, herinnert hij zich "Turing" omdat hij dat al een miljoen keer eerder heeft gezien. Het is snel, maar het werkt alleen voor zaken die hij al kent.
De "In-Context" Danser (Redeneren): Dit is de "inductie-kop". Hij kijkt naar het huidige verhaal, vindt een patroon (zoals "Alan" verscheen eerder in de tekst vóór "Turing") en bedenkt ter plekke het antwoord. Dit is de magie van generalisatie.

Het artikel laat zien dat deze twee dansers in een felle strijd verwikkeld zijn. Als de data vol staat met veelvoorkomende, repetitieve patronen (zoals een verhaal waarin "Alan" altijd door "Turing" wordt gevolgd), wint de "Memorisatie"-danser gemakkelijk en neemt het podium over. Maar als de data rommelig is, met zeldzame woorden en verschuivende patronen, moet de "Redenering"-danser het stokje overnemen. De auteurs bewijzen wiskundig dat de "Redenering"-danser pas een kans krijgt om te bewegen als de "Memorisatie"-danser wordt uitgehongerd van makkelijke overwinningen.

Het Lotto-ticket: Wie wint de dans?

Hier wordt het echt interessant. Het artikel onderzoekt waarom sommige modellen wel leren redeneren en andere niet, zelfs als ze met dezelfde regels beginnen. Het blijkt dat alles draait om de initiële schudbeurt.

Stel je voor dat je een kaartspel hebt (de beginwaarden van het model). Het artikel suggereert dat er verborgen in dit willekeurige kaartspel een "winnend ticket" zit—een specifieke, kleine sub-netwerk dat perfect is ingesteld om de redeneertaak te leren. Maar hier komt de crux: welk winnend ticket je krijgt, hangt volledig af van hoe de kaarten aan het begin zijn geschud.

De auteurs ontdekten dat de "winnende" circuit niet alleen gaat over grote getallen; het gaat over een complexe strijd tussen verschillende potentiële circuits. Soms wint een circuit dat eigenlijk zou moeten verliezen, vanwege een vreemde interactie met een circuit dat eigenlijk zou moeten winnen. Het is als een spelletje stoelendans waarbij de muziek stopt, en de persoon die gaat zitten niet degene was die het snelst rende, maar degene die toevallig op de juiste plek stond toen de schudbeurt plaatsvond.

Wat dit uitsluit

Het artikel is zeer duidelijk over wat het niet zegt:

Het zegt niet dat leren willekeurige chaos is. De auteurs wijzen expliciet de gedachte af dat we miljoenen parameters moeten volgen om leren te begrijpen. Ze laten zien dat het leren beperkt is tot een voorspelbaar, laagdimensionaal pad.
Het zegt niet dat "Memoriseren" de enige manier is om te leren. Sterker nog, ze bewijzen dat "Redeneren" (inductief leren) een onderscheidbare, noodzakelijke mechanisme is die onder specifieke databedingingen naar voren komt.
Het beweert niet dat we de winnaar van de "circuit-strijd" kunnen voorspellen door enkel naar de grootte van de beginwaarden te kijken. Het artikel stelt expliciet dat eenvoudige voorspellers (zoals "grotere beginwaarde = winnaar") falen om de complexe fase-overgangen die zij observeerden te verklaren.

Hoe zeker zijn ze?

De auteurs gissen niet alleen maar of draaien een paar simulaties. Ze hebben wiskundig bewezen dat deze "Invariante Manifold" bestaat voor een gegeneraliseerde klasse van taken. Ze hebben aangetoond dat als een model op dit vlak begint, de wetten van gradiëntafdaling (de wiskunde die het model leert) garanderen dat het voor altijd op dat vlak blijft.

Ze merken echter wel op dat hoewel ze bewezen hebben dat het model op het vlak blijft, ze niet wiskundig hebben bewezen dat het model ook altijd vanaf een willekeurig startpunt naar het vlak toe wordt getrokken (hoewel hun experimenten dit wel suggereren). Ze hebben ook de competitie tussen de "Memoriseren"- en "Redeneren"-circuits gesimuleerd om te laten zien hoe de statistiek van de data (zoals hoe vaak woorden herhalen) de balans doet doorslaan.

Het Grote Plaatje

Door de vorming van deze redeneercircuits te presenteren als een laagdimensionale dans op een specifiek podium, hebben de auteurs een enorme stap gezet richting een "voorspellende theorie" van hoe Transformers leren. Ze hebben een zwarte doos van miljoenen getallen veranderd in een heldere, interpreteerbare kaart. In plaats van te vragen "wat is dit model aan het doen?", kunnen we nu naar de kaart kijken en zeggen: "Ah, het danst momenteel op de 'Inductie-kop' coördinaat, en het verliest de strijd tegen de 'Memoriseren' coördinaat omdat de data te repetitief is."

Dit is niet alleen een theorie; het is een nieuwe lens die de onzichtbare mechanica van AI zichtbaar, voorspelbaar en eindelijk begrijpelijk maakt.

Technische Samenvatting: Invariante Leerdynamiek van Transformers in Inductieve Redeneertaken

Probleemstelling

Ondanks aanzienlijke vooruitgang in het identificeren van circuits (subnetwerken) binnen grote taalmodellen, blijft de onderliggende leerdynamiek van hun vorming slecht begrepen. Dit gebrek aan begrip maakt de verwerving van vaardigheden in taalmodellen grotendeels onvoorspelbaar, wat de ontwikkeling van modellen bemoeilijkt en risico's voor AI-veiligheid met zich meebrengt. Eerdere theoretische werken over de leerdynamiek van Transformers zijn grotendeels beperkt gebleven tot specifieke, geïsoleerde taken (bijv. in-context $n$ -grammen of $k$ -hop inductie) of vereenvoudigde architecturen (bijv. enkele of dubbele attention-heads). Als gevolg hiervan blijven drie kritieke fenomenen onverklaard:

Circuitcompetitie: Hoe verschillende componenten dynamisch met elkaar interageren tijdens training, met name wanneer meerdere oplossingen (bijv. in-context versus in-weights leren) mogelijk zijn.
Dataafhankelijkheid: Het mechanistische begrip van hoe de distributionele eigenschappen van data (bijv. tokenfrequentie, burstiness) de opkomst van in-context leren (ICL) sturen.
Initialisatiesensitiviteit: Waarom specifieke willekeurige initialisaties "winnende" circuits opleveren (volgens de Lottery Ticket Hypothese) terwijl andere dat niet doen.

De auteurs beogen een verenigd theoretisch kader te bieden om de opkomst van inductieve redeneervaardigheden te verklaren, waarbij zij verder gaan dan taakspecifieke analyses naar een algemene klasse van taken.

Methodologie

De Verenigde Taakklasse: Block-List Taken

De auteurs definiëren een gegeneraliseerde klasse van taken genaamd Block-List Taken. In deze taken hangt de voorspelling van het volgende token af van een lijst van $n$ blokken tokens, waarbij elk blok uit maximaal $k$ tokens bestaat. De taak vereist het voorspellen van het token dat volgt op het laatste blok op basis van de relaties tussen de voorafgaande blokken. Deze klasse verenigt diverse synthetische taken uit de literatuur, waaronder:

In-context associatieve recall (pairwise structuur).
$k$ -hop inductie (geketende associaties).
In-context $n$ -grammen.
Indirect object identificatie en conditionele retrieval.

Datasymmetrieën en Aannames

Om algemene resultaten te verkrijgen, steunt het framework op specifieke symmetrieën die inherent zijn aan inductieve taken:

Token Symmetrieën: Het model moet relaties tussen tokens leren, niet specifieke tokenidentiteiten. De datadistributie is invariant onder een groep van token-relabelingen (automorfismen) die de relationele structuur van de taak behouden (bijv. het verwisselen van geassocieerde paren).
Positionele Symmetrieën: Relevante blokken kunnen op willekeurige offsets binnen de context verschijnen. De datadistributie is invariant onder verschuivingen in deze positionele offsets.
Architecturale Aannames: De analyse richt zich op attention-only Transformers (hoewel uitbreidingen naar FFNs en Layer Norm in de bijlagen worden besproken). Belangrijke aannames omvatten orthonormale embeddings, samengevoegde key-query producten, en vaste orthogonale output-value projecties.

Het Invariante Manifold van Inductief Redeneren (IMIR)

De kern van de theoretische bijdrage is de identificatie van het Invariant Manifold of Inductive Reasoning (IMIR). De auteurs bewijzen dat voor de gedefinieerde klasse van taken, de trainingsdynamiek van attention-modellen beperkt is tot een laagdimensionale subruimte van de parameterruimte.

Constructie: De IMIR wordt gespannen door een set basismatrices afgeleid van "elementaire acties". Deze acties omvatten:
- Selectie Matrices: Operaties op token embeddings (Identiteit, Associatie mapping $C$ ) en positie embeddings (Identiteit, Shift matrices $M, M^2, \dots$ ).
- Writing Bases: Hoe heads informatie naar de residual stream schrijven.
- Action Bases: Hoe geketende attention heads de originele embeddings over lagen heen transformeren.
Theorem 1 (Gradient Confinement): Als de gewichten van een Transformer binnen de span van deze basismatrices liggen (de ruimte $S$ ), dan ligt de verwachte gradiënt van de verliesfunctie ook binnen $S$ .
Corollary 1 (Invariant Manifold): Bij consequentie houdt gradient descent het model, indien geïnitialiseerd binnen $S$ , gedurende de hele training binnen $S$ . Dit reduceert de leerdynamiek van miljoenen parameters naar een handvol interpreteerbare coördinaten.

Belangrijkste Bijdragen en Resultaten

1. Karakterisering van Circuitcompetitie

Gebruikmakend van het IMIR-framework analyseren de auteurs de competitie tussen In-Context Learning (ICL) en In-Weights Learning (IWL) in een 2-layer, single-head Transformer.

Mechanisme: De IMIR maakt het mogelijk om geleerde gewichten te deconstrueren in interpreteerbare richtingen. ICL wordt geïmplementeerd door een "canonieke inductie head" (drie specifieke richtingen: $\alpha, \beta, \gamma$ ), terwijl IWL een enkele richting ( $\delta$ ) is die associaties memoriseert.
Dataafhankelijkheid: De auteurs bewijzen dat de opkomst van ICL wordt geregeerd door datastatistieken. Specifiek onderdrukt de aanwezigheid van veelvoorkomende tokens (die gememoriseerd kunnen worden via IWL) de gradiënt voor het ICL-circuit.
- Theorem 2: In de aanwezigheid van een IWL-circuit wordt de ICL-gradiënt onderdrukt door een factor die afhankelijk is van de frequentie van zeldzame tokens ( $f_r$ ) en binnen-klasse variabiliteit ( $f_v$ ).
- Burstiness: Omgekeeld demonstreert Theorem 3 dat databurstiness (herhaling van relevante blokken) de ICL-gradiënt versterkt, wat de opkomst van inductie-heads versnelt.

2. Initialisatie en "Winnende" Circuits

Het framework verklaart hoe willekeurige initialisatie bepaalt welk circuit ontstaat wanneer meerdere oplossingen bestaan (bijv. in een 3-layer Transformer kunnen verschillende layer-paren inductie-heads vormen).

Faseovergangen: De auteurs identificeren scherpe faseovergangen in de initialisatieruimte. Het "winnende" circuit wordt niet uitsluitend bepaald door de grootte van de gewichten die tot dat circuit behoren.
Complexe Dynamiek: De opkomst van een specifiek circuit kan afhangen van de initialisatie van gewichten buiten dat circuit, vanwege competitieve interacties (bijv. één circuit dat een ander stimuleert, wat vervolgens een derde inhibeert). Dit biedt een mechanistische verklaring voor de Lottery Ticket Hypothese in de context van inductief redeneren.

3. Geautomatiseerde Circuitdetectie

De laagdimensionale, interpreteerbare structuur van de IMIR maakt een nieuwe methode voor geautomatiseerde circuitontdekking mogelijk.

Methode: Door geleerde parameters te projecteren op de IMIR en dimensies te ableren die geen impact hebben op de prestaties, kunnen de auteurs de exacte gewichtsstructuren die verantwoordelijk zijn voor inductief redeneren automatisch herstellen.
Resultaat: Deze benadering heeft succesvol circuits geïdentificeerd in diepe Transformers voor 2-hop inductietaken, waarbij werd onthuld dat modellen vaak "aiding" richtingen gebruiken om aandacht te reduceren tot irrelevante tokens, een nuance die gemist wordt bij head-niveau analyse.

Betekenis en Claims

Het artikel beweert een stap te zetten naar een voorspellende theorie van hoe Transformers leren door circuitvorming te presenteren als een laagdimensionaal dynamisch fenomeen.

Unificatie: Het biedt een verenigd theoretisch kader dat diverse inductieve taken verklaart onder één enkele geometrische structuur, waarmee het verder gaat dan geïsoleerde taakanalyse.
Interpreteerbaarheid: Het biedt een zeer interpreteerbaar coördinatensysteem voor Transformer-gewichten, waardoor onderzoekers complexe redeneercircuits kunnen beschrijven als sommen van elementaire acties.
Mechanistisch Inzicht: Het biedt het eerste mechanistische begrip van hoe datadistributie (frequentie, burstiness) en initialisatie direct de competitie tussen verschillende leerstrategieën (ICL vs. IWL) en de selectie van specifieke circuits sturen.
Toekomstig Nut: De auteurs suggereren dat dit framework gebruikt kan worden om betere trainingspipelines te ontwerpen, nutloze circuits te weg te snijden (pruning) om het geheugenverbruik te verkleinen, en experimenten te versnellen door het leren te beperken tot de IMIR.

Het werk claimt niet alle aspecten van Transformer-leren op te lossen, maar legt een rigoureus fundament voor het begrijpen van de dynamiek van inductief redeneren, met het potentieel om naar andere klassen van taken en architecturen te worden uitgebreid.