The Geometric Anatomy of Capability Acquisition in Transformers

Dit onderzoek toont aan dat bij transformer-modellen de interne geometrische representaties eerst in een laag-dimensionale toestand instorten en daarna herstellen voordat gedragsprestaties verbeteren, waarbij dit voorspellende patroon vooral zichtbaar is bij moeilijke taken die de modelcapaciteit uitdagen.

De kern

De Geometrische Anatomie van Leren: Hoe AI Eerst "Ineenstort" voordat het Slim Wordt

Stel je voor dat je een jonge student wilt leren wiskunde. Je zou denken dat hij eerst de formules moet leren, dan oefenen, en pas daarna goed wordt. Maar dit onderzoek laat zien dat het brein van een kunstmatige intelligentie (een "Transformer") werkt op een heel verrassende manier. Het is alsof de student eerst zijn hele bureau op de grond gooit, alles in een kleine doos stopt, en dan pas begint met bouwen aan een nieuwe, betere structuur.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taal:

1. Het Grote "Ineenstort"-Fenomeen

Tijdens het trainen van een AI-model gebeurt er iets raars voordat het eigenlijk iets kan. De interne "gedachten" van de AI (de wiskundige voorstellingen) storten ineen.

• De Analogie: Denk aan een volgeprokte koffer. Als je gaat reizen, gooi je eerst alles eruit, stamp je het plat en stop je het in een heel klein, compact pakje. De AI doet precies dit: de complexe informatie wordt eerst gereduceerd tot een heel simpel, laag-dimensionaal staatje.
• Het Resultaat: Pas na deze ineenstorting en het weer "opbouwen" van de structuur, begint de AI echt goed te presteren. De gedraging (het kunnen oplossen van een probleem) volgt pas op de geometrische verandering.

2. De "Top-Down" Regeling

Een ander verrassend detail is waar dit gebeurt. Je zou denken dat een AI eerst de simpele dingen leert (de basis) en dan naar de complexe dingen gaat (zoals een gebouw dat je van de grond af bouwt).

• De Analogie: Het is alsof je een kasteel bouwt, maar je begint met het dak en de torens, en pas daarna bouw je de muren en de fundering.
• Wat er gebeurt: De AI reorganiseert eerst de lagen die het dichtst bij het antwoord zitten (de "uitvoer"-lagen). Pas later volgen de lagen die dichter bij de invoer zitten. De "bovenkant" van het netwerk leert en verandert eerst.

3. De "Spookinformatie" (De Linear Probes)

Dit is misschien wel het coolste deel. De onderzoekers keken of de AI de oplossing al "wist" voordat hij het ook daadwerkelijk kon zeggen.

• De Analogie: Stel je voor dat je een student een moeilijke vraag stelt. Hij kijkt er naar, denkt na, en zegt: "Ik weet het niet." Maar als je een slimme observer (een "probe") naar zijn notities laat kijken, ziet die observer dat het antwoord perfect op zijn papier staat geschreven. De student heeft het antwoord, maar kan het nog niet hardop zeggen.
• De Bevinding: De AI heeft het antwoord al in zijn "gedachten" (de interne data) voordat hij het kan produceren. De informatie is er al, maar de AI moet nog leren hoe hij die informatie moet ophalen en gebruiken.

4. Wanneer zie je dit? (Moeilijkheid vs. Grootte)

Niet elke taak laat dit patroon zien. Het hangt af van hoe moeilijk de taak is voor de grootte van het model.

• Eenvoudige taken: Als de taak te makkelijk is voor de AI (zoals "kopieer dit woord"), leert hij het zo snel dat de "ineenstorting" en het "leren" tegelijkertijd gebeuren. Je ziet dan geen voorspellend patroon.
• Moeilijke taken: Als de taak echt een uitdaging is (zoals logisch redeneren of complexe wiskunde), duurt het lang voordat de AI het kan. Dan zie je duidelijk: eerst de geometrische verandering (de ineenstorting), en pas daarna het succes.
• De Grootte: Dit patroon geldt voor kleine modellen én voor enorme modellen (zoals de Pythia-modellen met miljarden parameters). Een klein model kan dus fungeren als een "proefkonijn" om te voorspellen wat er in een groot model gaat gebeuren.

5. De Meetlat: RankMe

De onderzoekers hebben verschillende manieren gebruikt om dit te meten, maar één methode bleek de beste "voorspeller": RankMe.

• De Analogie: Stel je voor dat je de "chaos" in de kamer meet. RankMe is de enige meetlat die betrouwbaar aangeeft: "Oké, de kamer is nu in een staat van ineenstorting, en binnenkort gaat de speler iets nieuws leren." Andere meetlaten waren te luidruchtig of te laat.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek geeft ons een nieuwe manier om naar AI te kijken. We hoeven niet alleen te wachten tot een model "slim" wordt (gedrag). We kunnen kijken naar de interne structuur.

• Als je ziet dat de interne structuur van een AI ineenstort en zich herordent, weet je dat er iets belangrijks aan het gebeuren is, zelfs als de AI op dat moment nog faalt.
• Het betekent dat we met kleine, goedkope modellen kunnen testen of een grote AI een bepaalde vaardigheid gaat leren, voordat we de dure, grote training starten.

Kortom: AI moet eerst zijn interne wereld "op de kop zetten" voordat hij de buitenwereld kan begrijpen.

Technische samenvatting

Probleemstelling

Neurale netwerken verwerven nieuwe vaardigheden tijdens het trainen, maar de interne veranderingen die aan deze vaardigheidsverwerving voorafgaan, zijn slecht begrepen. Specifiek is de relatie tussen geometrische veranderingen (in de representatieruimte van het model) en gedragsveranderingen (verbetering in prestaties) onduidelijk. Ook is niet bekend hoe taakmoeilijkheid en modelgrootte deze relatie beïnvloeden. Bestaande literatuur identificeert wel fasen zoals "collapse" (instorting) en "expansion" (uitbreiding), maar de temporele volgorde ten opzichte van het moment waarop een model daadwerkelijk een taak kan uitvoeren, is nog niet vastgesteld. De kernvraag is: treden geometrische veranderingen vóór, tijdens of na de verwerving van capaciteit op, en is dit voorspelbaar?

Methodologie

De auteur heeft een gecontroleerde testomgeving ontworpen om deze dynamiek te analyseren:

1. Modellen en Schaal:
   • Zes decoder-only Transformer-modellen van verschillende groottes (van 405K tot 151M parameters).
   • Validatie op drie Pythia-taalmodellen (160M, 410M, 2.8B) om de bevindingen te testen op grotere schaal en natuurlijke taalpre-training.
2. Taken en Moeilijkheidsgraad:
   • Acht algoritmische taken (bijv. kopiëren, omkeren, optellen, modulaire rekenkunde, vermenigvuldiging) elk op drie niveaus van moeilijkheid.
   • Dit resulteert in 144 combinaties van taak × niveau × model.
3. Data en Checkpoints:
   • Dichte opslag van checkpoints (206 tot 256 per run) om fijne tijdsdynamiek te vangen.
   • Definities van "capaciteitsverwerving": het eerste moment waarop de nauwkeurigheid (accuracy) ≥ 50% blijft voor drie opeenvolgende checkpoints.
4. Geometrische Maatstaven:
   • RankMe: Een maat voor de effectieve dimensie van de representatieruimte (berekend via de entropie van genormaliseerde singuliere waarden). Dit is de primaire maatstaf die op alle schalen wordt gebruikt.
   • Aanvullende maatstaven (voornamelijk op nano-schaal): Gradient effective rank, Local Learning Coefficient (LLC), Hessian eigenwaarden en gradient covariance rank.
5. Linear Probing:
   • Er worden lineaire probes (logistische regressie) getraind op de verborgen staten (hidden states) om te testen of de taakrelevante informatie al aanwezig is in de representaties, zelfs voordat het model de taak zelf kan uitvoeren.

Belangrijkste Bijdragen en Resultaten

1. De Universele "Collapse-Recovery" Cyclus

Over alle settings heen volgt de representatiegeometrie een consistent patroon:

• Instorting (Collapse): Aan het begin van het trainen (eerste 200–1000 stappen) storten de representaties in naar een lage-dimensionale toestand.
• Herstel (Recovery): Na deze instorting herstellen de representaties zich en worden ze weer diverser.
• Gedragsverbetering: Pas na dit herstel verbetert de gedragsprestatie (nauwkeurigheid) significant.
• Conclusie: De geometrische herstructurering gaat de daadwerkelijke vaardigheidsverwerving vooraf.

2. Taakspecifieke "Floors" en Top-Down Propagatie

• Taakspecifieke vloeren: De mate van instorting (de "floor" van de RankMe-waarde) is specifiek voor de taak, niet voor het model.
  • Voorbeeld: Modulaire rekenkunde (MOD) stort in tot een RankMe van ≈2.0, ongeacht de modelgrootte (wat overeenkomt met de twee dimensionale Fourier-structuur van de taak).
  • Vermenigvuldiging (MUL) heeft een vloer die toeneemt met de modelcapaciteit.
• Top-Down Propagatie: De instorting begint bij de uitgangslagen (diep in het netwerk) en verspreidt zich naar boven (naar de ingangslagen). Dit is in tegenspraak met de intuïtie dat features van simpel naar complex van onderop worden opgebouwd. De diepste lagen reorganiseren zich het eerst en het sterkst.

3. Verborgen Leren (Hidden Learning)

Linear probes tonen aan dat de verborgen staten van het model al taakrelevante informatie bevatten voordat het model de taak correct kan uitvoeren.

• Op checkpoints waar de modelnauwkeurigheid nog <50% is, kan een getrainde probe al het juiste output-token met hoge nauwkeurigheid voorspellen.
• Deze informatieconcentratie vindt plaats in dezelfde diepe lagen waar de RankMe-instorting het sterkst is.

4. RankMe als Betrouwbare Precursor

Van de geteste geometrische maatstaven is RankMe de enige betrouwbare "precursor" (voorloper) voor moeilijke taken:

• 100% Precursor Rate: Voor moeilijke taken (ADD, MOD, MUL) vertoont RankMe een duidelijke overgang (instorting en herstel) vóórdat de capaciteit wordt verworven, op alle geteste schalen.
• Andere maatstaven: Hessian en gradient covariance zijn te luidruchtig (noisy). Gradient effective rank reageert te laat. LLC (Local Learning Coefficient) toont geen discrete overgang, maar volgt eerder de gedragsverandering dan dat deze deze voorspelt.

5. De Rol van Taakmoeilijkheid vs. Modelcapaciteit

De detecteerbaarheid van een precursor hangt af van de verhouding tussen taakmoeilijkheid en modelcapaciteit:

• Moeilijke taken: Als een taak echt moeilijk is voor het model, is er een duidelijke tijdskloof (gap) tussen de geometrische verandering en het gedrag. RankMe is hier een betrouwbare voorspeller.
• Gemakkelijke taken: Als een taak makkelijk is voor de capaciteit van het model, worden zowel de geometrische veranderingen als de gedragsverbeteringen gelijktijdig waargenomen. Er is geen meetbare precursor.
• Pythia-Validatie: Op Pythia-2.8B toonde een logisch redeneertaken (die moeilijk was voor het model) een precursor-gap van ongeveer 49.000 trainingsstappen. Eenvoudige benchmarks op hetzelfde model toonden geen gap.

6. Schaal-invariantie

De geometrische dynamiek (instortingsvloeren, fasegrenzen en propagatiepatronen) geobserveerd op kleine proxy-modellen (405K parameters) voorspelt de dynamiek op grotere schaal (151M en Pythia 2.8B) met hoge nauwkeurigheid (correlatie ρ > 0,92). Kleine modellen kunnen dus als een "geometrische routekaart" dienen voor grotere trainingen.

Significantie en Conclusie

Dit onderzoek biedt een fundamenteel inzicht in het "zwarte doos"-proces van transformer-training:

1. Monitoring en Interventie: Omdat geometrische veranderingen (met name RankMe) gedrag voorspellen bij moeilijke taken, kunnen deze maatstaven worden gebruikt om training te monitoren of om te interveniëren voordat het model faalt of vastloopt.
2. Geen "Grokking" zonder Voorloper: De studie bevestigt dat er een reorganisatiefase is voordat generalisatie optreedt, maar dit is alleen zichtbaar als de taak de grenzen van de modelcapaciteit uitdaagt.
3. Proxy-Modellen: Het feit dat kleine modellen de geometrische dynamiek van grote modellen nauwkeurig nabootsen, suggereert dat goedkope, kleine experimenten waardevolle inzichten kunnen bieden voor het trainen van enorme taalmodellen.

Samenvattend stelt het papier dat geometrie het gedrag voorafgaat, maar dat deze voorspellende kracht alleen zichtbaar is wanneer de taak uitdagend genoeg is om een tijdsvertraging te creëren tussen het leren van de interne structuur en het kunnen uitvoeren van de taak.