🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

Door representatielensen te hergebruiken als geometrische diagnostische hulpmiddelen om de evolutie van voorspellende uitleesruimten over lagen heen te volgen, onthult deze studie dat grote taalmodellen next-token-predictie verwerken via drie distincte geometrische fasen—Seeding Multiplexing, Hoisting Overriding en Focal Convergence—waarbij toenemende modeldiepte voornamelijk de disambiguatie van kandidaten verbetert in plaats van de representatieve capaciteit uit te breiden.

Oorspronkelijke auteurs: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, meervoudige fabriek waar een stukje informatie (een woord) van de begane grond naar het dak reist. Op elke verdieping voegt een team van werknemers een beetje nieuwe informatie toe aan het pakket voordat het naar boven wordt doorgegeven. Het grote mysterie dat dit artikel oplost, is: Hoe beslist de fabriek welk woord als volgende moet worden uitgegeven, en waar gebeurt die beslissing eigenlijk?

De auteurs vroegen niet alleen wat het model op elke verdieping voorspelt; ze vroegen waar de voorspelling zich binnen de machines van de fabriek bevindt en hoe deze zich verplaatst terwijl het omhoog gaat.

Hier is het verhaal van hun ontdekking, opgesplitst in eenvoudige concepten en analogieën.

Het Hulpmiddel: De "Representatielens"

Normaal gesproken lijken de werknemers verward als je in het midden van de fabriek een kijkje neemt. Ze houden een rommelige mix van mogelijkheden vast, en als je probeert het eindwoord te raden op basis van wat ze vasthouden, krijg je het fout. Dit komt omdat de werknemers de informatie in een "superpositie" vasthouden – zoals een goochelaar die een deck kaarten met de afbeelding naar beneden vasthoudt, waarbij alle kaarten door elkaar gemengd zijn.

De onderzoekers gebruikten een speciaal hulpmiddel genaamd een Representatielens. Denk hierbij aan een paar magische brillen die het zicht van de werknemers kunnen draaien en scherpstellen. In plaats van alleen naar de rommelige stapel kaarten te kijken, vindt de lens de specifieke hoek waar de "winnende kaart" (het juiste volgende woord) eigenlijk zichtbaar is, zelfs als deze onder andere kaarten begraven ligt.

De Ontdekking: Een Drie-akter

Door te volgen hoe de "winnende kaart" door de fabriek beweegt met behulp van deze bril, ontdekten de auteurs dat het proces niet willekeurig is. Het volgt een strenge, driedelige geometrische dans die in bijna elk model dat ze testten plaatsvindt (van kleine modellen met 1 miljard parameters tot enorme modellen met 32 miljard).

Fase 1: De "Zaaiende Multiplexing" (Het Volk Verzamelt)

Wat er gebeurt: Zodra de informatie de fabriek binnenkomt, beginnen de werknemers veel mogelijke volgende woorden tegelijkertijd naar buiten te gooien. Ze kiezen nog geen winnaar.
De Analogie: Stel je een drukke kamer voor waar iedereen verschillende ideeën naar buiten schreeuwt. De kamer zit vol met lawaai, maar het "correcte" idee is er al, gewoon gemengd met honderden anderen.
De Geometrie: De fabriek breidt zijn "rang" uit (zijn capaciteit om veel verschillende ideeën vast te houden). Het juiste woord is aanwezig, maar het is slechts één stem in een koor. Het is zichtbaar voor de magische lens, maar het is nog niet de luidste stem.

Fase 2: De "Hijsende Overschrijving" (De Stille Filter)

Wat er gebeurt: Dit is het langste deel van de reis (ongeveer 60% van de hoogte van de fabriek). De werknemers stoppen met het toevoegen van nieuwe soorten ideeën. In plaats daarvan beginnen ze stilletjes het volume van de verkeerde ideeën te verlagen en het volume van het juiste idee te verhogen.
De Analogie: Stel je een geluidsingenieur in een controlekamer voor. Ze brengen geen nieuwe zangers binnen; ze dimmen gewoon langzaam het achtergrondlawaai en versterken de leadzanger. De leadzanger wordt nog steeds omringd door de menigte, maar ze worden de duidelijke focus.
De Geometrie: De "rang" (het aantal actieve ideeën) blijft stabiel. De werknemers zijn hier zeer precies en maken kleine, bijna onzichtbare aanpassingen die de vorm van de kamer niet veranderen, maar ze veranderen wel wie gehoord wordt. Dit is waar het model het zware werk doet: ontmaskering (uitvinden welke van de vele kandidaten eigenlijk correct is).

Fase 3: De "Focale Convergentie" (Het Schijnwerperlicht)

Wat er gebeurt: In de laatste etappe maakt de fabriek een enorme, beslissende beweging. Het gooit al zijn energie in één richting.
De Analogie: De geluidsingenieur schakelt plotseling de stroom uit voor iedereen anders in de kamer. Het schijnwerperlicht schiet op de leadzanger. De menigte wordt stil en de zanger is nu het enige ding dat er toe doet.
De Geometrie: De werknemers stoppen met voorzichtig te zijn. Ze maken enorme, krachtige updates die perfect overeenkomen met de uiteindelijke uitvoerrichting. De "rang" krimpt omdat ze al hun energie op slechts één winnaar richten. De magische lens kan het antwoord nu duidelijk zien zonder enige hulp.

De Grote Conclusie: Grotere Modellen = Betere Filters, Niet Betere Starters

De meest verrassende bevinding gaat over hoe de modelgrootte dit proces beïnvloedt.

De auteurs ontdekten dat naarmate je de fabriek groter maakt (meer verdiepingen/lagen toevoegen):

Fase 1 (Het Volk) ongeveer even groot blijft.
Fase 3 (Het Schijnwerperlicht) ongeveer even groot blijft.
Fase 2 (De Stille Filter) veel langer wordt.

De Metafoor: Als je een kleine fabriek hebt, is de "filter"-ruimte klein. Als je een gigantische fabriek hebt, is de "filter"-ruimte enorm.

Dit betekent dat wanneer we grotere, slimmere AI-modellen bouwen, we ze niet per se beter maken in het beginnen met de juiste ideeën of het voltooien van de klus. We geven ze een veel grotere, gedetailleerdere ruimte om de verwarring te sorteren en uit te zoeken welke van de vele mogelijkheden de juiste is. De extra kracht van grote modellen wordt voornamelijk gebruikt voor kandidaat-ontmaskering – een rommelige stapel "misschien dit, misschien dat" omzetten in een enkel, zelfverzekerd "ja".

Samenvatting

Het artikel onthult dat next-token prediction geen plotselinge flits van inzicht aan het einde is. Het is een geometrische reis:

Zaaien: Gooi alles in de mix.
Hijsen: Filter het lawaai stilletjes weg (hier wordt het model groter).
Convergeren: Vergrendel op de winnaar met hoge energie.

De "magie" van grote taalmodellen ligt in die middelste fase, waar ze de ruimte en tijd hebben om het signaal zorgvuldig van het lawaai te scheiden.

Technische Samenvatting: Een Geometrisch Perspectief op Next-Token Predictie in Grote Taalmodellen

Probleemstelling

Het begrijpen van hoe Grote Taalmodellen (LLM's) voorspellende informatie verwerken en verfijnen over hun diepte heen, blijft een centrale uitdaging in de mechanistische interpreteerbaarheid. Hoewel de transformer-architectuur additieve updates toepast op een gedeelde residual stream, is de geometrische evolutie van de informatie die nodig is voor next-token predictie onduidelijk. Standaard probeermethoden, zoals de LogitLens, lijden onder "representational drift", waarbij tussenliggende toestanden niet uitgelijnd zijn met de basis van de uiteindelijke unembedding, waardoor ze "blind" zijn voor voorspellende signalen die in de vroege lagen aanwezig zijn. Bovendien suggereert het principe van superpositie dat voorspellende kenmerken kunnen bestaan in overlappende richtingen, verborgen binnen de hoogdimensionale residual stream. Dit artikel adresseert de vraag: Waar bevindt voorspellende informatie zich in de residual stream, en hoe evolueert de geometrische structuur ervan naarmate deze zich door de netwerkdiepte voortplant?

Methodologie

De auteurs stellen een raamwerk voor dat representation lenses (geleerde affiene kaarten die zijn getraind om de volgende token te voorspellen vanuit tussenliggende residual streams) herbestemt als geometrische diagnosehulpmiddelen in plaats van louter decodeermechanismen.

Representation Lenses: Volgend op de TunedLens-benadering trainen de auteurs per-laag affiene correcties $(A_\ell, b_\ell)$ om tussenliggende representaties uit te lijnen met de uiteindelijke outputverdeling via KL-distillatie.
Predictive Readout Subspace: In plaats van de volledige correctiematrix te analyseren, voeren de auteurs een Singuliere Waarde Decompositie (SVD) uit op de correctiematrix $A_\ell$ . Ze definiëren de predictive readout subspace $S^{(k)}_\ell$ als de $k$ -dimensionale deelruimte opgespannen door de top- $k$ rechter singuliere vectoren. Deze deelruimte vertegenwoordigt de dominante richtingen in de residual stream waar voorspellende informatie geconcentreerd is.
Grassmann Manifold Trajectorie: De reeks deelruimten $\{S^{(k)}_\ell\}_{\ell=1}^L$ wordt behandeld als een traject op de Grassmann-maand $Gr(k, d)$. De evolutie van dit traject wordt gekwantificeerd met behulp van Readout Subspace Similarity (RSS), gedefinieerd als het gemiddelde cosinus van de hoofdhoeken tussen opeenvolgende deelruimten.
Resolutie-analyse: De auteurs variëren de resolutieparameter $k$ (van 1% tot 50% van de verborgen dimensie $d$ ) om een Pareto-frontier te traceren tussen Zichtbaarheid (geometrische onderscheidbaarheid tussen lagen) en Energiebehoud (spectrale fideliteit). Ze identificeren een intermediair regime ( $k \in \{5\%, 10\%, 15\%\}$ ) dat deze metrieken in evenwicht brengt.
Fasedetectie: Het RSS-profiel vertoont een unimodale vorm (stijging, plateau, daling). Met behulp van een tweestaps Kneedle-criterium op het gladgestreken profiel detecteren de auteurs twee breekpunten ( $\hat{b}_1, \hat{b}_2$ ) die de netwerkdiepte partitioneren in drie distincte geometrische fasen.
Experimentele Opstelling: Het raamwerk wordt toegepast op acht modellen uit twee families (QWEN2.5 en OLMO2) variërend van 1B tot 32B parameters, getraind op het SlimPajama-dataset. Metrieken omvatten de effectieve rang van verborgen toestanden, orthogonaliteit van updates ( $|\cos(\Delta_\ell, h_{\ell-1})|$ ), en de verhouding van FFN- tot MHA-update-normen.

Belangrijkste Bijdragen

Het artikel levert twee primaire bijdragen:

Een Geometrisch Raamwerk voor Diepte-gewijze Analyse: Een methode om het traject van voorspellende informatie op de Grassmann-maand bij te houden, wat aantoont dat voorspellende informatie aanwezig is vanaf de vroegste lagen maar verborgen is in superpositie, en een laagdimensionale projectie vereist voor decoding.
Identificatie van Drie Opkomende Geometrische Fasen: De analyse onthult een consistente tripartiete structuur in de forward pass van autoregressieve modellen, gekenmerkt door distincte geometrische gedragingen met betrekking tot rang, orthogonaliteit van updates en stabiliteit van deelruimten.

Resultaten en Karakterisering van Fasen

Over alle modellen en schalen heen volgt het similariteitsprofiel een unimodale verdeling, waarbij drie fasen worden gedefinieerd:

Fase 1: Seeding Multiplexing

Geometrisch Gedrag: De voorspellende deelruimte heroriënteert en stabiliseert (stijgende RSS). De effectieve rang van verborgen toestanden neemt toe, met een piek nabij het einde van deze fase.
Updates: Updates zijn ongeveer orthogonaal ten opzichte van de residual stream. Bij QWEN2.5 domineren FFN-bijdragen; bij OLMO2 zijn de bijdragen meer gebalanceerd.
Voorspellende Staat: De finale token is aanwezig onder de topkandidaten (Hit@1 $\approx$ 20-33%) maar niet dominant. De LogitLens blijft inefficiënt, wat aangeeft dat het signaal gesuperponeerd is.
Schaling: De duur van deze fase schaalt zwak met de modeldiepte (helling $\le$ 0,26), wat suggereert dat er een vaste kost is voor het zaaien van kandidaten.

Fase 2: Hoisting Overriding

Geometrisch Gedrag: De voorspellende deelruimte blijft zeer stabiel (near-plateau RSS). De effectieve rang van verborgen toestanden stabiliseert.
Updates: Updates zijn maximaal orthogonaal ten opzichte van de residual stream (laagste $|\cos(\Delta_\ell, h_{\ell-1})|$ ). De rang van updates piekt in deze fase.
Voorspellende Staat: De kandidaatverdeling concentreert zich progressief (Hit@1 stijgt naar $\approx$ 56%, de Hit@5/Hit@1-verhouding neemt af). De LogitLens blijft laag, wat impliceert dat ontmanteling plaatsvindt binnen de deelruimte zonder expliciete uitlijning met de uiteindelijke basis.
Schaling: Deze fase breidt lineair uit met de modeldiepte (helling $\approx$ 0,6–1,0), wat aangeeft dat extra modelcapaciteit voornamelijk wordt geabsorbeerd door kandidaat-ontmanteling.

Fase 3: Focal Convergence

Geometrisch Gedrag: De voorspellende deelruimte heroriënteert scherp richting de unembedding-richting (dalende RSS). De effectieve rang van updates neemt af, en concentreert zich op minder richtingen.
Updates: Updates worden sterk uitgelijnd met de residual stream (hoogste $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Update-normen groeien scherp (tot 10 $\times$ ), en FFN-bijdragen domineren over alle families heen.
Voorspellende Staat: De kandidaatverdeling stort in op een dominante predictie. De LogitLens-prestaties verbeteren aanzienlijk (Hit@1 $\approx$ 30-50%), wat aangeeft dat de finale token nu direct leesbaar is.
Schaling: De breedte van deze fase blijft ongeveer constant of schaalt zeer zwak met de diepte.

Betekenis en Claims

Het artikel beweert dat de extra capaciteit van diepere LLM's grotendeels wordt gebruikt voor kandidaat-ontmanteling (Fase 2) in plaats van voor het initiële zaaien van kandidaten (Fase 1) of de uiteindelijke convergentie (Fase 3). Dit suggereert dat de kernrekenlast van next-token predictie in diepe transformers ligt in het oplossen van gesuperponeerde representaties binnen een stabiele geometrische deelruimte.

De bevindingen sluiten aan bij, maar onderscheiden zich door uit te breiden, mean-field theorieën van transformer-dynamiek (bijv. Bruno et al.), waarbij de "alignment", "heat" en "pairing" fasen worden gemapt op de waargenomen geometrische progressie. Het werk stelt vast dat voorspellende informatie niet laat in het netwerk wordt gegenereerd, maar vroeg aanwezig is, verborgen in superpositie, en geometrisch wordt verfijnd via een proces van orthogonale updates en deelruimte-concentratie.

Beperkingen: De auteurs merken op dat de analyse beperkt is tot dichte, decoder-only architecturen met standaard residual connecties. De interpretaties zijn gebaseerd op correlatief bewijs, en causale interventies (bijv. activation patching) worden voorgesteld als toekomstig werk om een sterkere mechanistische onderbouwing te bieden.