Technische Samenvatting: Redeneren Ontstaat uit Beperkte Inferentie-Manifolds in Large Language Models

Probleemstelling

Huidige evaluaties van redeneervermogen in Large Language Models (LLM's) vertrouwen voornamelijk op gelabelde benchmarks en taaknauwkeurigheid. Deze benadering vervlecht interne inferentiekwaliteit met dataset-alignement en prompting-strategieën, waarbij redeneren wordt behandeld als een opaak input-output-verband. Dit biedt derhalve beperkt inzicht in hoe redeneren intern wordt gerealiseerd, waarom modellen met vergelijkbare nauwkeurigheid verschillen in robuustheid, en welke structurele eigenschappen gezonde redeneerdynamiek onderscheiden van pathologische dynamiek. Dit werk adresseert de noodzaak om redeneren te bestuderen als een intrinsiek dynamisch proces dat zich ontvouwt binnen de representatieruimte, onafhankelijk van taakspecifieke supervisie.

Methodologie

De auteurs analyseren inferentie-tijd representatie-trajecten die worden opgeroepen door generieke cognitieve stimuli (afgeleid van de "Other"-subset van de MMLU-benchmark) over een diverse set hedendaagse autoregressieve LLM's (Qwen2.5, Qwen3, Gemma 3, en DeepSeek-R1-Distill-Qwen families, variërend van 0.5B tot 72B parameters).

De kernmethodologie omvat:

1. Trajectextractie: Voor elke stimulus wordt de verborgen toestand (hidden state) van het laatste token geregistreerd bij elke transformer-laag en inferentiestap, wat een discrete traject $T_\ell(x)$ vormt in de hoogdimensionale representatieruimte.
2. Geometrische Analyse:
   • Intrinsieke Dimensionaliteit (ID): Geschat met de Tight Local Intrinsic Dimensionality (TLE) estimator om de effectieve vrijheidsgraden van de trajecten te kwantificeren. Twee verschillende ID's worden gemeten: $D_{world}$ (van statische vocabulaire-embeddings) en $D_{stim}$ (van inferentie-tijd trajecten).
   • Informatievolume ($V$): Berekend via het log-determinant van de covariantie-matrix van gecentreerde trajectpunten om de hoeveelheid gestructureerde variatie te kwantificeren die binnen de manifold behouden blijft.
3. Stimulus-expansie: Om stabiliteit te testen, wordt de stimulusset progressief uitgebreid door cumulatief disjuncte vraagtypen uit MMLU-Other toe te voegen, waarbij wordt bijgehouden hoe $D_{stim}$ evolueert met toenemende conceptuele diversiteit.
4. Verenigde Diagnostiek: Een scalaire metriek, de Reasoning Health Score ($H$), wordt geformuleerd om geometrische organisatie, inhoud van informatie en expressieve capaciteit te integreren zonder gebruik te maken van taaklabels of correctheidssignalen.

Belangrijkste Bijdragen

Het artikel identificeert drie structurele beperkingen die gezonde redeneerdynamiek gezamenlijk beheersen en introduceert een label-vrije diagnostiek gebaseerd op deze beperkingen:

1. Spontane Manifold-Compressie: Representaties tijdens de inferentie-tijd comprimeren spontaan naar laagdimensionale manifolds ingebed in hoogdimensionale ruimtes. Deze dimensionale compressie is stimulus-geïnduceerd, reproduceerbaar en onderscheidt zich van de hoge expressiviteit van de statische vocabulaire-embeddings.
2. Niet-degeneratieve Informatiestroom: Lage dimensionaliteit alleen is onvoldoende. Effectief redeneren vereist dat de gecomprimeerde manifold een hoog informatievolume behoudt. De auteurs observeren dat terwijl de ID afneemt met de netwerkdiepte, het informatievolume toeneemt, wat wijst op een focusmechanisme dat ruis onderdrukt terwijl taak-relevante variaties wordt versterkt.
3. Expressieve Capaciteit als Stabilisator: De intrinsieke dimensionaliteit van statische vocabulaire-embeddings ($D_{world}$) fungeert als een achtergrondstructurele conditie. Modellen met een hogere expressieve capaciteit kunnen toenemende conceptuele diversiteit accommoderen zonder dat daarvoor een substantiële expansie van de inferentie-tijd vrijheidsgraden nodig is, waardoor laagdimensionaal redeneren onder heterogene stimuli wordt gestabiliseerd.

Resultaten

• Dimensionale Compressie: Over alle modelfamilies en schalen heen, stabiliseren redeneertrajecten consistent op intrinsieke dimensionaliteiten die ver onder de ambient embedding-dimensie liggen (vaak convergerend naar minder dan tien vrijheidsgraden).
• Ontkoppeling van Compressie en Prestatie: Sterkere geometrische compressie (lagere ID) correleert niet lineair met betere redeneerprestaties. Modellen met vergelijkbaar lage ID kunnen sterk uiteenlopende inferentiegedragingen vertonen, inclusclusief breekbare of informatie-arme dynamiek.
• Het Admissibele Regime: Hoogpresterende modellen concentreren zich in een smalle regio van een driedimensionale ruimte gedefinieerd door een lage $D_{stim}$, een hoge $V$, en een voldoende $D_{world}$. Modellen buiten dit regime vertonen pathologische dynamiek zoals diffuse exploratie, representatieve crowding of degeneratieve compressie.
• Diagnostische Prestatie: De verenigde reasoning health score ($H$) vertoont een sterke monotone overeenkomst (Spearman correlatiecoëfficiënten > 0.9) met downstream redeneerprestaties over diverse benchmarks (bijv. AIME, GPQA, LiveBench). Deze correlatie blijft bestaan ondanks het feit dat $H$ volledig taak-agnostisch is en uitsluitend wordt berekend vanuit interne dynamiek.

Betekenis en Claims

Het artikel herkadert de evaluatie van redeneren door de focus te verschuiven van taakuitkomsten naar de interne geometrie en de informatiestroom van de inferentie-dynamiek. De auteurs beweren dat redeneren in LLM's fundamenteel wordt beheerst door geometrische en informatieve beperkingen.

• Complementair Kader: De voorgestelde structurele diagnostiek vervangt de benchmark-gecentreerde beoordeling niet, maar biedt een complementair perspectief. Het isoleert intrinsieke eigenschappen van inferentie-dynamiek van dataset-specifieke effecten, waardoor het mogelijk is om het redeneergedrag tussen modellen en architecturen te vergelijken zonder afhankelijkheid van gelabelde data.
• Mechanistisch Inzicht: De bevindingen suggereren dat robuust redeneren niet voortkomt uit een enkel mechanisme, maar uit de gecoördineerde interactie van laagdimensionale organisatie, voldoende informatiebehoud en een rijke representatieve substantie.
• Diagnostisch Nut: Het werk biedt een principieel middel om pathologische regimes (bijv. over-compressie of informatie-uithongering) te identificeren en biedt een structureel referentiekader voor het evalueren van de effecten van toekomstige trainingsbenaderingen of alignment-technieken op de interne computatie.

De auteurs merken expliciet de beperkingen op: de diagnostiek is beschrijvend en correlationeel, stelt geen causale mechanismen vast, en vertroult op de 'last-token' verborgen toestanden als een proxy voor gedistribueerde computatie. Voorts blijft de toepasbaarheid van deze admissibele regimes op niet-autoregressieve, multimodale of belichaamde systemen een openstaande vraag.