Technische Samenvatting: Redenering Ontstaat uit Beperkte Inference-variëteiten in Grootte Taalmodellen

Probleemstelling

Huidige evaluaties van redenering in Grootte Taalmodellen (LLMs) vertrouwen voornamelijk op gelabelde benchmarks en taaknauwkeurigheid. Deze benadering verwardt interne inferentiekwaliteit met dataset-uitlijning en prompt-strategieën, waarbij redenering wordt behandeld als een ondoorzichtige input-output mapping. Bijgevolg bieden deze metrieken beperkt inzicht in hoe redenering intern wordt gerealiseerd, waarom modellen met vergelijkbare nauwkeurigheid verschillen in robuustheid, of de specifieke dynamische processen die succesvolle inferentie onderliggen. Er is behoefte aan een raamwerk dat redenering karakteriseert als een intrinsiek dynamisch proces dat zich ontvouwt binnen de representatieruimte van het model, onafhankelijk van taakspecifieke supervisie.

Methodologie

De auteurs analyseren redenering als een dynamisch proces door de evolutie van interne representaties tijdens inferentie te onderzoeken. De studie maakt gebruik van een diverse set hedendaagse autoregressieve LLM's (Qwen2.5, Qwen3, Gemma 3 en DeepSeek-R1-Distill-Qwen) variërend van 0,6B tot 72B parameters.

Dataverzameling en Stimuli:

• Stimuli: Generieke cognitieve stimuli zijn afgeleid van de "Other"-subset van de MMLU-benchmark, die heterogene domeinen (bijv. ethiek, recht, wetenschap) bestrijken zonder te vertrouwen op specifieke taaklabels of correctiesignalen tijdens de analyse.
• Trajectextractie: Voor elke stimulus wordt de verborgen toestand van het laatste token geregistreerd op elke transformerlaag en inferentiestap. Deze sequenties vormen discrete trajecten die zijn ingebed in de hoogdimensionale representatieruimte van het model.

Geometrische en Informatietheoretische Metrieken:

1. Intrinsieke Dimensionaliteit (ID): Geschat met behulp van de Tight Local Intrinsic Dimensionality (TLE)-schatter. Er worden twee verschillende ID's gemeten:
   • $D_{stim}$: De ID van door stimuli geïnduceerde inferentietrajecten (geometrische organisatie).
   • $D_{world}$: De ID van statische vocabulaire-inbeddingen (representatieve expressiviteit).
2. Informatievolume ($V$): Een metriek die de gestructureerde variatie kwantificeert die behouden blijft binnen de redeneringsvariëteit, berekend via de determinant van de covariantiematrix van gecentreerde trajecttoestanden.
3. Stimulusuitbreiding: Om stabiliteit te testen, wordt de stimulussset progressief uitgebreid door disjuncte vraagtypen uit MMLU-Other cumulatief toe te voegen, waarbij wordt bijgehouden hoe $D_{stim}$ evolueert met toenemende conceptuele diversiteit.

Unificerend Diagnostisch:
Een labelvrije gezondheidscore voor redenering ($H$) wordt geformuleerd om deze structurele beperkingen te integreren:
$$H = \log(D_{world}) \cdot \frac{V}{\exp(\varepsilon D_{stim})}$$
waarbij $\varepsilon$ een vaste straffparameter is. Deze score wordt uitsluitend berekend uit interne dynamiek en vergeleken met downstream benchmarkprestaties via Spearman-rangcorrelatie.

Belangrijkste Bijdragen en Resultaten

1. Zelforganisatie in Laagdimensionale Variëteiten

De studie vindt dat redeneringsdynamiek op inferentietijd consistent zelforganiseert in uiterst laagdimensionale variëteiten, ondanks dat deze zich bevinden in hoogdimensionale inbeddingsruimten.

• Observatie: Naarmate de inferentie door de netwerklagen vordert, neemt de intrinsieke dimensionaliteit van representaties snel af, vaak stabiliserend op minder dan tien vrijheidsgraden.
• Onderscheid: Deze ineenstorting is door stimuli geïnduceerd en dynamisch; statische vocabulaire-inbeddingen behouden bijna volledige dimensionaliteit, wat aangeeft dat de modellen een hoge representatieve capaciteit bezitten, maar dat redenering deze ruimte specifiek beperkt.

2. De Onvoldoendheid van Dimensionaliteit Alleen

Laagdimensionaliteit is noodzakelijk maar niet voldoende voor robuuste redenering.

• Vinding: Modellen met vergelijkbaar gecomprimeerde trajecten vertonen scherp verschillende inferentiegedragingen. Te agressieve compressie kan leiden tot breekbare of informatie-arme dynamiek.
• Informatie-Geometrie Trade-off: Effectieve redenering vereist een specifiek regime waarbij geometrische compressie gepaard gaat met een toename in informatievolume ($V$) naarmate de diepte toeneemt. Diepere lagen onderdrukken ruis (verminderend ID) terwijl ze taakrelevante conceptuele variaties versterken (verhogend $V$).

3. De Rol van Expressieve Capaciteit

Robuustheid onder heterogene invoer hangt af van de expressieve capaciteit ($D_{world}$) van het model, gedefinieerd als de intrinsieke dimensionaliteit van zijn statische vocabulaire.

• Stabiliteitsmechanisme: Modellen met hogere expressieve capaciteit vertonen langzamere groei in door stimuli geïnduceerde dimensionaliteit ($D_{stim}$) naarmate de conceptuele diversiteit toeneemt.
• Beperking: Modellen met onvoldoende expressieve capaciteit moeten extra dimensies werven om diverse concepten te coderen, wat leidt tot trajectverspreiding en structurele instabiliteit.

4. De Unificerende Structurele Diagnostiek ($H$)

De auteurs introduceren de gezondheidscore voor redenering $H$, die geometrische organisatie ($D_{stim}$), informatie-inhoud ($V$) en expressieve capaciteit ($D_{world}$) integreert.

• Prestatie: $H$ toont sterke monotoon overeenstemming (Spearman $\rho > 0,9$) met downstream redeneringsprestaties over meerdere onafhankelijke benchmarks (bijv. AIME, GPQA, LiveBench).
• Labelvrije Aard: Cruciaal wordt $H$ berekend zonder toegang tot taaklabels, correctiesignalen of evaluatiedatasets, toch voorspelt het succesvol robuustheid en generalisatie.

Betekenis en Claims

Het artikel herformuleert redeneringsevaluatie door de focus te verschuiven van taaknauwkeurigheid naar de interne geometrie en informatiestroom van inferentiedynamiek.

• Toelaatbaar Regime: De auteurs stellen dat gezonde redenering een smal "toelaatbaar regime" inneemt dat wordt gekenmerkt door drie voorwaarden:
  1. Adequate Representatieve Expressiviteit: Een substraat met hoge capaciteit ($D_{world}$) om diverse concepten te ondersteunen.
  2. Spontane Variëteitscompressie: De zelforganisatie van inferentietrajecten in laagdimensionale structuren ($D_{stim}$).
  3. Niet-degeneraat Informatievolume: Het behoud van gestructureerde variatie ($V$) binnen de gecomprimeerde variëteit.
• Pathologische Dynamiek: Modellen die deze beperkingen schenden, vertonen karakteristieke faalmodi, zoals diffuse exploratie, representatieve overbevolking of degeneratieve ineenstorting.
• Complementair Raamwerk: Het voorgestelde diagnostische vervangt niet op benchmarks gebaseerde beoordeling, maar biedt een complementaire, principiële lens om intrinsieke eigenschappen van redenering te isoleren van dataset-specifieke effecten. Het suggereert dat redenering fundamenteel wordt geregeerd door geometrische en informatieve beperkingen, wat een basis biedt voor het diagnosticeren van modelgezondheid en het begrijpen van de structurele voorwaarden die robuuste inferentie mogelijk maken.

De auteurs handhaven dat hoewel dit raamwerk een structureel venster voor robuuste redenering afbaken, het geen monotoon schalingswetten voorspelt, en de toepasbaarheid op niet-autoregressieve of multimodale systemen een open vraag blijft.