Technische Samenvatting: Het formaliseren van latente gedachten: Vier axioma's van gedachtsrepresentatie in LLM's

Probleemstelling

Het veld van Large Language Model (LLM) redeneren verschuift steeds meer van discrete Chain-of-Thought (CoT) tokens naar continue latente representaties (bijv. Soft Thinking, Latent Thinking) om de efficiëntie en het redeneervermogen te verbeteren. De evaluatie van deze "continue gedachtsrepresentaties" is echter fundamenteel gebrekkig. Huidige methodologieën vertrouwen bijna uitsluitend op downstream taaknauwkeurigheid (bijv. benchmark pass rates) om de kwaliteit van de representatie te beoordelen. Deze aanpak vervuilt de kwaliteit van de interne representatie met de algehele capaciteit van het model om die representatie te decoderen of te verwerken. Bijgevolg worden representatiefouten gemaskeerd door downstream nauwkeurigheid; een model kan hoge benchmarkscores behalen terwijl zijn interne "gedachten" er niet in slagen de noodzakelijke redeneerstappen getrouw te coderen of onderscheid te maken tussen verschillende instanties van dezelfde taak.

Er is een gebrek aan:

1. Een principiële definitie van welke functionele eigenschappen een geldige gedachtsrepresentatie moet bezitten.
2. Een intrinsiek evaluatieprotocol dat de kwaliteit van de representatie meet, onafhankelijk van de downstream taaknauwkeurigheid.
3. Een duidelijk begrip van de huidige status van kandidaat-methoden, gezien rapporten dat latente redeneertokens vaak niet nodig zijn voor voorspellingen of er niet in slagen gestructureerde zoekopdrachten in de latente ruimte uit te voeren.

Methodologie

De auteurs stellen een axiomatisch evaluatiekader voor dat gedachtsrepresentaties karakteriseert op basis van vier functionele eigenschappen, die onafhankelijk van elk downstream decodatieproces zijn gedefinieerd. Het kader behandelt de gedachtsrepresentatie ($T$) als een latente functionele staat die de transformatie medieert van een inputruimte ($X$) naar een semantische outputruimte ($S$).

De Vier Axioma's

Het kader definieert vier axioma's, elk met een bijbehorende kwantitatieve maatstaf die direct op de bron-LLM wordt berekend zonder hertraining:

1. Causaliteit: $T$ moet functioneel de expliciete redeneerprefix ($y_{pre}$) binnen de computationele graaf van het model vervangen.

   • Metriek: KL Substitutie Fout. Gemeten door de token-embeddings van $y_{pre}$ te vervangen door de geprojecteerde $T$ en de Kullback-Leibler (KL) divergentie te berekenen tussen de oorspronkelijke continuatieverdeling $P(y_{suf} | y_{pre})$ en de geïntervenieerde verdeling $P(y_{suf} | T)$. Lagere waarden duiden op betere causaliteit.

2. Minimaliteit: $T$ moet de input comprimeren terwijl het maximale relevantie behoudt voor de outputverdeling, conform het Information Bottleneck-principe. Het moet irrelevante variabelen (ruis) uit de input filteren.

   • Metriek: Minimaliteitsgat ($\Delta_{IB}$). Een cross-entropy surrogaat voor de Information Bottleneck Lagrangian bij $\beta=2$. Het wordt berekend als $\Delta_{IB} = CE(X | Y, T) - CE(Y | T)$. Hogere waarden duiden op een representatie die voldoende is voor de output maar minimale residuele informatie over de input toevoegt die de output al bezit.

3. Scheidbaarheid: $T$ moet voldoende topologische structuur bezitten om te differentiëren tussen semantisch niet-equivalente outputverdelingen. Het moet in staat zijn om onderscheid te maken tussen twee verschillende vragen binnen dezelfde taak (fijnmazig) en tussen verschillende taken (grofmazig).

   • Metriek: Discriminator Nauwkeurigheid. Een trainbare binaire discriminator wordt getraind om $T$ uit te lijnen met een kandidaat-outputsequentie. De nauwkeurigheid wordt gemeten op same-task paren (fijnmazig) en cross-task paren (grofmazig).

4. Stabiliteit: $T$ moet invariant zijn voor oppervlakkige lexicale variaties (parafrasering) en robuust tegen sampling-stochastiek (mode collapse). Het moet de parameters van de semantische distributie $P(S|x)$ coderen in plaats van een enkele realisatie.

   • Metriek: Distributional Consistency Score (DCS). De AUROC van een probe die voorspelt of de beam-outputs van een vraag meerdere semantische equivalentieklassen beslaan (semantische entropie $H_x > 0$).

Experimentele Opstelling

• Kandidaten: De studie auditeert verschillende kandidaat-representaties, waaronder Last Input Token (LIT) hidden states, Soft Thinking (met en zonder Gumbel noise), en Latent Thinking, over variërende "thinking budgets" (1 tot 128 stappen).
• Modellen: Vijf open-weight LLM's die diverse architecturen en trainingsparadigma's beslaan: Llama-3.1-8B, Llama-3.3-70B (Dense/Instruct), DeepSeek-R1-Distill-Qwen-32B (Reasoning-distill), Skywork-OR1-32B (Native RL), en GPT-OSS-20B (Sparse MoE).
• Taken: 23 redeneertaken uit de Big Bench Extra Hard (BBEH) dataset, variërend van ruimtelijk redeneren en feitelijke QA tot logische puzzels en meer.
• Protocol: Evaluaties worden uitgevoerd op de bron-LLM met gebruik van een bevroren 1B backbone voor probing, waardoor de metrieken ontkoppeld zijn van de grootte van de bron-LLM en de downstream prestaties.

Belangrijkste Resultaten

De toepassing van dit intrinsieke protocol onthult een "representatieve instorting" die downstream benchmark-nauwkeurigheid niet detecteert:

1. Geen Kandidaat Voldoet Aan Alle Axioma's: Geen geëvalueerde kandidaat-representatie voldoet simultaan aan Causaliteit, Minimaliteit, Scheidbaarheid en Stabiliteit.
2. Scheidbaarheidsfalen (Per-Vraag Identiteit): Hoewel representaties betrouwbaar onderscheid maken tussen verschillende taken (cross-task nauwkeurigheid is bijna verzadigd), falen ze om onderscheid te maken tussen verschillende instanties van dezelfde taak (same-task nauwkeurigheid). Bijna alle kandidaten (behalve Output Embeddings) presteren op of nabij de random baseline voor same-task discriminatie. Dit geeft aan dat latente representaties de specifieke identiteit van individuele vragen verliezen, waarbij onderscheidende redeneerpaden worden samengevoegd tot ononderscheidbare vectoren.
3. Concurrentie van Input Embeddings: De input prompt embedding zelf is competitief met, en vaak superieur aan, kandidaat-gedachtsrepresentaties over alle vier de assen. Dit suggereert dat huidige latente representaties weinig informatie coderen buiten wat al aanwezig is in de input embedding.
4. Structureel Falen: Het faalpatroon is consistent over dense, reasoning-distilled en RL-getrainde modelfamilies. Het verhogen van het aantal denkstappen (bijv. in Soft Thinking of Latent Thinking) lost de instorting niet op; in sommige gevallen verslechtert de prestatie naarmate het aantal stappen toeneemt.
5. Causaliteit vs. Input: Geen gedachtsrepresentatie biedt consistent meer causale informatie dan de input embedding alleen. Het vervangen van de redeneerprefix door $T$ levert een continuatieverdeling op die ononderscheidbaar is van het vervangen door de input embedding, wat impliceert dat $T$ geen uniek causaal signaal toevoegt.

Betekenis en Claims

Het artikel claimt een geprincieerd middel te bieden om kandidaat-gedachtsrepresentaties te ontwikkelen en te auditeren als objecten van studie, geëvalueerd op waar een LLM over een probleem weet, in plaats van op de downstream kwaliteit van een daaropvolgende keten.

• Diagnostische Resolutie: Het framework stelt onderzoekers in staat om veranderingen in downstream nauwkeurigheid toe te schrijven aan specifieke representatieve eigenschappen (bijv. een daling in Scheidbaarheid) in plaats van aan geaggregeerde benchmarkscores die de onderliggende oorzaak maskeren.
• Optimalisatie Doelen: De vier metrieken bieden expliciete, kwantificeerbare optimalisatiedoelen voor toekomstig onderzoek, waarbij men verder gaat dan heuristische proxies zoals token-budgetten of imitatie van expliciete CoT.
• Structureel Inzicht: De bevindingen suggereren dat de kloof tussen huidige methoden voor latent redeneren en ideale functionele gedachte structureel is, en niet louter een functie van modelgrootte of specifieke trainingsprocedures (zoals RL of distillatie). De huidige generatie latente representaties slaagt er niet in de gestructureerde, instantie-specifieke zoektocht te implementeren die vereist is voor robuust redeneren.

De auteurs positioneren dit framework als orthogonaal aan de evaluatie van redeneerbenchmarks, en bieden een noodzakelijke laag van analyse om de interne mechanismen van redeneermodellen te begrijpen voordat ze betrouwbaar verbeterd kunnen worden. De code en het evaluatieprotocol worden publiekelijk beschikbaar gesteld om verdere audit en ontwikkeling te faciliteren.