Technische Samenvatting: Capaciteiten en Fundamentele Limieten van Latent Chain-of-Thought

Probleemstelling

Het veld van Large Language Models (LLM's) is verschoven van expliciete Chain-of-Thought (CoT) redenering, waarbij tussenliggende stappen worden geverbaliseerd als discrete tokens, naar Latent CoT, dat informatie verwerkt via continue interne toestandsruimten zonder tussenliggende tokens te genereren. Hoewel Latent CoT efficiëntie en de mogelijkheid belooft om diverse redeneerpaden te verkennen, onthullen empirische observaties een verwarrende en wederzijds uitsluitende prestatiedichotomie:

• Expliciete CoT blinkt uit in precieze symbolische berekening (bijv. GSM8K, 42,9% nauwkeurigheid) maar heeft moeite met flexibele exploratie en strategische planning (bijv. ProsQA, 77,5%).
• Latent CoT bereikt superieure prestaties op exploratieve taken (ProsQA, 97,0%) maar faalt catastrofaal op precisie-georiënteerde computationele taken (GSM8K, 34,1%).
• Bovendien vertoont Latent CoT extreme trainingsfragiliteit; het verwijderen van curriculum learning veroorzaakt een instorting van de prestaties (bijv. van 99,8% naar 52,4% op ProntoQA).

De huidige literatuur mist een verenigd theoretisch kader om te verklaren waarom hoge prestaties in exploratie een offer in executieprecisie vereisen, of waarom impliciete modellen inherent moeilijk te trainen zijn. Dit artikel stelt dat deze trade-offs geen willekeurige architecturale artefacten zijn, maar fundamentele consequenties van beslissingszekerheid (decisional certainty).

Methodologie en Theoretisch Kader

De auteurs stellen een theoretisch kader voor dat gecentreerd is rond de Symbolic Index ($I_S$), een kwantificeerbare maatstaf voor de toewijding van een model aan een specifiek redeneerpad (gedefinieerd als de waarschijnlijkheid van het meest waarschijnlijke token). De analyse verloopt via drie belangrijke theoretische pijlers:

1. Informatie-bottleneck Dualiteit

Het paper stelt vast dat de Coconut curriculum training-doelstelling (die expliciete CoT-stappen progressief comprimeert tot latente toestanden) wiskundig equivalent is aan het oplossen van een Conditional Information Bottleneck (CIB) probleem.

• Theorem 4.1 bewijst dat het minimaliseren van de Coconut loss equivalent is aan het optimaliseren van een geconstrueerd probleem dat de compressie van eerdere informatie balanceert tegen de behoud van voorspellende kracht voor toekomstige stappen.
• Deze dualiteit onthult dat het curriculum de trade-off parameter $\beta(k) \sim \frac{k}{M-k}$ dynamisch aanpast, waarbij de nadruk verschuift van compressie naar voorspelling naarmate de training vordert.

2. De Exploratie-Executie Trade-off

De auteurs karakteriseren de fundamentele spanning tussen exploratie en executie via de Symbolic Index:

• Hoge Zekerheid (Expliciete CoT): CoT opereert in een regime van hoge zekerheid ($I_S \approx 1$). Theorem 4.3 demonstreert dat naarmate de zekerheid toeneemt, de entropie van de beslissingsdistributie verdwijnt en de KL-divergentie van een ideale uniforme exploratie-prior onbegrensd groeit. Dit waarborgt Symbolic Integrity (Theorem 4.7): de discrete argmax operatie fungeert als een foutcorrigerend filter, dat interne ruis bij elke stap reset en foutaccumulatie voorkomt.
• Lage Zekerheid (Latent CoT): Latent CoT opereert in een regime van lage zekerheid ($I_S < 1$). Theorem 4.5 bewijst dat de CIB-doelstelling een niet-degeneratieve outputdistributie afdwingt, waardoor een eindige bovengrens aan de KL-divergentie wordt behouden en robuuste exploratie mogelijk wordt. Echter, Theorem 4.8 toont aan dat zonder het discretisatie-resetmechanisme, sub-decisionele perturbaties (ruis) exponentieel accumuleren over redeneerstappen, wat de symbolische precisie vernietigt.
• Het Verenigende Mechanisme: Theorem 4.11 en Theorem 4.12 koppelen de Symbolic Index formeel aan de Logit Decision Margin ($\Delta l$) en de KL-divergentie. Een hoge $I_S$ garandeert een grote marge (robuustheid tegen ruis) maar dwingt de distributie weg van uniformiteit (slechte exploratie). Een lage $I_S$ staat brede exploratie toe maar resulteert in een kleine marge, waardoor het systeem kwetsbaar wordt voor cumulatieve fouten.

3. De Noodzaak van Curriculum Learning

Het paper adresseert de trainingsinstabiliteit van Latent CoT met behulp van een Imitation Learning (IL) framework.

• De Trainingsparadox: Directe training op latente toestanden leidt tot een distributionele mismatch. Zonder curriculum leren modellen "shortcut" representaties van een vertekende distributie van oppervlakkige patronen, in plaats van de expert-policy van geldige redeneertrajecten.
• Theorem 5.1 bewijst dat training zonder curriculum gegarandeerd zal falen, omdat het model convergeert naar een suboptimale policy met een prestatiekloof die niet gedicht kan worden door de dataset te vergroten.
• Theorem 5.2 stelt vast dat curriculum learning theoretisch noodzakelijk is. Door het trainingsproces te scaffolden (beginnend met expliciete tokens en ze geleidelijk te internaliseren), overbrugt het curriculum de distributionele kloof, waardoor het model convergeert naar de optimale expert-policy.

Belangrijkste Resultaten

De theoretische claims worden gevalideerd door empirische experimenten met een GPT-2 (124M) architectuur getraind met de Coconut curriculum:

1. Decisional Certainty Regimes:

   • Op ProsQA (exploratief), behoudt Latent CoT een lage Symbolic Index ($I_S < 0,6$), wat de bekwaamheid bevestigt om de waarschijnlijkheidsmassa over meerdere paden te verdelen.
   • Op GSM8K (computationeel), mist Latent CoT de hoge waarschijnlijkheidsconcentratie ($I_S \ll 1,0$) die kenmerkend is voor Expliciete CoT, wat de afwezigheid van het fout-resetmechanisme bevestigt.

2. Ruisrobuustheid:

   • Expliciete CoT vertoont een "stapfunctie"-respons op geïnjecteerde Gaussische ruis: de nauwkeurigheid blijft stabiel totdat de ruis de Logit Decision Margin overschrijdt, waarna deze scherp daalt.
   • Latent CoT vertoont een onmiddellijke, monotone afname van de nauwkeurigheid vanaf lage ruisniveaus, wat de accumulatie van fouten in continue toestandsdynamica bevestigt.
   • Taakafhankelijke sensitiviteit wordt waargenomen: Latent CoT behoudt een hogere prestatie op ProsQA onder ruis vergeleken met GSM8K, aangezien exploratieve taken staatdeviaties beter tolereren dan precieze numerieke berekeningen.

3. Ablatie op Curriculum:

   • Het verwijderen van het curriculum zorgt ervoor dat Latent CoT instort op ProntoQA (van 99,8% naar 52,4%), wat de theoretische noodzaak van progressieve internalisering valideert om distributionele mismatch te voorkomen.

Betekenis en Claims

Het paper claimt het paradigma voor het ontwerp van redeneerarchitecturen te verschuiven van binaire keuzes (discreet versus continu) naar adaptieve systemen.

• Verenigende Theorie: Het werk biedt de eerste verenigde theoretische verklaring voor de complementaire faalmodi van Expliciete en Latent CoT, waarbij decisional certainty (gekwantificeerd door de Symbolic Index) als het sturende mechanisme wordt geïdentificeerd.
• Ontwerpprincipe: Het betoogt dat toekomstige architecturen niet statisch gefixeerd moeten zijn als ofwel discreet ofwel continu. In plaats daarvan moeten ze de decisional certainty dynamisch reguleren op basis van de taakeisen—door te moduleren tussen hoge-zekerheid commitment voor precieze executie en lage-zekerheid diversificatie voor planning.
• Trainingsnoodzaak: Het paper stelt vast dat curriculum learning niet slechts een heuristisch voordeel is, maar een theoretische vereiste voor de convergentie van Latent CoT-modellen, waarmee het raadsel van hun trainingsfragiliteit wordt opgelost.

Door de Exploratie-Executie Trade-off te formaliseren, legt dit werk de basis voor het ontwikkelen van agenten die in staat zijn om vloeiend te schakelen tussen rigoureuze calculatie en flexibele exploratie.