Technische Samenvatting: Latent Thought Flow (LTF)

Probleemstelling

Large Language Models (LLM's) vertrouwen steeds vaker op intermediaire redeneerprocessen, zoals Chain-of-Thought (CoT), om complexe taken op te lossen. Echter, expliciete CoT lijdt aan een linguïstische ruimte-bottleneck: elke intermediaire gedachte moet worden gedecodeerd naar discrete tokens, wat een aanzienlijke inferentie-overhead veroorzaakt en de interne berekening beperkt tot potentieel redundante tekstuele vormen. Dit creëert een inherente afweging tussen nauwkeurigheid en efficiëntie.

Hoewel latente redenering (berekeningen uitvoeren in een continue verborgen toestandsruimte) een oplossing biedt voor deze bottleneck, richten bestaande methoden zich primair op deterministische paden of het optimaliseren van beloningsmaximalisatie onder vaste budgetten. Deze benaderingen missen een principieel mechanisme om de waarschijnlijkheidsmassa te alloceren over redeneertrajecten die variëren in zowel correctheid als computationele kosten. Bijgevolg slagen ze er vaak niet in om de latente redeneer-manifold te optimaliseren, of ze erven de verbositeit van trainingsrationalen, of ze storten in op enkele hoog-belonende modi, waardoor ze de balans tussen nauwkeurigheid en efficiëntie niet weten te bewaren.

Methodologie: Latent Thought Flow (LTF)

De auteurs stellen Latent Thought Flow (LTF) voor, een framework dat redeneren modelleert als variabele-lengte continue trajecten in de latente ruimte van de LLM. LTF traint een sampler om een belonings-geïnduceerde posterior te matchen die de kwaliteit van het antwoord afweegt tegen de computationele kosten.

Kerncomponenten

1. Variabele-lengte Latente Trajecten:
   In plaats van deterministische tokens sampleert LTF een traject $\tau = (z_{1:T}, \perp)$, waarbij $z_t$ continue latente gedachtetoestanden zijn en $\perp$ een adaptieve stopbeslissing is. Het model leert "hoeveel" het intern moet redeneren voordat het het uiteindelijke antwoord genereert. Het traject wordt gesampled uit een Gaussische policy $q_\phi$ die wordt geparametriseerd door een latente redeneerkop.

2. Belonings-proportionele Doelverdeling:
   LTF definieert een nutfunctie $R_{x,y}(\tau)$ die de kwaliteit van het antwoord ($V_{x,y}$) combineert met de computationele kosten ($C(\tau)$, doorgaans de trajectlengte). Het doel is om een sampler te leren waarbij de waarschijnlijkheid van een traject proportioneel is aan de beloning:
   $$p^*(\tau | x, y) \propto R_{x,y}(\tau)$$
   Dit moedigt het model aan om de waarschijnlijkheidsmassa te concentreren op beknopte, accurate paden, terwijl redundante of foutieve paden worden onderdrukt.

3. Continue GFlowNet-objectief:
   Om deze verdeling te leren, instantiëren de auteurs een continue GFlowNet. In tegenstelling tot Reinforcement Learning (RL), dat de verwachte beloning maximaliseert (wat vaak leidt tot mode collapse), leren GFlowNets een stochastische policy waarbij terminale samples proportioneel zijn aan de beloning, wat een diversiteit aan hoog-nuttige oplossingen behoudt.

   • Uitdaging: Latente gedachten zijn continu, waardoor discrete token-niveau balansvergelijkingen niet toepasbaar zijn.
   • Oplossing: LTF past Subtrajectory Balance aan voor continue ruimtes. Het berekent de flow analytisch voor elke prefix-toestand door het model toe te staan op elke tussenstap te stoppen, een antwoord te decoderen en een beloning te ontvangen.

4. Entropy-Weighted Subtrajectory Balance (EW-SubTB):
   Om schaarse antwoord-supervisie te behandelen en exploratie te sturen, introduceert LTF een entropie-bewust wechtingsmechanisme. Het herweegt de Subtrajectory Balance-residuen op basis van de differentiële entropie van latente subtrajecten. Dit zorgt ervoor dat sterkere supervisie wordt toegepast op regio's met een hoge entropie (waar de informatieverspreiding rijker is) zonder de belonings-proportionele doelverdeling te wijzigen.

5. Reference-Prior Regularizer:
   Om te voorkomen dat willekeurige exploratie in de continue latente ruimte afdrijft naar semantisch betekenisloze toestanden, gebruikt LTF een referentie-prior afgeleid van door docenten gegenereerde redeneertracés (wanneer beschikbaar). Dit verankert de vroege exploratie aan betekenisvolle latente regio's, waarna de GFlowNet-beloning de sampler vervolgens vormgeeft richting nauwkeurigheid en efficiëntie.

Belangrijkste Bijdragen

• Formulering van Latente Redenering als een Flow: Het artikel herformuleert latente redenering als een distributie-matching probleem over variabele-lengte continue trajecten, in plaats van een deterministische padoptimalisatie.
• Continue GFlowNet voor LLM's: Het breidt de GFlowNet-theorie uit naar de hoog-dimensionale continue latente ruimte van LLM's, wat het behoud van diverse redeneerpaden mogelijk maakt die zowel accuraat als efficiënt zijn.
• Nieuwe Trainingsdoelstellingen: De introductie van Entropy-Weighted Subtrajectory Balance en een Reference-Prior Regularizer pakt de specifieke uitdagingen aan van schaarse supervisie en instabiele exploratie in continue latente ruimtes.
• Adaptieve Computatie: Het framework stelt het model in staat om zijn computationele budget dynamisch toe te wijzen, waarbij kortere trajecten worden toegewezen aan eenvoudigere problemen en langere trajecten aan moeilijkere problemen.

Experimentele Resultaten

Experimenten werden uitgevoerd op meerdere LLM-backbones (LLaMA-3.2 1B/3B, LLaMA-3.1 8B, DeepSeek-R1 Distill-Qwen 1.5B) over wiskundige redeneertaken (GSM8K-Aug, ASDiv-Aug, DU, MATH) en transfer learning-taken.

• Prestaties vs. Expliciete CoT: LTF vermindert de redeneerlengte (decoderingsoverhead) aanzienlijk terwijl de nauwkeurigheid gelijk blijft of verbetert vergeleken met expliciete CoT-methoden.
• Prestaties vs. Latente Baselines: Vergeleken met sterke latente redeneer-baselines zoals CoLaR en ReGuLaR:
  • Fine-tuning: LTF verbeterde de gemiddelde nauwkeurigheid met 12,9% terwijl de redeneerlengte met 34,5% werd verminderd.
  • Transfer Learning: LTF verbeterde de gemiddelde nauwkeurigheid met 6,0% terwijl de redeneerlengte met 19,9% werd verminderd.
  • Specifieke Winsten: Op GSM8K-Aug met LLaMA-3.2 1B verbeterde LTF de nauwkeurigheid van 34,58% (ReGuLaR) naar 37,09%, terwijl het aantal redeneerstappen daalde van 3,69 naar 3,34.
• Extreme Compressie: Onder extreme compressie-instellingen (bijv. de MATH-dataset) presteerde LTF consistent beter dan de baselines, wat een superieur vermogen aantoont om taakrelevante semantische informatie te behouden.
• Ablatie-studies: De resultaten bevestigden dat Entropy-Weighted Subtrajectory Balance de nauwkeurigheid verbetert met minimale lengte-toename, en dat GFlowNet-gebaseerde doelstellingen betere nauwkeurigheid-efficiëntie-afwegingen bieden dan standaard RL-doelstellingen (zoals GRPO).

Betekenis en Claims

Het artikel claimt dat LTF een nieuwe nauwkeurigheid–efficiëntie-grens vestigt voor redeneren in LLM's. Door deliberatie naar een continue latente ruimte te verplaatsen en een belonings-proportioneel samplingframework te gebruiken, overwint LTF de linguïstische bottleneck van expliciete redenering.

De auteurs stellen dat het ontbrekende distributionele perspectief in bestaande latente redeneermethoden centraal staat in hun inefficiëntie. LTF biedt een principieelere manier om waarschijnlijkheid over trajecten te alloceren, waardoor modellen dynamisch de balans kunnen vinden tussen correctheid en kosten. Het werk demonstreert dat betekenisvolle intermediaire berekening niet noodzakelijkerwijs in linguïstische woorden uitgedrukt hoeft te worden, wat een schaalbaar pad biedt voor middelen-beperkte redeneerscenario's.

Beperkingen: De auteurs merken op dat de huidige experimenten zich richten op tekstuele taken (woorden en symbolen), en dat het uitbreiden van het framework naar andere modaliteiten (visie, spraak) toekomstig werk blijft. Theoretische generalisatie wordt eveneens genoemd als een gebied voor verdere verkenning.