Technische Samenvatting: Inference-Time Rethinking met Latente Gedachtvectoren voor Wiskundig Redeneren

1. Probleemstelling

Standaard Chain-of-Thought (CoT) redeneren in Large Language Models (LLMs) werkt via een enkele forward pass, waarbij het model zich onomkeerbaar vastlegt op elk gegenereerd token. Deze architectuur verweeft declaratieve kennis (de inhoud van het redeneerplan) met procedurele executie (de syntactische generatie van tokens). Bijgevolg worden fouten in de vroege generatie ongecontroleerd voortgeplant omdat het model niet beschikt over een onafhankelijk mechanisme om terug te keren, kritiek te leveren of de redeneerstrategie te verfijnen voordat de output wordt gefinaliseerd.

De auteurs stellen dat effectief redeneren een functionele scheiding vereist tussen "waarover te redeneren" (declaratief) en "hoe het te verbaliseren" (procedureel), wat de afbakening weerspiegelt tussen semantische verwerking (bijv. de Wernicke-area) en syntactische productie (bijv. de Broca-area) in het menselijk cognitieve proces.

2. Methodologie

2.1 Generatief Model met Latente Gedachtvectoren

Het voorgestelde framework ontleedt redeneren in twee afzonderlijke componenten:

1. Latente Gedachtvectoren ($z$): Een continue, declaratieve representatie van de redeneerstrategie ("wat").
2. Procedurele Decoder: Een autoregressieve Transformer die de tokensequentie genereert ("hoe"), geconditioneerd op $z$.

Het gezamenlijke model wordt gedefinieerd als:
$$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$$
Waarbij $x$ de sequentie van grond-tokens is (vraag + redeneerspoor) en $\theta = (\alpha, \beta)$ alle modelparameters vertegenwoordigt.

• Prior Model ($p_\alpha(z)$): In tegenstelling tot standaard VAE's met vaste priors, gebruikt dit model een leerbare transportmap. Een encoder ($U_\alpha$) transformeert ongestructureerde ruis-tokens $z_0 \sim \mathcal{N}(0, I)$ naar gestructureerde latente gedachtvectoren $z$. Dit creëert een geleerd manifold waar de geometrie de geldige redeneerpatronen weerspiegelt.
• Gedachte-gestuurde Generator ($p_\beta(x|z)$): Een Transformer-decoder waarbij de latente vector $z$ cross-attendeert op elke laag. Cruciaal is dat de decoder een kort contextvenster gebruikt ($w=64$). Deze architecturale bottleneck dwingt het model om langetermijn-afhankelijkheden via $z$ te routeren, wat de latente vector dwingt om globale, sequentie-niveau structuren te coderen in plaats van redundante lokale context.

2.2 Leren: Dual-Rate Optimalisatie

De training maakt gebruik van een dual-rate schema om snelle per-instantie adaptatie te scheiden van langzame globale leerprocessen:

• Snelle Lokale Updates: Voor elke trainingssequentie worden de variational posterior parameters $(\mu, \sigma^2)$ over de ruis-tokens $z_0$ direct geoptimaliseerd via gradiëntafdaling (Adam) met een hoge leersnelheid. Er wordt geen inference netwerk getraind; elke instantie behoudt zijn eigen geoptimaliseerde latente representatie.
• Langzame Globale Updates: De modelparameters $\theta$ (encoder en decoder gewichten) worden bijgewerkt met een standaard, lagere leersnelheid.

Deze aanpak voorkomt posterior collapse en stelt het model in staat om algemene schema's ($\theta$) te accumuleren terwijl de precisie per instantie behouden blijft via de latente variabelen.

2.3 Inference-Time Rethinking

Tijdens de testfase hanteert het model een Gibbs-stijl iteratief proces om de redeneerstrategie te verfijnen. Gegeven een vraag $x_q$, is het doel om de marginale $p_\theta(x_r|x_q)$ te benaderen door te alterneren tussen generatie en reflectie:

1. Genereren: Sample een kandidaat redeneerspoor $x_r^{(t)}$ geconditioneerd op de huidige latente gedachte $z^{(t-1)}$.
   $$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$$
2. Reflecteren: Optimaliseer de latente ruisvector $z_0$ om de likelihood van het gegenereerde spoor te maximaliseren (effectief het minimaliseren van de KL-divergentie tussen de variational posterior en de ware posterior).
   $$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$$

Deze lus staat het model toe om te "heroverwegen" (rethink): fouten in het gegenereerde spoor informeren een verfijnde latente vector, die vervolgens een gecorrigeerd spoor stuurt in de volgende iteratie. Het proces is theoretisch gegrond als coördinaat-ascensie optimalisatie op een variational lower bound (ELBO), wat een monotone verbetering in de benadering van de gezamenlijke posterior garandeert.

3. Belangrijkste Bijdragen

1. Generatief Framework: Een nieuw architectuur die declaratieve inhoud (latente vectoren) ontkoppelt van procedurele generatie, wat efficiënt leren mogelijk maakt waarbij een klein model grotere monolithische architecturen kan overtreffen.
2. Inference-Time Rethinking: Een Gibbs-stijl procedure die latente gedachten tijdens de testfase iteratief verfijnt, wat zelfcorrectie mogelijk maakt zonder extra trainingdata of model-reparameterisatie te vereisen.
3. Empirische Validatie: Demonstratie dat inference-time computation een zeer effectieve schaalingsas is, die orthogonaal staat aan het aantal parameters.

4. Experimentele Resultaten

De auteurs trainden een 0.2B-parameter model vanaf nul op de GSM8K-Aug dataset (385K voorbeelden) en evalueerden dit op drie benchmarks: GSM8K (in-domain), SVAMP (out-of-domain oppervlaktevariaties) en MultiArith (multi-step redeneren).

• Prestaties: Het 0.2B model met 30 rethinking iteraties (Rethink-30) behaalde:
  • 31.54% op GSM8K (superieur aan een 3B CoT-SFT model met 22.70% en een 2B MARCoS met 24.11%).
  • 51.50% op SVAMP (tegenover 27.77% voor de 2B MARCoS).
  • 68.00% op MultiArith (tegenover 42.33% voor de 2B MARCoS).
• Efficiëntie: Zelfs een enkele pass (Rethink-1) presteerde beter dan bijna alle baselines, inclusclusief modellen met 10–15× meer parameters.
• Generalisatie: De methode vertoonde significante robuustheid op out-of-domain benchmarks, toegeschreven aan het vermogen van de latente vector om abstractie te creëren ten opzichte van oppervlakte-variabiliteit in tokens.

5. Betekenis en Claims

Het artikel claimt dat effectief wiskundig redeneren kan voortkomen uit geavanceerde inference-time computation in plaats van enkel uit massale parameterhoeveelheden.

• Orthogonale Schaling: De resultaten suggereren dat "langer nadenken" (investeren in compute voor iteratieve verfijning) een krachtige schalingsas is die de modelgrootte complementeert.
• Cognitieve Afstemming: Door declaratieve planning te scheiden van procedurele executie, bootst het model menselijke cognitieve mechanismen na, waardoor inspectie en revisie van gedachten mogelijk is vóór de definitieve commitment.
• Likelihood als Proxy: De auteurs postuleren dat wanneer er getraind wordt op nabij-expert demonstraties, het likelihood-landschap van nature de voorkeur geeft aan geldige logische paden. Daarom leidt het optimaliseren van de latente vector om de likelihood van het gegenereerde spoor te maximaliseren, het model effectief naar correcte redeneerstrategieën.

De auteurs merken beperkingen op, specifiek dat de afhankelijkheid van likelihood als een proxy voor correctheid ervan uitgaat dat de trainingsdata van hoge kwaliteit is; in ruisige omgevingen kan deze correlatie verzwakken, wat in toekomstig werk de noodzaak van externe verificatiesignalen met zich meebrengt.