💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

Dit onderzoek introduceert een methode voor parallelle testtijd-schaalbaarheid bij latent redenerende modellen door onzekerheidsgebaseerde stochastische samplingstrategieën en een Latent Reward Model te gebruiken voor effectieve trajectaggregatie in continue ruimtes.

Oorspronkelijke auteurs: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe we AI's "stille gedachten" sneller en slimmer maken

Stel je voor dat een kunstmatige intelligentie (AI) een moeilijke wiskundepuzzel moet oplossen.

De oude manier (Token-gebaseerd):
De AI denkt hardop. Het zegt: "Oké, eerst doe ik dit, dan dat, en tenslotte..." en schrijft elke stap op. Dit is als een student die zijn werk op het papier uitschrijft. Om slimmer te worden, laat je de AI 10 keer dezelfde vraag oplossen, elke keer met een andere volgorde van gedachten, en kies je het beste antwoord. Dit werkt goed, maar het is traag en veel tekst.

De nieuwe manier (Latente Redenering):
Deze paper introduceert een nieuwe manier van denken. In plaats van hardop te denken, "dicht" de AI. De gedachten spelen zich af in een onzichtbare, continue ruimte van getallen (vectoren). Het is alsof de AI in een mum van tijd een heel complex idee in zijn hoofd vormt, zonder woorden. Dit is veel sneller en compacter.

Het probleem:
Maar hier zit een addertje onder het gras. Omdat de AI "dicht" denkt, is het lastig om meerdere versies van die gedachte tegelijk te maken. Bij het oude "hardop denken" kun je makkelijk kiezen: "Laat me 10 keer een andere zin bedenken." Bij het "stille denken" is dat niet zo makkelijk; de AI springt gewoon naar het volgende getal zonder dat je makkelijk variatie kunt aanbrengen.

De oplossing van deze paper:
De auteurs zeggen: "Laten we dit toch mogelijk maken!" Ze hebben twee slimme trucs bedacht om die "stille gedachten" toch te laten variëren, net als bij het hardop denken.

Truc 1: De "Onzekerheids-methode" (Monte Carlo Dropout)
- De analogie: Stel je voor dat je een groep vrienden vraagt om een plan te bedenken, maar je laat elke keer willekeurig één vriend even "slapen" (niet meedoen). Door verschillende vrienden te laten slapen, krijg je elke keer een iets ander perspectief.
- In de AI: Ze laten willekeurig stukjes van het brein van de AI even "uitvallen" tijdens het denken. Hierdoor ontstaan er verschillende, unieke gedachtepaden die naar oplossingen kunnen leiden die de AI normaal niet zou zien.
Truc 2: De "Ruis-methode" (Additive Gaussian Noise)
- De analogie: Stel je voor dat je een tekening maakt, maar je schudt je hand een beetje terwijl je tekent. Je krijgt daardoor kleine variaties in de lijnen. Soms leidt die onnauwkeurigheid tot een creatieve draai die je niet had verwacht.
- In de AI: Ze voegen heel kleine, willekeurige "trillingen" toe aan de gedachten. Dit zorgt voor een brede verkenning van alle mogelijke oplossingen rondom het oorspronkelijke idee.

Het kiezen van de winnaar (De Latent Reward Model):
Nu hebben we 10 verschillende "stille gedachten" (trajecten). Welke is goed? Bij het oude denken konden we kijken naar de waarschijnlijkheid van de woorden. Maar hier zijn het onzichtbare getallen.

De oplossing: Ze hebben een speciale "scheidsrechter" (een Reward Model) gebouwd. Deze kijkt naar elke stap van het stille denken en zegt: "Ja, dit lijkt een goede richting" of "Nee, dit leidt nergens toe."
De analogie: Het is alsof je 10 verschillende routes naar een schat hebt getekend. De scheidsrechter loopt elke route een stukje af en geeft een score. Uiteindelijk kies je de route met de hoogste score.

Wat is het resultaat?
De paper toont aan dat je deze "stille" AI's nu ook kunt laten "schaalbaar" werken. Door meer rekenkracht te gebruiken (meer variaties maken en de beste kiezen), worden ze veel slimmer, zonder dat je ze opnieuw hoeft te trainen.

Samenvattend in één zin:
De auteurs hebben een manier bedacht om AI's die in stilte denken (in plaats van hardop te praten) toch meerdere opties tegelijk te laten verkennen en de beste te kiezen, waardoor ze veel sneller en slimmer worden bij het oplossen van moeilijke problemen.

Titel: Parallel Test-Time Scaling voor Latente Redeneringsmodellen

Conferentie: ACL 2026 (Hoofdconferentie)

1. Het Probleem

Grote Taalmodellen (LLMs) presteren vaak beter bij complexe taken door Test-Time Scaling (TTS) toe te passen, waarbij meer rekenkracht tijdens het inferentieproces wordt gebruikt om de redenering te verbeteren. De huidige staat van de kunst voor TTS vertrouwt op expliciete Chain-of-Thought (CoT), waarbij modellen tussenstappen in natuurlijke taal genereren (tokens). Dit maakt het mogelijk om meerdere redeneerpaden parallel te genereren en te aggregeren (bijv. via meerderheidsstemming of Best-of-N).

Echter, een opkomend paradigma, Latente Redenering (of Continuous CoT), voert redenering uit in een continue vectorruimte (verborgen staten) in plaats van in discrete tokens. Dit is efficiënter en compacter. Het grote probleem is dat bestaande TTS-methoden niet direct toepasbaar zijn op deze modellen vanwege twee fundamentele beperkingen:

Gebrek aan steekproefmechanismen: Latente modellen genereren continue vectoren zonder een expliciete kansverdeling (logits), waardoor standaard steekproefmethodes (zoals top-k of nucleus sampling) niet werken om diverse redeneerpaden te creëren.
Gebrek aan aggregatiemethoden: Zonder token-kansen is het moeilijk om de kwaliteit van verschillende latente trajecten te beoordelen en de beste te selecteren. Bestaande Process Reward Models (PRMs) zijn ontworpen voor tekst en kunnen geen abstracte vectorstaten evalueren.

2. Methodologie

De auteurs stellen een nieuw framework voor om parallelle TTS mogelijk te maken voor latente redeneringsmodellen door twee kerncomponenten te ontwikkelen: Stochastische Steekproefneming en Latente Trajectie-Aggregatie.

A. Stochastische Steekproefneming in de Latente Ruimte

Om diverse redeneerpaden te genereren zonder tokens, introduceren de auteurs twee strategieën gebaseerd op onzekerheidstheorie:

Monte Carlo Dropout (MC-Dropout):
- Doel: Het simuleren van epistemische onzekerheid (onzekerheid door beperkte modelkennis).
- Methode: Dropout wordt actief gehouden tijdens de inferentie. Door willekeurige maskers toe te passen op de modelgewichten bij elke forward pass, worden verschillende sub-netwerken gegenereerd, wat leidt tot diverse latente vectoren.
Additieve Gaussische Ruis (AGN):
- Doel: Het simuleren van aleatorische onzekerheid (ruis inherent aan de invoer).
- Methode: Onafhankelijke Gaussische ruis wordt direct toegevoegd aan de latente vectoren (gedachten) op elke stap van het redeneerproces. Dit creëert een gecontroleerde verstoring van het traject.

B. Latente Trajectie-Aggregatie (Latent Reward Model)

Omdat er geen natuurlijke scores zijn voor latente vectoren, ontwerpen de auteurs een Latent Reward Model (LatentRM).

Architectuur: Een extra scoring-head die wordt toegevoegd aan het latente redeneringsmodel. Deze neemt de invoer en de gegenereerde latente trajectie tot stap $t$ en voorspelt een scalar-score ( $r_t$ ).
Training: Het model wordt getraind met een stapsgewijze contrastieve doelstelling (step-wise contrastive objective). In plaats van elke gedachte onafhankelijk te labelen, worden de scores van alle $N$ kandidaat-gedachten op een bepaalde stap vergeleken via een softmax. Dit dwingt het model om relatieve kwaliteit te leren tussen concurrente redeneerpaden.
Aggregatiestrategieën:
- Best-of-N: Selectie van het traject met de hoogste cumulatieve score.
- Beam Search: Een zoekalgoritme geleid door LatentRM om de meest belovende paden te behouden.

3. Belangrijkste Bijdragen

Introductie van Parallelle TTS voor Latente Modellen: Het paper breidt de schaalbaarheid van inferentie uit van token-gebaseerde naar continue vector-gebaseerde redenering.
Oplossing voor Steekproefneming: Het voorstellen van MC-Dropout en AGN als effectieve, gecontroleerde methoden om stochastische variatie in continue ruimtes te introduceren, gebaseerd op onzekerheidstheorie.
Latent Reward Model: De ontwikkeling van een gespecialiseerde scorer die in staat is om abstracte latente gedachten te evalueren en te rangschikken, waardoor effectieve aggregatie mogelijk wordt zonder terug te vallen op tekstuele output.
Empirische Validatie: Uitgebreide experimenten tonen aan dat deze aanpak de prestaties van bestaande latente modellen (zoals COCONUT, CODI, CoLaR) significant verbetert zonder extra training van het basismodel.

4. Resultaten

De experimenten zijn uitgevoerd op benchmarks zoals GSM8K (wiskundige redenering), GSM8K-Hard, en MultiArith, met verschillende backbone-modellen (van GPT-2 tot Llama-3.2-1B en Qwen3-VL).

Schaalbaarheid: Zowel MC-Dropout als AGN tonen een monotoon stijgende dekking (coverage) naarmate het aantal gesamplede trajecten ( $N$ ) toeneemt. Dit bewijst dat latente redenering effectief kan schalen met meer rekenkracht.
Vergelijking Steekproefmethodes:
- MC-Dropout presteert over het algemeen beter op moeilijkere taken en biedt een gestructureerde, gerichte expansie naar ongebruikelijke oplossingen.
- AGN biedt bredere, isotrope exploratie en behoudt robuustheid bij hoge ruisniveaus, wat ideaal is voor het behoud van diversiteit.
- Er is een "sweet spot" gevonden voor diversiteit: te weinig of te veel variatie schaadt de prestaties.
Aggregatie: De Best-of-N strategie, geleid door LatentRM, presteert consistent beter dan meerderheidsstemming (Majority Voting) en benadert de prestaties van Beam Search. LatentRM slaagt erin om veelbelovende trajecten te onderscheiden van minder goede.
Generalisatie: De methode werkt effectief op verschillende modelgroottes (tot 4B parameters) en op moeilijkere benchmarks (zoals MATH500), hoewel de absolute prestaties beperkt blijven door de grootte van de gebruikte basismodellen.
Efficiëntie: Latente redenering met TTS behoudt een significant lagere rekentijd (in wall-clock tijd) vergeleken met expliciete CoT, zelfs bij parallelle sampling.

5. Betekenis en Toekomst

Dit werk opent een nieuwe richting voor schaalbare inferentie in continue ruimtes. Het bewijst dat de voordelen van parallelle test-time scaling (meer rekenkracht = betere resultaten) niet afhankelijk zijn van de discrete aard van taal, maar ook van toepassing zijn op abstracte, vector-gebaseerde redenering.

Toekomstige richtingen die door de auteurs worden genoemd:

Integratie van steekproefneming en aggregatie in een Versterkingsleer (RL) framework voor iteratieve optimalisatie.
Het aanpassen van ensemble-technieken specifiek voor continue latente representaties.

Samenvattend biedt dit paper een fundamentele oplossing voor de beperkingen van latente redenering, waardoor deze paradigma's concurrerend worden met expliciete CoT-methoden in termen van schaalbaarheid en prestaties, terwijl ze hun inherente efficiëntie behouden.