💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

Diese Arbeit ermöglicht paralleles Test-Time-Scaling für latente Reasoning-Modelle, indem sie stochastische Sampling-Strategien und ein latentes Reward-Modell zur Aggregation kontinuierlicher Reasoning-Pfade einführt, um die Skalierbarkeit von Large Language Models auch ohne diskrete Chain-of-Thought zu verbessern.

Ursprüngliche Autoren: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧠 Das Problem: Der "stille Denker"

Stell dir vor, du hast einen sehr klugen Roboter (ein großes Sprachmodell), der komplexe Matheaufgaben löst.

Der alte Weg (Token-basiert): Der Roboter denkt laut mit. Er schreibt jeden einzelnen Schritt auf einen Zettel: "Zuerst addiere ich 2 und 3, dann multipliziere ich..." Das ist wie ein Schüler, der seine Hausaufgaben laut vor sich hin murmelt. Das funktioniert gut, ist aber langsam und viel Papier wird verschwendet.
Der neue Weg (Latentes Denken): Der Roboter hat gelernt, im "Stillen" zu denken. Er denkt nicht in Wörtern, sondern in unsichtbaren, mathematischen Gedankenblitzen (Vektoren). Das ist viel schneller und effizienter, wie wenn du im Kopf rechnest, ohne alles aufzuschreiben.

Das Dilemma:
Bei der "lauten" Methode können wir den Roboter einfach bitten: "Denk 100 Mal nach und nimm das beste Ergebnis." Das nennt man Parallel Test-Time Scaling.
Aber beim "stillen Denken" gibt es ein Problem: Da keine Wörter entstehen, kann der Roboter nicht einfach "zufällig" 100 verschiedene Denkwege ausprobieren. Er läuft immer den gleichen, geraden Pfad. Und wenn dieser eine Pfad falsch ist, ist die ganze Rechnung falsch.

💡 Die Lösung: "Denkvielfalt" und ein "Gute-Denker-Meter"

Die Autoren dieser Arbeit haben nun zwei geniale Tricks entwickelt, damit der stille Roboter auch von dieser "Mehrfach-Denk"-Methode profitieren kann.

1. Trick A: Den Zufall ins Spiel bringen (Sampling)

Damit der Roboter nicht immer nur denselben Gedankenweg geht, müssen wir ihn ein bisschen "verwirren" oder "schütteln", damit er neue Wege findet. Die Forscher nutzen dafür zwei Methoden:

Der "Zufalls-Verwirrer" (Monte Carlo Dropout):
Stell dir vor, der Roboter hat ein Gehirn mit vielen kleinen Schaltern. Normalerweise sind alle an. Bei dieser Methode schalten wir bei jedem Denkversuch zufällig ein paar Schalter aus.
- Die Analogie: Es ist wie ein Team von Architekten, die alle den gleichen Plan haben, aber bei jedem Entwurf schließt zufällig ein Fenster zu oder eine Tür fehlt. Dadurch entstehen 100 leicht unterschiedliche Gebäudeentwürfe. Manche sind verrückt, manche genial.
- Ergebnis: Dieser Trick ist besonders gut für schwierige Aufgaben, weil er den Roboter zwingt, unkonventionelle, kreative Wege zu suchen, die er sonst nie gefunden hätte.
Der "Wackel-Kopf" (Additive Gaussian Noise):
Hier fügen wir dem Gedanken des Roboters ganz einfach ein kleines, zufälliges Rauschen hinzu.
- Die Analogie: Stell dir vor, der Roboter läuft auf einem geraden Pfad. Wir geben ihm aber bei jedem Schritt einen kleinen, zufälligen Stoß zur Seite. Er läuft nicht mehr perfekt gerade, sondern wackelt ein bisschen um den Pfad herum.
- Ergebnis: Das ist wie ein breites Suchen. Der Roboter deckt den Bereich um die richtige Lösung herum sehr gut ab. Das ist super für einfache Aufgaben, bei denen die Lösung nah am "Normalweg" liegt.

2. Trick B: Der "Gute-Denker-Meter" (Latent Reward Model)

Jetzt haben wir 100 verschiedene Denkwege (die "verwirrten" und die "gewackelten"). Aber welcher ist der richtige? Bei der lauten Methode könnten wir einfach die Wörter zählen. Beim stillen Denken gibt es keine Wörter.

Dafür haben die Forscher einen Spezial-Richter (den Latent Reward Model) gebaut.

Die Analogie: Stell dir vor, der Roboter denkt in 100 parallelen Universen. Der Spezial-Richter ist wie ein erfahrener Coach, der in jedes dieser Universen schaut und bei jedem einzelnen Schritt sagt: "Hey, dieser Gedanke hier sieht vielversprechend aus!" oder "Nein, dieser Weg führt in eine Sackgasse."
Der Richter bewertet nicht das Endergebnis, sondern jeden einzelnen Schritt auf dem Weg dorthin. So kann er die 100 Denkwege sortieren und den besten auswählen.

🚀 Was bringt das alles?

Wenn man diese beiden Tricks kombiniert, passiert Magie:

Der Roboter denkt jetzt nicht nur einmal, sondern parallel in vielen Varianten.
Der Spezial-Richter filtert die besten Wege heraus.
Das Ergebnis: Der Roboter wird deutlich besser in Mathe und Logik, ohne dass man ihn neu programmieren oder trainieren muss. Er nutzt einfach mehr Rechenzeit beim Denken, um die richtige Antwort zu finden.

Zusammenfassend:
Die Forscher haben einem stillen Denker beigebracht, wie man "laut" denkt, ohne wirklich laut zu werden. Sie haben ihm erlaubt, sich in viele parallele Versionen aufzuspalten (durch Zufall und Wackeln) und ihm einen Richter an die Seite gestellt, der die besten Ideen auswählt. Das macht künstliche Intelligenz schlauer, schneller und effizienter.

Titel: Parallel Test-Time Scaling for Latent Reasoning Models

Veröffentlicht: ACL 2026 Main Conference
Autoren: Runyang You, Yongqi Li (Korrespondenz), Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

1. Problemstellung

Test-Time Scaling (TTS) ist eine etablierte Methode zur Leistungssteigerung von Large Language Models (LLMs), bei der mehr Rechenleistung während der Inferenz genutzt wird, um bessere Ergebnisse zu erzielen. Bei herkömmlichen, token-basierten Modellen geschieht dies oft durch paralleles Generieren mehrerer „Chain-of-Thought" (CoT)-Pfade und deren Aggregation (z. B. durch Mehrheitsvoting oder Best-of-N).

Latente Reasoning-Modelle (Continuous CoT) stellen einen vielversprechenden Ansatz dar, bei dem die Zwischenschritte des Denkens nicht als diskrete Text-Token, sondern als kontinuierliche Vektoren im versteckten Raum des Modells generiert werden. Dies ist effizienter und kompakter als explizites CoT.

Das zentrale Problem: Die Übertragung von parallelem TTS auf latente Reasoning-Modelle ist bisher nicht möglich, da zwei fundamentale Hürden bestehen:

Fehlende Sampling-Mechanismen: Token-basierte Modelle nutzen Wahrscheinlichkeitsverteilungen über dem Vokabular für Sampling-Strategien (wie Top-k oder Nucleus Sampling). Latente Modelle operieren jedoch in einem kontinuierlichen Vektorraum ohne explizite Wahrscheinlichkeitsverteilung, was ein stochastisches Generieren mehrerer Denkpfade erschwert.
Fehlende Aggregations-Signale: Bei Token-basierten Ansätzen können Pfade basierend auf Log-Likelihoods bewertet werden. Latente Pfade haben keine inhärenten Wahrscheinlichkeiten oder Schritt-für-Schritt-Scores, was eine Bewertung und Auswahl der besten Pfade (Aggregation) unmöglich macht.

2. Methodik

Die Autoren schlagen ein Framework vor, das diese Lücken schließt, indem sie neue Sampling- und Aggregationsstrategien für den kontinuierlichen Raum entwickeln.

A. Stochastisches Sampling im latenten Raum

Um Diversität in den generierten Denkpfaden zu erzeugen, führen die Autoren zwei unsicherheitsbasierte Strategien ein, die auf der Theorie der Unsicherheitsschätzung (Uncertainty Estimation) basieren:

Monte Carlo Dropout (MC-Dropout):
- Ziel: Erfassung der epistemischen Unsicherheit (Unsicherheit aufgrund des begrenzten Wissens des Modells).
- Mechanismus: Dropout wird während der Inferenz aktiviert. Durch das zufällige Maskieren von Gewichten in den Transformer-Blöcken entstehen bei jedem Durchlauf leicht unterschiedliche Subnetzwerke. Dies führt zu verschiedenen latenten Vektoren für denselben Eingabekontext.
Additive Gaussian Noise (AGN):
- Ziel: Simulation der aleatorischen Unsicherheit (inhärente Rauschen in den Eingaben).
- Mechanismus: Es wird isotropes Gaußsches Rauschen ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) direkt zu den latenten Denkvektoren an jedem Schritt hinzugefügt. Das Modell führt die Inferenz dann auf dem gestörten Pfad fort.

B. Latent Trajectory Aggregation (LatentRM)

Da latente Pfade keine natürlichen Scores haben, wird ein spezielles Latent Reward Model (LatentRM) eingeführt.

Architektur: Ein Scoring-Head, der auf dem latenten Reasoning-Backbone aufsetzt und einen skalaren Score $r_t$ für jeden latenten Denkzustand $h_t$ ausgibt.
Training: Das Modell wird mit einem schrittweisen kontrastiven Ziel (step-wise contrastive objective) trainiert. Anstatt binäre Labels zu verwenden, werden die Scores aller $N$ Kandidatenpfade an einem bestimmten Schritt $t$ verglichen (Softmax über die Kandidaten). Dies ermöglicht eine feinkörnige Bewertung, welcher Pfad an dieser Stelle vielversprechender ist.
Aggregationsstrategien:
- Best-of-N: Auswahl des Pfades mit der höchsten kumulativen Summe der LatentRM-Scores.
- Beam Search: Erweiterung des Suchraums basierend auf den LatentRM-Scores.

3. Schlüsselbeiträge

Erstmalige Einführung von parallelem TTS für latente Reasoning-Modelle: Die Arbeit überträgt eine Schlüssel-Skalierungsfähigkeit, die bisher nur token-basierten Paradigmen vorbehalten war, auf den kontinuierlichen Raum.
Lösung des Sampling-Problems: Entwicklung von MC-Dropout und AGN als komplementäre Strategien, um kontrollierte und informative Stochastizität im latenten Raum zu erzeugen.
Entwicklung des LatentRM: Ein dedizierter Scorer, der durch kontrastives Lernen trainiert wird, um latente Denkpfade zu bewerten und zu leiten, was eine effektive Aggregation ohne Token-Wahrscheinlichkeiten ermöglicht.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente auf Benchmarks wie GSM8K, GSM8K-Hard und MultiArith durch, unter Verwendung verschiedener Backbones (COCONUT, CODI, CoLaR, Latent-SFT, Render-of-Thought).

Skalierbarkeit: Beide Sampling-Strategien (MC-Dropout und AGN) zeigen eine monotone Leistungssteigerung mit zunehmender Anzahl der gesampelten Pfade ( $N$ ).
Vergleich der Sampling-Strategien:
- MC-Dropout führt zu einer strukturierten, gerichteten Exploration und erzielt in den meisten Fällen die höchste Abdeckung (Coverage), besonders bei schwierigen Aufgaben.
- AGN erzeugt eine breitere, isotrope Exploration. Es ist robuster bei hoher Stochastizität, kann aber bei schwierigen Aufgaben etwas weniger präzise sein als MC-Dropout.
- Diversität vs. Abdeckung: Es gibt einen „Sweet Spot" für die Diversität. Zu wenig Diversität führt zu redundanten Pfaden, zu viel (besonders bei MC-Dropout) kann die Lösungsqualität beeinträchtigen. AGN behält die Qualität auch bei hoher Diversität besser bei.
Aggregationsergebnisse:
- Die Nutzung von LatentRM für Best-of-N und Beam Search übertrifft das nicht-parametrische Mehrheitsvoting (Majority Voting) signifikant.
- Best-of-N erwies sich als die effektivste Methode für latentes TTS.
- Die Leistungsgewinne sind besonders auf MultiArith und GSM-Hard ausgeprägt, was die Generalisierungsfähigkeit des gelernten Scorers unterstreicht.
Generalisierung: Das Framework skaliert erfolgreich auf größere Modelle (bis zu 4B Parameter, z. B. RoT-4B) und komplexe mathematische Aufgaben (MATH500).

5. Bedeutung und Ausblick

Diese Arbeit ist ein Meilenstein für die Weiterentwicklung von LLMs, da sie zeigt, dass latentes Reasoning nicht nur effizienter als explizites CoT ist, sondern auch die Vorteile von Test-Time Scaling voll ausschöpfen kann.

Effizienz: Latente Modelle erreichen vergleichbare oder bessere Genauigkeit bei deutlich geringerem Rechenaufwand (weniger Inferenz-Schritte) im Vergleich zu explizitem CoT.
Neue Richtung: Die Arbeit öffnet einen neuen Weg für skalierbare Inferenz in kontinuierlichen Räumen, der nicht von der diskreten Token-Struktur abhängig ist.
Zukünftige Arbeiten: Die Autoren schlagen vor, Sampling und Aggregation in ein Reinforcement-Learning-Framework zu integrieren und Ensemble-Techniken weiter für latente Repräsentationen zu adaptieren.

Zusammenfassend beweist das Paper, dass durch die Neugestaltung von Sampling und Aggregation latente Reasoning-Modelle die Skalierungsvorteile des parallelen Test-Time Computing nutzen können, was zu robusteren und effizienteren KI-Systemen führt.