💬 NLP

LatentRevise: Learning from Zero-Hit Reasoning

LatentRevise adressiert den Sampling-Engpass beim Reinforcement Learning mit verifizierbaren Belohnungen, indem es die Eingabe-Embeddings fehlgeschlagener Reasoning-Präfixe hin zu Gold-Antworten optimiert und dadurch informative selbstreflexive Trajektorien erzeugt, die die Modellleistung auf Mathematik-Benchmarks verbessern.

Ursprüngliche Autoren: Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Schüler vor, wie man eine sehr knifflige Matheaufgabe löst. Sie geben ihm eine Aufgabe, und er versucht, sie zu lösen. Aber egal wie oft er es versucht (sagen wir 32 Mal), er liegt jedes einzelne Mal falsch.

In der Welt des KI-Trainings nennt man dies ein „Zero-Hit“-Szenario. Die KI ist komplett gescheitert.

Das Problem: Die „Sackgasse“

Normalerweise wirft das Trainingssystem bei einem solchen massiven Scheitern die Hände in die Unordnung. Es sagt: „Nun, da keiner der 32 Versuche richtig war, gibt es hier keine nützliche Lektion. Ignorieren wir dieses Problem einfach und gehen zum nächsten über.“

Dieses Paper argumentiert, dass dies ein Fehler ist. Diese „Sackgassen“ sind eigentlich Goldminen. Die KI kann das Problem lösen, sie hat nur innerhalb ihrer begrenzten Versuche noch nicht den richtigen Weg gefunden. Das Paper nennt dies die „Sampling Frontier“ (die Stichproben-Grenze) – den Rand dessen, was die KI derzeit erreichen kann.

Die Lösung: „LatentRevise“ (Die magische Bearbeitung)

Die Autoren führen eine Methode namens LatentRevise ein. Anstatt die KI zu bitten, es einfach besser zu versuchen oder einen „Superlehrer“ zu engagieren, der ihr die Antwort zeigt, erlaubt LatentRevise der KI, ihre eigenen Fehler zu korrigieren, indem sie ihre Gedanken bearbeitet, bevor sie diese fertig geschrieben hat.

So funktioniert es, erklärt durch eine einfache Analogie:

1. Der fehlerhafte Entwurf

Die KI beginnt, eine Geschichte (die Lösung) zu schreiben. Sie gerät in eine Logikfalle und schreibt ein falsches Ende.

Der alte Weg: Den gesamten Entwurf in den Müll werfen.
Der LatentRevise-Weg: Die KI unterbrechen. Behalten Sie den Anfang der Geschichte (den „Reasoning Prefix“) bei, aber erkennen Sie, dass der Pfad, auf dem sie sich befindet, zu einer Klippe führt.

2. Die „Geister“-Bearbeitung

Anstatt die KI zu bitten, eine neue Geschichte von Grund auf neu zu generieren, geht LatentRevise in das „Gehirn“ der KI (ihren internen mathematischen Raum, oder Latent Space) und verändert die ersten paar Wörter ihres Denkprozesses.

Denken Sie an ein GPS. Die KI fährt und ist falsch abgebungen.

Standard-KI: Fährt weiter, bis sie eine Sackgasse erreicht, und versucht es dann von vorn.
LatentRevise: Das GPS erkennt, dass die aktuelle Route zum Scheitern verurteilt ist. Es sagt dem Fahrer nicht einfach nur „versuch es besser“; es verschiebt die Startkoordinaten der Route ganz subtil genau so viel, dass das Auto natürlich in das richtige Ziel steuert, ohne zu verunglücken.

3. Die drei Regeln der Bearbeitung

Um sicherzustellen, dass diese „Geister-Bearbeitung“ die KI nicht in eine Maschine für Kauderwelsch verwandelt, nutzt das Paper drei spezifische Regeln (Gradienten):

Weg von dem Fehler drücken: „Gehe nicht den Pfad, den du gerade genommen hast, der zur falschen Antwort führte.“
Hin zur Wahrheit ziehen: „Steuere sanft in Richtung der korrekten Endantwort (von der wir wissen, dass sie richtig ist).“
Natürlich bleiben: „Sorge dafür, dass der neue Pfad immer noch wie normale menschliche Sprache klingt, nicht wie Roboter-Rauschen.“

4. Das Sicherheitsnetz (Der „Vocabulary Hull“)

Dies ist ein entscheidendes technisches Detail, vereinfacht dargestellt: Wenn man die interne Mathematik der KI verändert, besteht das Risiko, einen „Gedanken“ zu erzeugen, der keinerlei realem Wort entspricht (wie eine Farbe, die nicht existiert).

LatestRevise besitzt eine Sicherheitsbarriere. Es erzwingt, dass jede winzige Änderung innerhalb der „Nachbarschaft“ realer Wörter bleibt, die die KI bereits kennt. Stellen Sie sich vor, Sie stellen Möbel in einem Raum um. Sie können das Sofa bewegen, aber Sie können es nicht in eine schwebende Wolke verwandeln. Es muss ein echtes Möbelstück bleiben. Dies stellt sicher, dass die neuen Gedanken der KI weiterhin verständlich sind.

Das Ergebnis: Müll in Gold verwandeln

Nach dieser „Bearbeitung“ lässt die KI die Geschichte erneut ablaufen. Dieses Mal, weil der Ausgangsgedanke leicht angepasst wurde, wird die KI:

Einen anderen Pfad einschlagen.
Oft innehalten und sagen: „Moment, lass mich das kurz überdenken“ (Selbstreflexion).
Schließlich bei der korrekten Antwort ankommen.

Das Paper zeigt, dass diese „wiederhergestellten“ Geschichten unglaublich wertvoll sind. Wenn die KI mit diesen neu geretteten Beispielen trainiert wird, wird sie wesentlich besser darin, schwierige Matheaufgaben zu lösen – sogar solche, bei denen sie zuvor zu 100 % versagt hat.

Warum es besser ist als nur „mehr versuchen“

Man könnte denken: „Warum lassen wir die KI nicht einfach 100 Mal versuchen statt 32 Mal?“

Mehr versuchen ist teuer und langsam. Es ist, als würde man einen Schüler bitten, 100 Aufsätze zu schreiben, in der Hoffnung, dass einer davon richtig ist.
LatentRevise ist wie ein kluger Lektor, der den ersten Entwurf korrigiert, sodass der Schüler nur einen einzigen guten Aufsatz schreiben muss. Es liefert bessere Ergebnisse mit weniger Rechenleistung.

Kurz gesagt: LatentRevise lehrt die KI, dass Scheitern nicht das Ende bedeutet. Indem sie ihre anfänglichen Gedanken leise bearbeitet, kann die KI den verborgenen, korrekten Pfad in Problemen finden, die sie zuvor für unlösbar hielt.

Technisches Resümee: LatentRevise: Lernen aus dem Zero-Hit-Regime

1. Problemstellung: Das Zero-Hit-Regime in RLVR

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich zu einem Standardansatz zur Verbesserung des Denkvermögens von Sprachmodellen entwickelt. Es steht jedoch vor einem grundlegenden Flaschenhals, der als Zero-Hit-Regime bekannt ist. In diesem Szenario wird ein Prompt präsentiert, bei dem die aktuelle Policy nicht in der Lage ist, innerhalb eines praktischen Sampling-Budgets eine einzige korrekte Trajektorie zu generieren (d. h. $pass@N = 0$).

Standardmäßige RLVR-Algorithmen, wie etwa Group Relative Policy Optimization (GRPO), verlassen sich auf gruppen-normalisierte Advantages für das Update der Policy. Wenn alle im einer Gruppe gesampelten Trajektorien fehlschlagen, erhalten sie identische Belohnungen (typischerweise null oder negativ). Folglich entspricht der Gruppenmittelwert den individuellen Belohnungen, was dazu führt, dass der normalisierte Advantage gegen Null kollabiert. Dies führt zu einem Mangel an konstruktiven Gradientensignalen und verwirft diese „schwierigen“ Prompts effektiv als unlernbaren Rauschen.

Existierende Lösungsansätze versuchen dies zu adressieren durch:

Erhöhung des Sampling-Budgets: Erhöhung von $N$ oder der Decoding-Temperatur, was rechenintensiv ist und dennoch rein ergebnisorientiert bleibt (es fehlt die Vermittlung zwischenzeitlicher Schritte).
On-Policy-Distillation: Verwendung eines Lehrer-Modells oder privilegierter Informationen, um Token-Level-Targets bereitzustellen. Diese Methoden verlassen sich jedoch auf externe Anleitung, die schwach, nicht abgestimmt oder nicht verfügbar sein kann, wenn das Schüler-Modell bereits Schwierigkeiten hat.

Das Kernproblem besteht darin, dass diese Zero-Hit-Prompts oft an der „Sampling-Frontier“ liegen, an der neue Denkverhalten am dringendsten benötigt werden, die Standard-Pipelines jedoch nicht von ihnen lernen können, da ihnen ein positives Signal fehlt.

2. Methodik: LatentRevise

Die Autoren schlagen LatentRevise vor, eine First-Order-Latent-Revisionsmethode, die darauf ausgelegt ist, Trainingssignale aus fehlgeschlagenen Rollouts zu gewinnen, ohne externe Lehrer-Modelle oder Referenzspuren zu benötigen. Anstatt eine fehlgeschlagene Trajektorie zu verwerfen, behandelt LatentRevise sie als informative Spur und optimiert die Input-Embeddings des Modells für den Reasoning-Präfix im kontinuierlichen latenten Raum.

Kern-Pipeline

Input: Ein fehlgeschlagenes Rollout $y_{fail} = [r; c]$ , wobei $r$ das Reasoning-Präfix und $c$ die fehlgeschlagene Fortsetzung ist, zusammen mit der Gold-Antwort $y_{GT}$ .
Freeze & Optimize: Die Modellparameter $\theta$ werden eingefroren. Die Input-Embeddings des Reasoning-Präfixes, $E_r$ , werden optimiert, um die Trajektorie von dem Fehler weg und hin zur Lösung zu verschieben.
Kompositorisches Ziel: Die Optimierung minimiert einen Gesamtverlust $L_{total}$ $L_{t o t a l}$ , der aus drei Termen besteht:
- Latent Exploration Loss ( $L_{explore}$ ): Ein repulsives Signal, das die Wahrscheinlichkeit minimiert, die ursprüngliche fehlgeschlagene Fortsetzung $c$ zu reproduzieren. Dies ermutigt den latenten Zustand, alternative Pfade zu explorieren.
- Latent Guidance Loss ( $L_{guide}$ ): Ein führendes Signal, das die Wahrscheinlichkeit maximiert, die Gold-Antwort $y_{GT}$ zu generieren (bedingt auf ein festes Antwort-Template). Dies verankert die Revision in Richtung der korrekten Lösung.
- Language Fluency Prior ( $L_{NLL}$ ): Ein Regularisierungsterm, der die Negative Log-Likelihood der ursprünglichen Reasoning-Token $r$ beibehält. Dies stellt sicher, dass das optimierte Latent semantisch kohärent bleibt und nicht in adversarielles Rauschen abdriftet.
Manifold-Constraint (Frank-Wolfe): Um zu verhindern, dass die kontinuierlichen Embeddings in einen uninterpretierbaren Feature-Raum driften (in dem das Modell „schummeln“ könnte, indem es Antworten in beliebige Vektoren kodiert), wird die Optimierung auf das konvexe Hull der Modell-Vokabular-Embeddings beschränkt. Dies wird durch den Frank-Wolfe-Algorithmus (Conditional Gradient) erreicht. Bei jedem Schritt ist das Update eine konvexe Kombination des aktuellen Embeddings und des optimalen Vertex (Vokabular-Token), der die lineare Approximation des Verlusts minimiert.
Diskrete Rekonstruktion: Das optimierte weiche Präfix $E^*_r$ wird via Nearest-Neighbor-Suche gegen die Vokabular-Matrix zurück in diskrete Token projiziert. Eine neue Fortsetzung wird autoregressiv dekodiert. Wenn die resultierende Trajektorie den Verifizierer besteht, wird sie als überwachtes Datenmaterial beibehalten oder in RL-Gruppen injiziert.

3. Wichtige Beiträge

Das Paper skizziert drei primäre Beiträge:

Reframing der Zero-Hit-Frontier: Die Autoren identifizieren Zero-Hit-Prompts nicht als unlernbare Ausreißer, sondern als eine rekonstruierbare Frontier. Sie zeigen, dass valide Trainingssignale algorithmisch aus diesen Fehlern unter Verwendung des eigenen latenten Raums des Modells gewonnen werden können.
LatentRevise-Algorithmus: Ein neuartiges First-Order-Latent-Revisions-Framework, das fehlgeschlagene Rollouts in erfolgreiche verwandelt. Entscheidend ist, dass es ohne externe Lehrer-Verteilungen oder privilegierte Spuren auskommt und stattdessen auf die Gold-Antwort und die eigene fehlgeschlagene Fortsetzung des Modells zurückgreift, um dichte, positionsweise Korrektursignale zu generieren.
Empirische Validierung: Die rekonstruierten Trajektorien erweisen sich als hochgradig wertvolle Trainingsdaten. Sie verbessern sowohl $pass@1$ als auch $pass@k$ bei mathematischen Reasoning-Benchmarks, insbesondere in Szenarien, in denen Standard-RL und größere Sampling-Budgets keine Verbesserungen erzielen konnten.

4. Experimentelle Ergebnisse

Die Methode wurde auf DAPO-Math-14K unter Verwendung von Qwen2.5-1.5B-Instruct und Qwen3-8B-Base Modellen über Benchmarks wie MATH500, AIME 24/25, AMC 23, OlympiadBench und Minerva Math evaluiert.

Zero-Hit-Regime (DAPO-Hard): Auf der Teilmenge der Abfragen, bei denen das Basismodell ein $pass@32 = 0$ erreichte (ca. 46 % des Datensatzes für das kleinere Modell), lieferte Standard-GRPO aufgrund kollabierter Advantages kaum Verbesserungen. LatentRevise, angewendet zur Generierung von SFT-Daten oder injiziert in RL-Gruppen, übertraf die Baselines signifikant.
- Für Qwen2.5-1.5B erreichte GRPO+Ours ein durchschnittliches $pass@32$ von 53,51 %, verglichen mit 44,84 % für Standard-GRPO und 50,69 % für GRPO mit einer verdoppelten Rollout-Gruppe ( $N=16$ ).
- Bemerkenswerterweise übertraf die Methode OPSD (On-Policy Self-Distillation), die auf einem Lehrer basiert, der auf die Gold-Antwort konditioniert ist, was darauf hindeutet, dass die interne latente Optimierung von LatentRevise in diesem Regime effektiver ist als die Hindsight-Lehrer-Konditionierung.
Vollständiger Datensatz (DAPO-Full): Bei Anwendung auf die gesamte Trainingsverteilung (Mischung aus einfachen und schweren Prompts) übertraf LatentRevise weiterhin GRPO, DAPO und Baselines mit größeren Rollout-Größen, wobei die signifikantesten Gewinne bei höheren $k$ -Werten ($pass@32$) beobachtet wurden.
Effizienz: LatentRevise verursachte einen geringeren Rechenaufwand als die bloße Verdoppelung der Rollout-Gruppengröße ( $N=16$ ). Es fügte ca. 24 % Trainingszeit und ca. 3 % Speicherbedarf gegenüber Standard-GRPO ( $N=8$ ) hinzu, während die Verdoppelung der Gruppengröße die Zeit um ca. 66 % und den Speicher um ca. 14 % erhöhte.
Qualitative Analyse: Die revidierten Trajektorien zeigten eine erhöhte Länge und explizite Marker für Selbstreflexion (z. B. „Wait, let me reconsider“), was darauf hindeutet, dass die Methode Fehlerkorrektur-Verhaltensweisen offenlegt, die durch diskretes Sampling selten erreicht werden.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass LatentRevise eine komplementäre Achse für Reasoning-RL bietet. Wenn das Token-Level-Sampling seine endliche Budget-Frontier erreicht, kann eine First-Order-Revision im eigenen latenten Raum des Modells fehlgeschlagene Rollouts in verifizierte Supervision verwandeln.

Die Autoren stellen fest, dass:

Zero-hit-Prompts wertvoll sind: Sie sind nicht bloß Rauschen, sondern repräsentieren eine hochgradig wertvolle Trainings-Frontier. Einmal revidiert, liefern sie Signale, die die Lösungskovarianz des Modells erweitern.
Interne Rekonstruktion praktikabel ist: Ein Modell kann aus seinen eigenen Fehlern lernen, ohne einen stärkeren Lehrer oder externe Referenzspuren zu benötigen, sofern die Optimierung auf das Vokabular-Manifold beschränkt ist.
Effizienz: Die Gewinnung von Signalen aus fehlgeschlagenen Rollouts ist recheneffizienter als eine Brute-Force-Erweiterung des Samplings, insbesondere wenn Modellskalierung und Reasoning-Ketten länger werden.

Die Arbeit legt nahe, dass die Grenze des Sampling-basierten Trainings bei immer schwieriger werdenden Reasoning-Aufgaben nicht nur durch mehr Sampling, sondern durch die Revision dessen, was bereits gesampelt wurde, verschoben werden kann – wodurch die „Sackgassen“ der aktuellen Policy in eine Quelle für Curriculum und Trainingssignale verwandelt werden.