💻 computer science

REVES: REvision and VErification--Augmented Training for Test-Time Scaling

Das Papier schlägt REVES vor, ein zweistufiges iteratives Framework, das das Training durch die Umwandlung von intermediären „Beinahe-Fehlversuch“-Schritten aus erfolgreichen Erholungs-Trajektorien in entkoppelte Revisions- und Verifikations-Prompts erweitert, wodurch effizientes Off-Policy-Lernen ermöglicht wird, das Standard-Multi-Turn-RL und evolutionäre Suchmethoden bei Coding-, mathematischen und Constraint-Satisfaction-Aufgaben signifikant übertrifft.

Ursprüngliche Autoren: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum der „erste Versuch“ nicht ausreicht

Stellen Sie sich vor, Sie machen eine schwierige Prüfung. Die meisten Menschen bekommen die Antwort beim allerersten Versuch nicht richtig. Stattdessen denken sie: „Warte, das scheint nicht zu stimmen“, kontrollieren ihre Arbeit, finden einen Fehler und versuchen es erneut.

Aktuelle KI-Modelle (Large Language Models) sind großartig darin, Fragen zu beantworten, aber sie werden oft als „One-Shot“-Denker trainiert. Man bringt ihnen bei, sofort ihre beste Antwort zu geben und dann aufzuhören. Das Problem ist, dass diese Modelle, wenn sie in der realen Welt eingesetzt werden, oft ihre Antworten basierend auf Feedback überarbeiten müssen (wie etwa ein Compiler-Fehler beim Programmieren oder eine Logikprüfung in der Mathematik).

Die Autoren dieser Arbeit argumentieren, dass man ein Modell nicht zu einem guten „Revidierer“ macht, wenn man es darauf trainiert, ein „One-Shot-Genie“ zu sein. Man kann jemanden nicht lehren, ein großartiger Editor zu sein, wenn man ihm nur Tests gibt, bei denen er den Aufsatz im ersten Anlauf perfekt schreiben muss.

Das Problem: Der „blinde“ Coach

Die Arbeit weist auf einen Fehler in der Art und Weise hin, wie wir KIs derzeit trainieren, ihre Arbeit zu revidieren.

Die Analogie: Der Marathonläufer
Stellen Sie sich vor, Sie trainieren einen Läufer für einen Marathon.

Standardmäßiges Training: Sie lassen den Läufer die vollen 26 Meilen laufen. Wenn er ankommt, geben Sie ihm eine Trophäe. Wenn er bei Meile 10 stolpert, weitermacht und schließlich ankommt, geben Sie ihm trotzdem die Trophäe.
Der Fehler: Der Läufer denkt: „Großartig! Das Stolpern bei Meile 10 war Teil der Gewinnstrategie!“ Er lernt nicht, dass das Stolpern ein Fehler war. Er weiß nur, dass das Endergebnis gut war.

In der Welt der KI nennt man das „Trajectory-level Credit“ (Anrechnung auf Ebene des Pfades). Wenn ein Modell drei falsche Vermutungen anstellt und dann beim vierten Versuch die richtige Antwort liefert, gibt das Standardtraining „Credit“ (Anrechnung) für alle drei falschen Vermutungen, weil sie Teil des Weges zum Erfolg waren. Dies verwirrt das Modell.

Die Lösung: REVES (Der „Drill Sergeant“-Ansatz)

Die Autoren schlagen eine neue Methode namens REVES vor. Anstatt den gesamten Lauf zu betrachten, brechen sie ihn in einzelne Schritte herunter.

Die Analogie: Das Sporttraining
REVES verändert das Training von „Laufe die ganze Strecke“ zu „Übe spezifische Übungen (Drills)“.

Den Fehler erkennen: Die KI versucht, ein Problem zu lösen. Sie bleibt stecken oder macht einen „Beinahe-Fehler“ (fast richtig, aber falsch).
Stoppen und Isolieren: Anstatt die KI einfach weiterlachen zu lassen, um zu sehen, ob sie am Ende durch Glück Erfolg hat, stoppt REVES den Prozess genau an dieser Stelle.
Die zweiteilige Übung:
- Die Revisions-Übung (Revision Drill): Der KI wird der Fehler gezeigt und sie wird gefragt: „Wie korrigierst du diesen spezifischen Fehler?“
- Die Verifizierungs-Übung (Verification Drill): Der KI wird der Fehler gezeigt und sie wird gefragt: „Ist diese Antwort korrekt oder inkorrekt? Warum?“

Dadurch lernt die KI zwei unterschiedliche Fähigkeiten:

Wie man einen spezifischen Fehler behebt (Revision).
Wie man einen Fehler erkennt (Verification).

Wie es funktioniert (Der Zwei-Stufen-Zyklus)

Die Arbeit beschreibt einen Zyklus, der sich immer wiederholt:

Stufe 1: Die Simulation (Datenaugmentation)
Die KI versucht, viele Probleme zu lösen. Wenn sie nach einigen Versuchen erfolgreich ist, speichert das System die „Beinahe-Fehler“-Momente ab. Es verwandelt diese Momente in neue Übungsfragen: „Hier ist eine falsche Antwort; korrigiere sie“ und „Hier ist eine falsche Antwort; sage mir, dass sie falsch ist.“
Stufe 2: Das Training (Single-Turn RL)
Die KI wird mit diesen neuen Übungsfragen unter Verwendung von Standard-Methoden des einfachen Trainings trainiert. Sie lernt, Fehler zu beheben und zu erkennen.
Wiederholung: Die KI wird besser, wodurch die „Beinahe-Fehler“ schwieriger werden. Das System generiert neue, schwierigere Übungen, und der Zyklus setzt sich fort.

Die Ergebnisse: Was haben sie herausgefunden?

Die Autoren testeten dies bei drei Hauptarten von Herausforderungen:

Programmierung (Coding): Die KI musste Computerprogramme schreiben. REVES half ihr, Bugs viel besser zu beheben als bisherige Methoden, und erzielte signifikant höhere Werte bei Standard-Coding-Benchmarks.
Mathematik: Die KI löste komplexe mathematische Probleme. Sie lernte, ihre eigenen Logikfehler effektiv zu korrigieren.
Rätsel & „Circle Packing“: Sie testeten die KI bei einem sehr schwierigen Geometrie-Problem namens „Circle Packing“ (das Einpassen von Kreisen in ein Quadrat).
- Die Überraschung: Ein relativ kleines KI-Modell (4 Milliarden Parameter), das mit REVES trainiert wurde, schnitt genauso gut ab wie massive, hochkomplexe Systeme, die riesige evolutionäre Suchmethoden verwenden (die tausende von zufälligen Variationen ausprobieren).
- Generalisierung: Obwohl die KI nur auf Mathe und Programmierung trainiert wurde, wurde sie deutlich besser im Lösen von Logikrätseln (wie Sudoku und N-Queens), die sie zuvor noch nie gesehen hatte. Dies deutet darauf hin, dass die Fähigkeit, „Fehler zu korrigieren“, eine allgemeine Superkraft ist und nicht nur auf Mathematik beschränkt ist.

Die zentrale Erkenntnis

Die Arbeit behauptet, dass die Verbesserung der Fähigkeit eines Modells, einen einzelnen Schritt zu revidieren, automatisch die Fähigkeit verbessert, jede komplexe Strategie anzuwenden, die das Prüfen und Korrigieren von Arbeit beinhaltet (wie z. B. Baum-Suchen oder evolutionäre Algorithmen).

Kurz gesagt: Bringen Sie der KI nicht nur bei, die richtige Antwort zu finden. Bringen Sie ihr bei, zu erkennen, wann sie falsch liegt, und wie sie es korrigiert. Indem sie „Beinahe-Fehler“ in spezifische Trainingsübungen verwandelt, wird die KI zu einem viel klügeren, selbstkorrigierenden Denker.

Technisches Resümee: REVES – REvision und VErification–Augmented Training für Test-Time Scaling

1. Problemstellung

Große Sprachmodelle (LLMs), die in komplexen Denkaufgaben eingesetzt werden, produzieren selten beim ersten Versuch die korrekte Antwort. Reale Arbeitsabläufe verlassen sich oft auf Test-Time Scaling (TTS) Algorithmen, wie etwa sequentielle Revision, Baumsuche oder evolutionäre Verfeinerung, welche iterativ Antworten basierend auf vorherigen Versuchen und Feedback generieren.

Das von den Autoren identifizierte Kernproblem ist eine fundamentale Fehlausrichtung zwischen Standard-Post-Training-Zielen und diesen mehrstufigen Inferenz-Dynamiken:

Standard-Ziele: Methoden wie RLHF, RLVR und GRPO optimieren eine Ein-Schuss-Erwartungsbelohnung ( $J_{OneShot}$ ). Sie behandeln das Modell als eine statische Abbildung von einem Problem zu einer Antwort.
Die Fehlausrichtung: TTS-Algorithmen operieren über mehrstufige Trajektorien. Das Standard-Multi-Turn-Reinforcement-Learning (RL) versucht dies durch die Optimierung über vollständige Trajektorien zu beheben. Dieser Ansatz leidet jedoch unter der pfadabhängigen Kreditzuweisung (Credit Assignment). In einer Trajektorie wie „Falsch $\to$ Falsch $\to$ Korrekt“ weist das Standard-RL den intermediären „Falsch“-Schritten einfach deshalb positives Feedback zu, weil das Endergebnis erfolgreich war. Dies erzeugt ein verzerrtes Lernsignal, das dem Modell nicht beibringt, wie es spezifisch zwischenzeitliche Fehler erkennt und korrigiert.

Die Autoren fragen: Können wir einen Post-Training-Algorithmus entwerfen, der explizit die Fähigkeit des Modells zur sequentiellen Revision optimiert, anstatt nur das Endergebnis eines spezifischen Rollouts?

2. Methodik: Das REVES-Framework

Die Autoren schlagen REVES (REvision and VErification–Augmented Training) vor, ein zweistufiges iteratives Framework, das darauf ausgelegt ist, das Ziel der Sequentiellen Revision (SR) ( $J_{\phi_{SR}}$ ) direkt zu optimieren.

Theoretische Grundlage

Das Paper stellt fest, dass sich das SR-Ziel exakt in eine gewichtete Summe von Per-State One-Step Recovery-Wahrscheinlichkeiten zerlegen lässt (Lemma 4.1).
$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$
Wobei:

$z$ einen Revisionszustand darstellt (Problem + vorheriger Versuch + Feedback).
$\rho_{\theta}(z)$ die erwartete Besuchshäufigkeit des Zustands $z$ ist.
$V_\pi(z)$ die Wahrscheinlichkeit ist, aus Zustand $z$ in einem einzigen Schritt zu einer korrekten Antwort zu gelangen.

Diese Zerlegung zeigt, dass die Optimierung von $J_{\phi_{SR}}$ keine langfristige Trajektorien-Kreditzuweisung erfordert. Stattdessen ist es notwendig, die Wahrscheinlichkeit der Wiederherstellung (Recovery) an jedem Zwischenzustand zu maximieren.

Der zweistufige Algorithmus

REVES wechselt zwischen Datenausweitung (Augmentation) und Policy-Optimierung:

Stufe I: Online Daten-/Prompt-Augmentierung

Die aktuelle Policy $\pi_\theta$ führt Sequentielle Revision-Rollouts auf einer Menge von Problemen durch.
Filterung: Nur Trajektorien, die innerhalb eines Budgets $K$ erfolgreich wiederhergestellt wurden, werden beibehalten.
Entkopplung: Für jede erfolgreiche Trajektorie werden die intermediären „Beinahe-Treffer“ (inkorrekten) Antworten in zwei Arten von Trainings-Prompts umgewandelt:
- Revisions-Prompts: „Gegeben Problem $x$ und vorheriger Versuch $y_{prev}$ (welcher inkorrekt ist), erstelle eine korrigierte Lösung.“
- Verifikations-Prompts: „Gegeben Problem $x$ und vorgeschlagene Antwort $y$ , beurteile, ob diese korrekt ist.“
Dies erzeugt einen erweiterten Datensatz, in dem das Modell lernt, von spezifischen Fehlerzuständen zu regenerieren und sich selbst zu verifizieren.

Stufe II: Single-Turn Policy-Optimierung

Die Policy wird auf dem augmentierten Datensatz unter Verwendung von Standard-Single-Turn RL (z. B. GRPO oder PPO) trainiert.
Da die Daten in Single-Turn (Zustand $\to$ Wiederherstellung) Paare entkoppelt sind, vermeidet das Training die hohe Varianz und den Bias der Multi-Turn-Trajektorien-Kreditzuweisung.
Die aktualisierte Policy wird dann verwendet, um neue augmentierte Daten für die nächste Epoche zu generieren, wodurch sichergestellt wird, dass die Trainingsverteilung mit den aktuellen Fehlermodi des Modells übereinstimmt.

Effizienz und Stopp-Regeln

Off-Policy Effizienz: Die Datengenerierung (Stufe I) kann asynchron und parallel zum Training laufen, wodurch der Rechenengpass durch synchrone Multi-Turn-Rollouts vermieden wird.
Test-Time Stopping: Da zum Testzeitpunkt oft keine Ground-Truth-Verifizierer verfügbar sind, nutzt REVES Ersatz-Stoppregeln:
- Mathematik: Verwendet „Tail Confidence“-Metriken, um zu erkennen, wann sich das Vertrauen des Modells stabilisiert oder sinkt.
- Coding: Nutzt die Ergebnisse der öffentlichen Testfall-Ausführung als Proxy-Belohnung.

3. Zentrale Beiträge

Konzeptionell: Das Paper rahmt Test-Time Scaling als ein Meta-RL-Problem ein. Es beweist (Theorem 3.1), dass die Verbesserung der One-Step Recovery-Wahrscheinlichkeit auf Sequentiellen Revisions-Inputs theoretisch Leistungssteigerungen für jeden TTS-Algorithmus garantiert, der Revision nutzt (einschließlich MCTS und evolutionärer Suche), sofern die Trainingsverteilung die Deployment-Inputs abdeckt.
Methodisch: Die Autoren schlagen REVES vor, welches die intermediären Fehler als entkoppelte Trainingszustände neu formuliert. Durch die Umwandlung von „Beinahe-Treffern“ in Revisions- und Verifikations-Prompts isoliert die Methode das Lernsignal auf die lokale Wiederherstellung statt auf den globalen Trajektorienerfolg.
Empirisch: Die Methode zeigt konsistente Verbesserungen über verschiedene Domänen hinweg (Coding, Mathematik, Rätsel) und generalisiert auf Out-of-Distribution-Aufgaben ohne spezifisches Training.

4. Experimentelle Ergebnisse

Die Autoren evaluierten REVES auf mehreren Benchmarks mit Modellen von 3B bis 7B Parametern (Qwen2.5, Qwen3, DeepSeek-R1-Distill).

Coding (LiveCodeBench): REVES erreichte +6,5 Punkte gegenüber einer Single-Shot RL Baseline und +4,0 Punkte gegenüber Standard-Multi-Turn-Training. Es zeigte Robustheit gegenüber unterschiedlichen Test-Time-Budgets.
Mathematik (AIME24/25, MATH500): Unter „Oracle“-Stoppen (Abbruch unmittelbar beim Finden der korrekten Antwort) zeigte REVES erhebliche Gewinne in der Fähigkeit zur sequentiellen Revision. Diese Gewinne blieben auch unter „Self-Confidence“-Stoppregeln bestehen, was auf die Übertragbarkeit der gelernten Fähigkeit auf die praktische Anwendung hindeutet.
Circle Packing: Ein Qwen3-4B Modell, das mit REVES trainiert wurde, erreichte die State-of-the-Art (SOTA) Ergebnisse (2.635983 Summe der Radien), die zuvor von wesentlich größeren evolutionären Suchsystemen auf Basis von Gemini-2.0 Pro/Flash und Qwen3-8B erreicht wurden. Dies gelang mit einem kleineren Basismodell und signifikant weniger Rollouts.
Out-of-Distribution Generalisierung: Modelle, die nur auf Mathe- und Coding-Daten trainiert wurden, zeigten signifikante Leistungsverbesserungen bei Constraint-Satisfaction-Rätseln (n_queens, mini_sudoku), bei denen die Korrektheit rein durch die Problembeschränkungen definiert ist, was eine starke überkreuzende Generalisierung demonstriert.
Transfer auf andere TTS-Algorithmen: Wie durch Theorem 3.1 vorhergesagt, verbesserten mit REVES trainierte Modelle die Leistung anderer revisionsbasierter TTS-Algorithmen, einschließlich MCTS, AB-MCTS-Varianten und Mind Evolution.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass REVES eine kritische Lücke im LLM-Training schließt: die Fehlausrichtung zwischen Single-Shot-Trainingszielen und mehrstufigen Test-Time-Reasoning-Dynamiken.

Effizienz: Durch die Fokussierung auf die Per-State Recovery statt auf die Optimierung der gesamten Trajektorie reduziert REVES den Rechenaufwand für das Long-Horizon-Sampling und liefert gleichzeitig ein präziseres, weniger verzerrtes Lernsignal.
Skalierbarkeit: Die Methode skaliert effektiv mit den Augmentierungs-Budgets und ermöglicht es kleineren Modellen (4B), die Leistung wesentlich größerer Systeme bei komplexen Optimierungsproblemen zu erreichen.
Generalisierbarkeit: Der Ansatz ist nicht auf spezifische Domänen beschränkt; er verbessert die fundamentale Fähigkeit des Modells, „noch einmal nachzudenken“ und sich selbst zu korrigieren, was jeder Inferenzstrategie zugutekommt, die auf Revision basiert.

Die Autoren kommen zu dem Schluss, dass die Ausrichtung des Trainings auf die spezifischen Mechanismen des Test-Time Scalings (insbesondere die sequentielle Revision) ein notwendiger Schritt ist, um das volle Reasoning-Potenzial von LLMs freizusetzen, insbesondere in verifizierbaren Bereichen wie Coding, Mathematik und wissenschaftlicher Entdeckung.