🤖 AI

Escaping the Verifier: Learning to Reason via Demonstrations

Das Paper stellt RARO vor, ein neuartiges Framework für Inverse Reinforcement Learning, das Large Language Models durch den Einsatz eines adversen Spiels zwischen einer Policy und einem relativistischen Kritiker dazu trainiert, effektiv zu schlussfolgern, indem es ausschließlich Experten-Demonstrationen nutzt, wodurch es eine starke Leistung bei Denkaufgaben ohne die Abhängigkeit von aufgabenspezifischen Verifizierern erzielt.

Ursprüngliche Autoren: Locke Cai, Max Ryabinin, Ivan Provilkov

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Locke Cai, Max Ryabinin, Ivan Provilkov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, komplexe Rätsel zu lösen oder wunderschöne Poesie zu schreiben. Normalerweise muss man einen Roboter lehren, indem man einen „Schiedsrichter“ bereitstellt, der sofort sagen kann: „Ja, das ist die richtige Antwort“ oder „Nein, das ist falsch“.

In der Mathematik ist der Schiedsrichter einfach zu finden: Man prüft nur, ob die Zahlen die richtige Summe ergeben.
In der Poesie oder der Finanzanalyse gibt es keinen Schiedsrichter. Es gibt kein einzelnes „richtiges“ Gedicht, und es gibt keinen Taschenrechner, der einem sagen kann, ob eine Finanzstrategie perfekt ist.

Lange Zeit glaubten Wissenschaftler, dass ein Roboter ohne Schiedsrichter nur durch das bloße Auswendiglernen von Beispielen lernen könne (wie ein Schüler, der ein Lehrbuch kopiert). Doch die Autoren dieser Arbeit, RARO, sagen: „Warten Sie, wir können dem Roboter beibringen zu denken und zu argumentieren, selbst wenn es keinen Schiedsrichter gibt – einfach indem wir ihm Beispiele von Experten zeigen.“

So haben sie es gemacht, unter Verwendung einer einfachen Analogie:

Das „Geschmackstest“-Spiel

Anstatt eines Schiedsrichters, der die absolute Wahrheit kennt, haben die Autoren ein Spiel zwischen zwei Rollen aufgebaut, die von demselben Robotergehirn gespielt werden:

Der Koch (Die Policy): Dieser Teil des Roboters versucht, eine Mahlzeit zu kochen (ein Problem lösen oder ein Gedicht schreiben) basierend auf einem Rezept. Er möchte etwas so Gutes zubereiten, dass es aussieht, als käme es von einem weltberühmten Meisterkoch (die Experten-Daten).
Der Food-Kritiker (Der relativistische Kritiker): Dieser Teil des Roboters fungt als Richter. Aber hier ist der Clou: Der Kritiker schmeckt nicht nur ein Gericht und sagt „Gut“ oder „Schlecht“. Stattdessen bekommt der Kritiker zwei Gerichte gleichzeitig serviert: eines, das vom Meisterkoch zubereitet wurde, und eines, das vom Roboter (dem Koch) gemacht wurde.

Die Spielregeln:

Der Kritiker erhält Punkte, wenn er korrekt erraten kann, welches Gericht zum Meisterkoch gehört und welches zum Roboter.
Der Koch erhält Punkte, wenn es ihm gelingt, den Kritiker zu überlisten, sodass dieser glaubt, sein Gericht sei vom Meisterkoch zubereitet worden.

Warum das besonders ist

In der Vergangenheit, wenn der Roboter wirklich gut wurde, geriet der Kritiker in Verwirrung. Wenn die Antwort des Roboters perfekt war, konnte der Kritiker vielleicht nur noch raten, und der Roboter würde nichts Neues mehr lernen.

Die Autoren fügten eine clevere „Unentschieden“-Option hinzu. Wenn der Kritiker keinen Unterschied feststellen kann, kann er ein Unentschieden erklären.

Dies ist wie der Kritiker, der sagt: „Diese beiden Gerichte sind so ähnlich, dass ich sie nicht unterscheiden kann.“
Dies hält das Spiel am Laufen. Der Roboter lernt, dass er nicht nur „okay“ sein muss, um zu gewinnen; er muss ununterscheidbar vom Experten sein.

Was sie herausgefunden haben

Die Forscher testeten dieses „Geschmackstest-Spiel“ bei drei verschiedenen Arten von Herausforderungen:

Das Mathe-Rätsel (Countdown): Ein Spiel, bei dem man vier Zahlen kombinieren muss, um auf 24 zu kommen.
- Ergebnis: Der Roboter lernte, viele Kombinationen durchzudenken, seine Arbeit zu überprüfen und zurückzugehen (Backtracking), wenn er falsch lag. Er wurde fast so gut wie Roboter, die mit einem perfekten Mathe-Schiedsrichter trainiert wurden, und war viel besser als Roboter, die nur Antworten auswendig lernten.
Schwierigere Mathematik (DeepMath): Komplexe Probleme, bei denen das Überprüfen der Antwort genauso schwer ist wie das Lösen selbst.
- Ergebnis: Je größer und klüger der Roboter wurde, desto besser wurde auch sein logisches Denken, was zeigt, dass diese Methode gut skaliert.
Das Schreiben von Poesie: Eine Aufgabe, für die es keine „richtige“ Antwort gibt.
- Ergebnis: Dies war der große Test. Der Roboter lernte, Gedichte zu schreiben, die signifikant kreativer und stärker auf die Aufgabenstellung abgestimmt waren als Roboter, die lediglich Beispiele auswendig lernten. Er lernte, sein Gedicht zu planen (z. B. „Ich muss mich auf sensorische Details konzentrieren“), bevor er es schrieb.

Das Fazit

Die Arbeit zeigt, dass man keinen perfekten „Lösungsschlüssel“ benötigt, um einem Roboter beizubringen, wie man argumentiert. Man braucht nur eine Sammlung von Beispielen von Experten und eine Möglichkeit, den Roboter ein Spiel des „Unterschiede-Findens“ gegen diese Experten spielen zu lassen.

Dads durch dies lernt der Roboter, seinen eigenen internen „Schiedsrichter“ zu generieren, der ihm hilft, seine Arbeit zu prüfen, seine Fehler zu korrigieren und hochwertige Lösungen für Aufgaben zu entwickeln, bei denen im Voraus niemand die exakt richtige Antwort kennt. Dies verwandelt den Roboter von einem einfachen Nachahmer in einen nachdenklichen Problemlöser.

Technische Zusammenfassung: Escaping the Verifier: Learning to Reason via Demonstrations

Problemstellung

Das Training von Large Language Models (LLMs) für logisches Denken (Reasoning) stützte sich weitgehend auf Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), wobei die Modelle gegen Ground-Truth-Verifizierer optimiert werden (z. B. in Mathematik oder kompetitiver Programmierung). Viele hochrelevante Aufgaben des logischen Denkens – wie analytisches Schreiben, offene Forschung oder Finanzanalysen – verfügen jedoch nicht über solche Verifizierer, da die Kriterien entweder mehrdeutig sind oder eine große Varianz an akzeptablen Antworten besteht. Während Experten-Demonstrationen für diese Aufgaben reichlich vorhanden sind, werden sie für das fokussierte Training von Reasoning-Fähigkeiten bisher untergenutzt. Standardmäßiges Supervised Fine-Tuning (SFT) auf diesen Demonstrationen führt oft nicht zu den Selbstkorrektur- und Suchverhalten, die bei RLVR beobachtet werden, und Methoden wie Reinforcement Learning from Human Feedback (RLHF) sind aufgrund der notwendigen Erhebung von Präferenzdaten prohibitiv teuer.

Methodik: RARO

Die Autoren schlagen RARO (Relativistic Adversarial Reasoning Optimization) vor, ein Framework, das starke Reasoning-Fähigkeiten allein aus Experten-Demonstrationen lernt, ohne auf aufgabenspezifische Verifizierer oder menschliche Präferenzen angewiesen zu sein. Die Methode basiert auf Inverse Reinforcement Learning (IRL) und rahmt das Problem als adversarielles Spiel zwischen einer Policy und einem Kritiker ein.

Kernkomponenten

Adversarielles Setup:
- Policy ( $\pi_\theta$ ): Generiert Antworten (mit Chain-of-Thought Reasoning) basierend auf einer Frage.
- Relativistischer Kritiker ( $c_\phi$ ): Ein Modell, das eine Frage und ein Paar von Antworten (eine Expertenantwort und eine Policy-Antwort) entgegennimmt und vorhersagt, welche besser ist, oder ein Unentschieden (Tie) feststellt.
- Zielsetzung: Die Policy wird dafür belohnt, den Kritiker zu täuschen (d. h. ihre Antwort als „Experte“ klassifizieren zu lassen), während der Kritiker dafür belohnt wird, die Quelle korrekt zu identifizieren (Experte vs. Policy).
Relativistischer Kritiker & Tie-Option:
- Im Gegensatz zur Standard-Binärklassifikation führt der Kritiker einen Paarvergleich durch. Dies vermeidet das „Degenerationsproblem“, bei dem eine optimale Policy die Klassifizierungsaufgabe für den Kritiker unmöglich macht (Zufallswahl).
- Entscheidend ist, dass der Kritiker ein Unentschieden (Tie) deklarieren darf. Dies liefert stabile, nicht-Null-Belohnungssignale, selbst wenn die Policy die Expertenqualität erreicht, was die Trainingsinstabilität verhindert.
Trainingsalgorithmus:
- Gemeinsame Optimierung: Sowohl die Policy als auch der Kritiker werden gemeinsam mittels Group Relative Policy Optimization (GRPO) trainiert.
- Gemeinsame Gewichte: Dieselbe LLM-Backbone wird für beide Rollen verwendet, um den Speicherbedarf zu reduzieren und die Generalisierung zu fördern.
- Replay Buffer: Um katastrophales Vergessen und Mode Collapse (bei dem die Policy durch eine feste Menge von Strategien kreist, um den Kritiker zu täuschen) zu verhindern, wird der Kritiker auf einer Mischung aus aktuellen Rollouts und einem Replay Buffer aus vergangenen Experten- und Policy-Antworten trainiert.
- Stabilisierungstechniken: Die Autoren integrieren Over-Length-Filterung und entfernen Advantage/Length-Normalisierung, um ein robustes Lernen zu gewährleisten.

Wichtigste Beiträge

Neuartige IRL-Perspektive: Das Paper führt eine fundierte Methode zur Ausbildung von Reasoning-Modellen unter Verwendung von Demonstrationsdaten ein, wodurch die Notwendigkeit von Verifizierern oder Präferenz-Annotationen umgangen wird.
Relativistisches adversarielles Framework: Es schlägt ein spezifisches adversarielles Setup mit einem „relativistischen“ Kritiker und der Tie-Option vor, welches die Autoren als entscheidend für die Stabilisierung der Trainingsdynamik in nicht-verifizierbaren Domänen identifiziert haben.
Empirische Validierung: Die Methode wird über drei verschiedene Domänen hinweg validiert:
- Countdown (Kontrolliert): Eine Toy-Math-Aufgabe, bei der die Verifizierung einfach ist.
- DeepMath (Allgemeine Mathematik): Ein komplexer Reasoning-Bereich, in dem die Verifizierung ebenso schwierig ist wie die Generierung selbst.
- Poetry Writing (Nicht-verifizierbar): Eine offene, kreative Aufgabe ohne objektiven Grundwahrheitswert.

Experimentelle Ergebnisse

Die Autoren evaluieren RARO gegen starke Baselines (SFT, Rationalization, Iterative DPO und RL-Logit) sowie, sofern anwendbar, gegen die Obergrenze RLVR.

Countdown (1.5B Modell): RARO erreicht eine Genauigkeit von 54,4 % und übertrifft damit die beste verifiziererfreie Baseline (SFT mit 40,7 %) signifikant um +13,7 %. Es erreicht nahezu die Leistung von RLVR (57,7 %).
DeepMath (7B Modell): RARO erreicht eine Genauigkeit von 57,5 % und übertrifft die beste verifizierfreie Baseline (RL-Logit mit 49,3 %) um +8,2 %. Die Methode zeigt ähnliche Skalierungstrends wie RLVR mit zunehmender Modellgröße.
Poetry Writing (7B Modell): In dieser nicht-verifizierbaren Domäne erreicht RARO eine Win-Rate von 25,0 % gegenüber Experten-Gedichten, was eine massive Verbesserung gegenüber der besten Baseline (SFT mit 5,9 %) darstellt, was einem Gewinn von +19,1 % entspricht.
Skalierungsverhalten: RARO demonstriert effektive Skalierung sowohl mit dem Reasoning-Token-Budget (Test-Time Scaling) als auch mit der Modellgröße. Bemerkenswert ist, dass es lernt, explizite Suche und Selbstkorrektur durchzuführen (z. B. Backtracking in Countdown) – Verhaltensweisen, die in den SFT-Baselines fehlen.

Bedeutung und Behauptungen

Das Paper behauptet, dass RARC effektiv starke Reasoning-Leistung aus Experten-Demonstrationen extrahiert und so ein robustes Reasoning-Lernen ermöglicht, selbst wenn aufgabenspezifische Verifizierer nicht verfügbar sind. Durch die Formulierung des Problems durch Inverse Reinforcement Learning und die Nutzung eines relativistischen adversariellen Setups zeigen die Autoren, dass es möglich ist, Reasoning-Modelle ohne den teuren Datenerhebungsaufwand von RLHF oder die strengen Einschränkungen von RLVR zu trainieren.

Die Ergebnisse legen nahe, dass RARO ein praktischer Weg zur Entwicklung von Reasoning-Fähigkeiten in realen Domänen (wie kreativem Schreiben und komplexer Analyse) ist, in denen eine automatische Verifizierung unmöglich ist. Dies könnte die Abhängigkeit von kostspieliger menschlicher Präferenzdatenerhebung verringern und gleichzeitig die Vorteile von Reinforcement Learning, wie Test-Time Scaling und Selbstkorrektur, beibehalten.