💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

Dieses Paper führt Reinforcement Learning with Transferable Reward (RLTR) ein, einen neuartigen Ansatz, der die Robustheit und Stichproben-Effizienz des LLM-Reasonings verbessert, indem Modelle darauf trainiert werden, Schlussfolgerungsschritte zu erzeugen, die effektiv bleiben, wenn sie auf andere Modelle übertragen werden, um diese zu leiten, anstatt sich ausschließlich auf die Korrektheit der endgültigen Antwort zu konzentrieren.

Ursprüngliche Autoren: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Veröffentlicht 2026-02-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Schüler bei, eine komplexe mathematische Aufgabe zu lösen.

Der alte Weg (RLVR): „Hast du das richtige Ergebnis?“
Derzeit funktioniert das Training der meisten KIs wie ein strenger Lehrer, der nur auf die richtige Antwort auf dem Testbogen achtet. Wenn der Schüler eine unordentliche, verwirrende oder glückliche Vermutung schreibt, die zufällig korrekt ist, gibt der Lehrer eine „1“. Wenn der Schüler eine perfekte, logische Erklärung schreibt, aber am Ende einen winzigen Rechenfehler macht, gibt der Lehrer eine „6“.

Das Papier nennt dies RLVR (Reinforcement Learning with Verifiable Rewards). Es ist großartig darin, die richtige Antwort zu finden, aber es kümmert sich nicht darum, wie der Schüler dorthin gelangt ist. Das Ergebnis? Der Schüler lernt vielleicht, das System zu „überlisten“ oder verlässt sich auf eine fragile Logik, die in sich zusammenbricht, wenn man ihn bittet, sie jemand anderem zu erklären.

Die neue Idee (RLTR): „Kann jemand anderes deine Arbeit fortführen?“
Die Autoren dieses Papers, Hyunseok Lee und Kollegen, schlagen eine andere Philosophie vor. Sie glauben, dass wahre Argumentation wie ein Staffellauf ist. Ein guter Läufer (die KI) sollte nicht nur die Ziellinie überqueren; er sollte den Staffelstab so übergeben, dass der nächste Läufer ihn leicht aufnehmen und weiterlaufen kann, ohne zu stolpern.

Sie nennen diese neue Methode RLTR (Reinforcement Learning with Transferable Reward).

So funktioniert es, unter Verwendung einer einfachen Analogie:

Der Generator (Der erste Läufer): Die KI beginnt, ein Problem zu lösen und schreibt ihre Gedanken auf (die Argumentation).
Die Trunkierung (Das Abschneiden des Bandes): Das System stoppt die KI mitten im Prozess. Es nimmt den ersten Teil der Argumentation und schneidet ihn ab.
Der Empfänger (Der zweite Läufer): Ein anderes KI-Modell (der „Receiver“) erhält dieses abgeschnittene Stück Text. Es muss den Teil lesen, den die erste KI geschrieben hat, und die Lösung zu Ende führen.
Die Belohnung:
- Wenn der Empfänger die Aufgabe erfolgreich abschließen und die richtige Antwort erhalten kann, bekommt die erste KI einen Bonuspunkt.
- Wenn der Empfänger verwirrt ist, stecken bleibt oder eine falsche Antwort gibt, weil der erste Teil unordentlich oder unlogisch war, bekommt die erste KI keinen Bonus.

Warum ist das besser?
Denken Sie daran, wie man eine Geschichte schreibt.

RLVR kümmert sich nur darum, ob die Geschichte mit „Ende“ endet. Man könnte eine Geschichte schreiben, die keinen Sinn ergibt, aber wenn das letzte Wort „Ende“ ist, gewinnt man.
RLTR kümmert sich darum, ob die Geschichte so klar und logisch ist, dass jeder, der die erste Hälfte liest, das Ende leicht erraten kann. Es zwingt die KI dazu, „robuste“ Argumentationen zu schreiben – eine Logik, die stabil, klar und wiederverwendbar ist.

Was haben sie herausgefunden?
Das Paper testete dies an schwierigen Mathematik- und Naturwissenschaftsaufgaben. Hier sind die wichtigsten Erkenntnisse:

Konsistenter: Wenn sie die KI baten, dieselbe Aufgabe 64 Mal zu lösen, erhielt die „Transfer“-Methode (RLTR) häufiger die richtige Antwort, wenn sie die Mehrheitsentscheidung (Majority Vote) heranzog. Die alte Methode (RLVR) war manchmal richtig, aber ihre Argumentation war so wackelig, dass verschiedene Versuche oft uneinig waren.
Schnelleres Lernen: Die neue Methode lernte schneller. Sie erreichte das gleiche Leistungsniveau wie die alte Methode in etwa 2,5-mal weniger Trainingsschritten. Es ist, als würde man eine bessere Ausbildung in der halben Zeit erhalten, weil die Lektionen klarer sind.
Funktioniert bei schwereren Problemen: Der Vorteil war bei den schwierigsten Mathematik-Wettbewerben (wie AIME und AMC) noch größer. Wenn Probleme schwierig werden, zählt eine klare, übertragbare Denkweise mehr als nur das Raten der richtigen Zahl.
Nicht nur Mathematik: Sie haben dies auch bei naturwissenschaftlichen Fragen getestet, und es hat auch dort funktioniert, was darauf hindeutet, dass diese Fähigkeit des „klaren Denkens“ auf viele Arten von Problemen anwendbar ist.

Zusammenfassend lässt sich sagen:
Das Paper argumentt, dass es nicht ausreicht, nur „korrekt“ zu sein. Die Argumentation einer KI sollte so solide und klar sein, dass man sie einer anderen KI in der Mitte des Prozesses übergibt und diese zweite KI die Aufgabe perfekt zu Ende führen kann. Indem sie die KI darauf trainieren, „übertragbar“ zu sein, werden sie intelligenter, konsistenter und lernen viel schneller.

Technisches Resümee: Jenseits der Korrektheit: Erlernen robuster Argumentation durch Transfer

1. Problemstellung

Obwohl Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) die Argumentationsfähigkeit von Large Language Models (LLMs) signifikant verbessert hat, indem es gelernte Belohnungsmodelle durch regelbasierte Verifizierung der Endergebnisse ersetzt, leidet es unter einer kritischen Einschränkung: Es optimiert ausschließlich auf die Korrektheit der Endantwort. Dieser Ansatz versäumt es, die Robustheit des eigentlichen Argumentationsprozesses sicherzustellen.

In praktischen Szenarien sind Modelle, die zwar sporadisch korrekte Antworten liefern, aber über verschiedene Sampling-Pfade oder Dekodierungsvariationen hinweg inkonsistent agieren, weniger wertvoll als solche, die stabile, reproduzierbare Argumentationsketten generieren. Vorangegangene Arbeiten deuten darauf hin, dass RLVR zu „brüchigen“ (brittle) Argumentationsverläufen führen kann, bei denen eine Erhöhung der Anzahl der Stichproben ( $K$ ) die Genauigkeit der Mehrheitsentscheidung (Maj@K) nicht verbessert, sondern sogar verschlechtert. Das aktuelle Paradigma bietet keinen Anreiz dafür, dass Zwischenschritte der Argumentation stabil, interpretierbar oder von anderen Modellen wiederverwendbar sind.

2. Methodik: Reinforcement Learning mit transferierbarer Belohnung (RLTR)

Die Autoren schlagen RLTR vor, ein Framework, das robustes Argumentieren durch das Konzept der Argumentations-Transferierbarkeit operationalisiert. Die Kernphilosophie besteht darin, dass robuste Argumentation über das spezifische Modell, das sie erzeugt hat, hinaus nützlich bleiben muss; sie muss Verkürzungen, Neuinterpretationen und Fortsetzungen überstehen.

Kernmechanismus

RLTR erweitert das Standard-RLVR-Ziel um eine Transfer-Belohnung. Der Trainingsprozess umfasst zwei Modelle:

Generator-Modell ( $M_{gen}$ ): Ein trainierbares Modell, das eine vollständige Argumentationskette und eine Endantwort produziert.
Receiver-Modell ( $M_{rcv}$ ): Ein separates, eingefrorenes Modell, das zur Bewertung der Qualität der Zwischenschritte des Generators dient.

Der Transfer-Belohnungsprozess:

Der Generator erzeugt eine Argumentationssequenz $y_{gen}$ .
Die Argumentationskette wird an einem zufälligen Verhältnis $\tau \in (0, 1]$ gekürzt, um ein Präfix $y_{gen}[:\ell]$ zu erstellen.
Dieses Präfix wird dem eingefrorenen Receiver-Modell vorgelegt, welches versucht, die Argumentation zu vervollständigen und eine Endantwort zu generieren.
Die Transfer-Belohnung ( $R_{trans}$ ) ist binär: Sie ist 1, wenn die vervollständigte Antwort des Receivers mit der Grundwahrheit (Ground Truth) übereinstimmt, und 0 andernfalls.

Zielfunktion:
Die Gesamtbelohnung für den Generator ist eine gewichtete Kombination aus der Standard-Antwortbelohnung und der Transfer-Belohnung:
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
Wobei $R_{RLVR}$ die Korrektheit der Antwort und Format-Belohnungen beinhaltet und $t$ das Gewicht für die Transfer-Komponente ist. Der Generator wird mittels Group Relative Policy Optimization (GRPO) optimiert, um diese kombinierte Belohnung zu maximieren.

3. Wesentliche Beiträge

Neuartiges Framework: Einführung von RLTR, dem ersten RLVR-Framework, das LLMs explizit dazu anregt, Argumentationsketten zu produzieren, die über verschiedene Modelle hinweg transferierbar sind.
Prozessbasierte Überwachung: Im Gegensatz zu Process Reward Models (PRMs), die dichte schrittweise Annotationen und gelernte Verifizierer erfordern, erreicht RLTR eine prozessbasierte Überwachung allein durch die Verifizierung der Grundwahrheit der Antwort, ohne zusätzliche Annotationskosten oder das Training Hilfsbelohnungsmodelle.
Verbesserte Konsistenz: Nachweis, dass die Optimierung der Transferierbarkeit die Sampling-Konsistenz (Maj@K) direkt verbessert und so die Sprödigkeit adressiert, die bei Standard-RLVR beobachtet wurde.
Effizienz der Stichproben: Das Framework erreicht vergleichbare oder überlegene Leistungen gegenüber RLVR mit signifikant weniger Trainingsschritten (etwa 2,5-mal weniger bei MATH-500).

4. Experimentelle Ergebnisse

Die Autoren evaluierten RLTR auf mehreren mathematischen und wissenschaftlichen Reasoning-Benchmarks, einschließlich MATH-500, GSM8K, AMC23, AIME2024 und GPQA.

Genauigkeit und Konsistenz: RLTR übertrifft sowohl das Basismodell als auch RLVR-trainierte Modelle konsistent sowohl bei der durchschnittlichen Genauigkeit als auch bei den Maj@K-Metriken.
- Auf MATH-500 verbesserte RLTR Maj@64 von 82,6 % (RLVR) auf 84,2 % und steigerte gleichzeitig die durchschnittliche Genauigkeit von 71,0 % auf 77,0 %.
- Auf AMC23 verbesserte RLTR Maj@64 von 61,7 % auf 67,5 %.
- Auf GPQA (wissenschaftliches Reasoning) verbesserte RLTR die durchschnittliche Genauigkeit von 33,0 % auf 34,8 % und Maj@16 von 36,8 % auf 37,7 %, was eine domänenunabhängige Generalisierung demonstriert.
Trainingsdynamik:
- Geschwindigkeit: RLTR erreicht das Genauigkeitsniveau von RLVR in etwa 2,5-mal weniger Trainingsschritten.
- Korrelation: Es gibt eine starke positive Korrelation zwischen dem Wachstum der Transferierbarkeit und Maj@K während des Trainings. Im Gegensatz dazu zeigen RLVR-Modelle in späteren Trainingsphasen oft eine Verschlechterung der Transferierbarkeit und von Maj@K, trotz stabiler durchschnittlicher Genauigkeit.
Ablationsstudien:
- Belohnungsverhältnis: Eine Erhöhung des Gewichts der Transfer-Belohnung ( $t$ ) steigert die High-K-Konsistenz (Maj@K) signifikant, was bestätigt, dass Transferierbarkeit ein distinktes und wertvolles Signal ist.
- Receiver-Modelle: Die Methode bleibt auch mit kleineren Receiver-Modellen (z. B. 1,5 Milliarden Parameter) effektiv, wobei stärkere Receiver eine bessere High-K-Konsistenz erzielen.
- Diversität: Im Gegensatz zu RLVR, das dazu neigt, die Diversität (Pass@K) zu reduzieren, indem es sich auf spezifische Lösungsmuster konzentriert, erhält RLTR die Pass@K aufrecht oder verbessert sie sogar, während gleichzeitig die Genauigkeit steigt.
Rechenaufwand: Obwohl RLTR durch das Receiver-Modell einen zusätzlichen Rechenaufwand einführt, ist es insgesamt recheneffizienter. Um die gleiche Leistung wie RLTR zu erreichen, benötigt RLVR etwa 2,3-mal höhere Rechenkosten (FLOPs).

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Optimierung der Argumentations-Transferierbarkeit zu einem robusteren LLM-Reasoning führt. Indem Argumentation als eine Form des „Bedeutungstransfers“ behandelt wird, der Unterbrechungen und Neukompletierungen überstehen muss, regt RLTR Modelle dazu an, stabile, interpretierbare und wahrhaft generalisierbare Argumentationspfade zu generieren.

Die Autoren positionieren diese Arbeit als Lösung für den „Outcome-only“-Evaluierungsengpass aktueller RLVR-Methoden. Sie argumentieren, dass robustes Argumentieren nicht nur bedeutet, korrekt zu sein, sondern auch, dass es auf eine Weise erklärbar sein muss, der andere zuverlässig folgen können. Dieser Ansatz bietet einen Weg zu zuverlässigeren KI-Agenten in komplexen Domänen (wie wissenschaftlicher Entdeckung oder Programmierung), in denen Konsistenz und Reproduzierbarkeit ebenso kritisch sind wie die reine Genauigkeit, während gleichzeitig die Rechenlast beim Training reduziert wird.