🤖 AI

RREDCoT: Segment-Level Reward Redistribution for Reasoning Models

Das Papier stellt RREDCoT vor, eine neuartige Methode, die das Reasoning-Modell selbst nutzt, um eine optimale segmentweise Belohnungsverteilung für Chain-of-Thought-Spuren zu approximieren, wodurch die hohe Varianz und die Rechenineffizienz der traditionellen Monte-Carlo-Kreditzuweisung beim Reinforcement Learning Fine-Tuning adressiert werden.

Ursprüngliche Autoren: Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Black Box“ des logischen Denkens

Stellen Sie sich vor, Sie bringen einem Schüler bei, eine sehr schwierige Matheaufgabe zu lösen. Der Schüler schreibt einen langen, schrittweisen Gedankengang auf (eine „Chain of Thought“), bevor er schließlich die Antwort notiert.

Bei aktuellen KI-Trainingsmethoden gibt der Lehrer das Feedback erst ganz am Ende.

Der Schüler: Schreibt 50 Seiten voller Überlegungen, macht auf Seite 10 einen Fehler, macht aber weiter und rät schließlich auf Seite 50 die richtige Antwort.
Der Lehrer: Sagt: „Gute Arbeit! Du hast die richtige Antwort gefunden.“
Das Ergebnis: Der Schüler denkt: „Wow, mein Fehler auf Seite 10 war eigentlich hilfreich!“ oder „Ich weiß nicht, welcher Teil meiner 50 Seiten tatsächlich nützlich war.“

Dies wird als verzögertes Belohnungsproblem bezeichnet. Da die KI nicht weiß, welche spezifischen Gedanken zum Erfolg geführt haben, lernt sie langsam und ineffizient. Es ist, als würde man versuchen, Autofahren zu lernen, indem man erst nach dem Parken ein „Gut gemacht“ oder „Schlecht gemacht“ erhält, ohne zu wissen, ob man das Lenkrad zu früh gedreht oder zu spät gebremst hat.

Die Lösung: RREDCoT (Das „Zurückspulen und Umverteilen“-Werkzeug)

Die Autoren entwickelten eine neue Methode namens RREDCoT (Reward REDistribution for Chain of Thoughts).

Betrachten Sie RREDCoT als einen intelligenten Lektor, der den 50-seitigen Entwurf des Schülers liest. Anstatt nur die fertige Antwort zu bewerten, geht der Lektor zurück und weist jedem einzelnen Absatz eine „Punktzahl“ zu.

Absatz 1–5: „Guter Aufbau, aber nicht entscheidend.“ (Niedrige Punktzahl)
Absatz 10: „Das war eine falsche Abzweigung, aber du hast dich erholt.“ (Negative Punktzahl)
Absatz 25: „Das war die entscheidende Erkenntnis, die das Rätsel gelöst hat!“ (Hohe Punktzahl)
Absatz 50: „Korrekte Antwort.“ (Bonuspunkt)

Indem sie Anerkennung (oder Schuld) für spezifische Teile des Denkprozesses vergeben, lernt die KI viel schneller, welche Gedanken tatsächlich nützlich sind.

Wie es funktioniert (ohne die Mathematik)

Das Paper erklärt, dass bisherige Methoden versuchten, dies auf zwei Arten zu lösen, die beide Mängel aufwiesen:

Das „Ratespiel“ (Monte Carlo Sampling): Die KI generiert dieselbe Aufgabe 100 Mal, um zu sehen, welche Schritte normalerweise zum Erfolg führen. Das ist genau, dauert aber ewig (wie wenn man 100 Mal einen Marathon läuft, nur um die beste Route herauszufinden).
Das „Schuldspiel“ (Attribution): Man betrachtet die interne „Aufmerksamkeit“ (Attention) der KI, um zu raten, was wichtig war. Das Paper argumentiert, dass dies oft irreführend ist, da es darauf schaut, worauf die KI geachtet hat, nicht darauf, was tatsächlich funktioniert hat.

Der Trick von RREDCoT:
Anstatt die KI 100 Mal laufen zu lassen oder blind zu raten, nutzt RREDCoT das eigene Wissen der KI, um den Wert eines jeden Schritts abzuschätzen.

Es betrachtet die „Referenzlösung“ (den korrekten Pfad).
Es fragt: „Wenn ich diesen spezifischen Schritt gemacht hätte, wie viel näher wäre ich der richtigen Antwort gekommen?“
Es nutzt eine clevere mathematische Abkürzung (inspiriert davon, wie wir das nächste Wort in einem Satz vorhersagen), um dies sofort zu berechnen, ohne 100 zusätzliche Versionen der Geschichte generieren zu müssen.

Die „Hybride Segmentierung“ (Den Kuchen schneiden)

Um dies umzusetzen, muss die KI wissen, wo ein „Gedanke“ endet und ein anderer beginnt. Man kann nicht einfach jeden einzelnen Buchstaben (Token) betrachten, da dies zu viele Daten wären.

Die Idee des Papers: Sie verwenden eine Strategie der „hybriden Segmentierung“. Stellen Sie sich vor, Sie schneiden einen langen Kuchen.
- Zuerst schneiden sie an offensichtlichen Stellen (wie neuen Absätzen oder Schlüsselwörtern wie „Warte“ oder „Daher“).
- Dann schauen sie sich die „Verwirrung“ (Entropie) des Textes an. Wenn die KI sich sehr unsicher war, was sie als Nächstes schreiben sollte, ist das ein guter Ort, um den Kuchen zu schneiden.
- Dies erzeugt logische „Blöcke“ des Denkens, die leicht zu bewerten sind.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies an mathematischen Problemen (wie den AIME- und MATH-Datensätzen).

Schnelleres Lernen: Modelle, die RREDCoT nutzen, lernten, Probleme besser und schneller zu lösen als Modelle, die die Standardmethode (GRPO) verwenden.
Bessere Effizienz: Sie erzielten bessere Ergebnisse, selbst wenn die KI sehr lange Ketten von Gedanken generierte (bis zu 25.000 Token).
Keine zusätzlichen Modelle nötig: Im Gegensatz zu anderen Methoden, die eine zweite „Richter-KI“ zur Bewertung der Arbeit benötigen, nutzt RREDCoT die Haupt-KI selbst für die Bewertung, was Zeit und Ressourcen spart.

Die Kehrseite (Einschränkungen)

Das Paper ist ehrlich darüber, wo diese Methode an ihre Grenzen stößt:

Man braucht den Lösungsschlüssel: RREDCoT funktioniert am besten, wenn man bereits den korrekten Lösungsweg kennt (oder zumindest einen guten Hinweis darauf). Wenn man versucht, ein Problem zu lösen, bei dem die Lösung unbekannt oder der „richtige Weg“ vage ist, kann diese Methode kaum helfen.
Es kostet etwas mehr: Es erfordert etwa 1,5 bis 2 Mal mehr Rechenleistung als die Standardmethode, aber die Autoren sagen, dass dies ein fairer Kompromis für die Geschwindigkeit des Lernens ist, die es bietet.

Zusammenfassung

RREDCoT ist eine neue Art, KIs beizubringen, besser zu denken. Anstatt bis zum Ende zu warten, um „Gut gemacht“ zu sagen, zerlegt es den Denkprozess in kleine Blöcke und sagt der KI genau, welche Gedanken hilfreich waren und welche Ablenkungen waren. Dies geschieht schnell und effizient, wodurch die KI komplexe Denkfähigkeiten viel schneller als bisher erlernen kann.

Technisches Resümee: RREDCoT – Segmentbasierte Belohnungsredistribution für Reasoning-Modelle

Problemstellung

Jüngste Fortschritte bei Reasoning-Sprachmodellen stützen sich stark auf Reinforcement Learning (RL) Fine-Tuning, insbesondere unter Verwendung des Group Relative Policy Optimization (GRPO) Algorithmus in Kombination mit dem Paradigma des Reinforcement Learning with Verifiable Rewards (RLVR). In diesem Setting generieren Modelle einen Chain-of-Thought (CoT) Trace, bevor sie eine endgültige Antwort produzieren. Es besteht jedoch ein kritischer Flaschenhals: Das Belohnungssignal wird typischerweise erst nach Abschluss des gesamten CoT-Traces und der Verifizierung der endgültigen Antwort zugewiesen. Dies erzeugt ein verzögertes Belohnungsproblem (delayed reward problem).

Standardansätze wie GRPO entsprechen Monte-Carlo-Methoden im RL, die unter hoher Varianz leiden, da die Belohnung gleichmäßig über den gesamten Trajektorienverlauf verteilt wird, ohne ein direktes Feedback für einzelne Denkschritte zu liefern. Während Monte-Carlo-Sampling (MCS) Zwischenzustandswerte schätzen kann, erfordert es die Generierung mehrerer Vervollständigungen für jedes Segment, was zu prohibitiven Rechenaufwänden für eine hochgradig granulare Kreditzuweisung in langen Kontexten führt. Bestehende Alternativen, wie etwa die Verwendung von Judge-Modellen zur schrittweisen Analyse oder die Extraktion des intermediären Nutzens aus Modellstatistiken, führen oft zu Rauschen oder erfordern zusätzliche Rechenressourcen.

Methodik: RREDCoT

Die Autoren schlagen RREDCoT (Reward REDistribution for Chain of Thoughts) vor, eine Methode, die die Prinzipien des RUDDER-Algorithmus auf die spezifische Struktur der CoT-Generierung adaptiert. Das Kernziel besteht darin, die endgültige Belohnung auf die intermediären Segmente des CoT-Traces zu redistribuieren, um dichtere Lernsignale zu liefern, ohne zusätzliche Modelle oder extra Generierungsschritte zu benötigen.

1. MDP-Formulierung

Der CoT-Generierungsprozess wird als Markov-Entscheidungsprozess (MDP) modelliert, wobei der Zustand $s_t$ aus der ursprünglichen Abfrage und der Sequenz der bis $t-1$ generierten Segmente besteht. Der Aktionsraum ist unterteilt in:

$Y$ (Antwort): Aktionen, die die endgültige Ausgabe auslösen.
$U$ (Fortsetzung): Aktionen, die weitere CoT-Segmente generieren.
Die unmittelbare Belohnung für das Generieren eines Gedankens ist Null; die Belohnung wird erst bei der Generierung einer korrekten endgültigen Antwort realisiert.

2. Optimale Belohnungsredistribution

RREDCoT leitet eine optimale Belohnungsredistribution $\sigma$ ab, die auf der Differenz der erwarteten Erträge zwischen aufeinanderfolgenden Zuständen basiert. Die Methode nutzt das generierende Sprachmodell selbst, um die Value-Funktion zu approximieren, wodurch die Notwendigkeit eines zusätzlichen LSTM (wie im ursprünglichen RUDDER verwendet) oder umfangreicherem Sampling entfällt.

Die Redistribution wird berechnet als:
$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$
Wobei:

$\hat{R}_t$ die Schätzung der unmittelbaren Belohnung ist (Wahrscheinlichkeit der Referenzantwort gegeben den aktuellen Trace).
$\hat{v}_t$ der geschätzte Wert des Zustands ist (erwarteter Nutzen zukünftiger Vervollständigungen).

Um diese Werte effizient zu schätzen, verwenden die Autoren einen Probability Reward (PR) Estimator mittels Importance Sampling über einen Satz von Referenzlösungspfaden ( $Y^\star, U^\star$ ). Dies ermöglicht es dem Modell, als Dynamikfunktion (World Model) zu fungieren, um die Wahrscheinlichkeit zu schätzen, von einem aktuellen Segment aus einen Zustand mit hohem Nutzen zu erreichen.

3. Hybride Segmentierungsstrategie

Um die Kreditzuweisung handhabbar zu machen, führt RREDCoT eine hybride Keyword-Entropie-Segmentierungsstrategie ein:

Initialer Split: Der Trace wird durch generische Keywords (z. B. Zeilenumbrüche) getrennt.
Iteratives Zusammenführen: Konsekutive Segmente mit der niedrigsten kombinierten Entropie werden zusammengeführt, bis eine Zielanzahl an Segmenten erreicht ist.
Rationale: Token mit hoher Entropie repräsentieren Punkte hoher Pluralität (Entscheidungspunkte) und dienen als natürliche „Exit-Punkte“ zur Schätzung der unmittelbaren Beiträge. Diese Strategie stellt sicher, dass Segmente so entkoppelt wie möglich sind, um den Bias in der Schätzung der Value-Funktion zu minimieren.

4. Integration in RL-Objektive

Die redistriubuierten Belohnungen werden in das Standard-Policy-Gradient-Objektiv integriert. Die Methode gewährleistet Return-Äquivalenz, was bedeutet, dass die Summe der redistriubuierten Belohnungen dem ursprünglichen Episodenertrag entspricht, wodurch die optimale Policy erhalten bleibt, während die Konvergenz beschleunigt wird.

Kernbeiträge

RREDCoT-Algorithmus: Ein handhabbarer Algorithmus zur Kreditzuweisung und Belohnungsredistribution für CoT-Traces, der keine zusätzlichen Modelle oder extra Generierungsschritte benötigt, indem er das generierende Modell selbst zur Wertschätzung nutzt.
Entropie-basierte Segmentierung: Eine neuartige Segmentierungsstrategie, die speziell für RREDCoT entwickelt wurde und Keyword-basiertes Splitting mit Entropie-getriebener Verschmelzung kombiniert, um die Schätzung der intermediären Beiträge zu optimieren.
Theoretische und empirische Analyse: Eine detaillierte Analyse, die den vorgeschlagenen Estimator gegen Monte-Carlo-Sampling und verschiedene Attributionsmethoden (z. B. Shapley-Werte, Leave-One-Out) vergleicht und zeigt, dass Attributionsmethoden, die nicht auf korrekte Lösungen konditioniert sind, andere Aspekte der Generierung erfassen als die Belohnungsredistribution.

Experimentelle Ergebnisse

Die Autoren evaluierten RREDCoT auf mehreren Benchmarks, einschließlich AIME, MATH und Minerva Datensätzen.

Long-Context Performance: Auf dem Numina-CoT-Datensatz mit Generierungslängen von bis zu 25k Tokens demonstrierte RREDCoT eine überlegene Leistung im Vergleich zu Standard-GRPO. Beispielsweise erreichte RREDCoT beim Qwen3-4B Instruct Modell einen AIME24-Score von 0,908 gegenüber 0,850 bei GRPO.
Kleinskalige Verfeinerung: Bei der Anwendung auf kleine Reasoning-Modelle (1,5 Milliarden Parameter) zur Online-Verfeinerung zeigte RREDCoT kompetitive oder überlegene Ergebnisse im Vergleich zu Modellen, die mit GRPO und Hyperparameter-Tuning trainiert wurden, insbesondere bei den AMC23- und MATH500-Benchmarks.
Varianz und Bias: Die Studie zeigte, dass während abgeschnittenes Monte-Carlo-Sampling zu einem signifikanten Verlust gültiger Vervollständigungen führt (was Bias einführt), der Estimator von RREDCoT bei einem Bruchteil der Rechenkosten gut mit den Ergebnissen des MC-Samplings übereinstimmt.
Korrelationsanalyse: Die Arbeit stellte fest, dass gradientenbasierte und Leave-One-Out (LOO) Attributionsmethoden hochgradig miteinander korrelieren, aber weniger mit RREDCoT. Dies deutet darauf hin, dass Attributionsmethoden andere Signal-Eigenschaften erfassen als die Belohnungsredistribution und die alleinige Verwendung von Attribution zur Gewichtung des Trainings redundant oder suboptimal sein kann.

Bedeutung und Behauptungen

Das Paper behauptet, dass RREDCoT die Probleme der hohen Varianz und der verzögerten Belohnung adressiert, die beim RL-Fine-Tuning von Reasoning-Modellen inhärent sind. Durch die Redistribution der Belohnungen auf intermediäre Segmente basierend auf den prädiktiven Fähigkeiten des Modells selbst beschleunigt die Methode die Konvergenz und verbessert die Endleistung, ohne die rechnerischen Einschränkungen des Monte-Carlo-Samplings zu erleiden.

Die Autoren betonen, dass ihr Ansatz eine handhabbare Approximation der optimalen Belohnungsredistribution ist. Sie merken an, dass die Methode auf der Verfügbarkeit von Referenzlösungen und einer gewissen Subgoal-Struktur (z. B. eindeutige Lösungen in Mathematikproblemen) beruht. Während die Methode einen Rechenaufwand von 1,5–2x im Vergleich zu naivem GRPO verursacht, ist sie signifikant effizienter als volles Monte-Carlo-Sampling. Die Arbeit positioniert RREDCoT sowohl als Verstärker des Trainingssignals als auch als Analysewerkzeug, das eine neue Perspektive auf die Kreditzuweisung bietet, die sich von traditionellen Attributionstechniken unterscheidet.