💬 NLP

Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$ -Divergence Regularization

Dieser Beitrag stellt Future-KL Regularized Policy Optimization (FRPO) vor, eine ohne Kritiker auskommende Methode, die die KL-Regularisierung auf Token-Ebene von GRPO korrigiert, indem sie einen kausalen zukunftsgerichteten Return-to-Go integriert, der aus $f$ -Divergenz abgeleitet ist, und dadurch die Leistung beim mathematischen Schlussfolgern verbessert, während gleichzeitig eine höhere Entropie und eine geringere Policy-Drift aufrechterhalten werden.

Ursprüngliche Autoren: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, zu denken

Stellen Sie sich vor, Sie bringen einem Roboter (einer KI) bei, Matheprobleme zu lösen. Sie geben ihm eine Aufgabe, und er versucht, eine lange, schrittweise Lösung zu schreiben. Um sicherzustellen, dass er nicht einfach zufällig rät oder den Faden verliert, nutzen Sie einen „Lehrer" (ein Referenzmodell), der seine Arbeit überprüft.

Das Papier konzentriert sich auf eine spezifische Trainingsmethode namens GRPO (Group Relative Policy Optimization). Stellen Sie sich GRPO wie einen Klassenraum vor:

Der Roboter generiert mehrere Antworten auf dasselbe Matheproblem (eine „Gruppe").
Ein Verifizierer prüft sie: „Haben Sie die richtige Endzahl erhalten?" (Ja/Nein).
Der Roboter lernt, indem er seine Antworten mit denen seiner Klassenkameraden vergleicht. Wenn eine Antwort besser ist als die anderen, bekommt der Roboter ein „High Five" (Belohnung). Wenn sie schlechter ist, bekommt er einen „Daumen runter".

Das Problem: Die „lokale" Strafe vs. die „zukünftige" Kosten

Beim Standard-Training gibt es eine Regel, die verhindert, dass der Roboter seine Persönlichkeit zu stark verändert. Dies nennt man KL-Regularisierung. Es ist wie eine „Bleiben Sie auf Ihrer Spur"-Regel. Wenn der Roboter anfängt, Dinge zu schreiben, die sich stark von dem ursprünglichen Lehrer unterscheiden, wird er bestraft.

Der alte Weg (der Fehler):
Derzeit wenden die meisten Systeme diese Strafe Token für Token (wort für wort) als einfache „Strafe" am Ende des Satzes an.

Analogie: Stellen Sie sich einen Fahrer vor, der eine lange Reise macht. Das alte System prüft nur, ob der Fahrer zum genauen Zeitpunkt, an dem er an einem Polizeiauto vorbeifährt, zu schnell fährt. Es ignoriert die Tatsache, dass der Fahrer, wenn er vor 10 Meilen eine falsche Abzweigung nahm, nun 10 Meilen vom Kurs abgekommen ist. Das System behandelt jede Meile als isoliertes Ereignis.

Die Erkenntnis des Papiers:
Die Autoren stellten fest, dass in einer langen Kette von Überlegungen (wie einem mathematischen Beweis) jedes Wort, das Sie schreiben, den Pfad für alle Wörter verändert, die danach kommen.

Die „zukünftige" Kosten: Wenn der Roboter früh im Satz eine leichte Abweichung macht, zwingt dies alle zukünftigen Wörter, ebenfalls abzuweichen, um Sinn zu ergeben. Die „Kosten" dieses frühen Fehlers sind nicht nur der Fehler selbst, sondern die kumulierten Kosten aller zukünftigen Wörter, die diesen falschen Weg folgen müssen.
Das fehlende Signal: Das alte System ignoriert diese „zukünftigen Kosten". Es bestraft nur das aktuelle Wort, nicht die Wellenwirkung, die es erzeugt.

Die Komplikation: Warum man sie nicht einfach mischen kann

Das Papier weist auch auf ein kniffliges mathematisches Problem hin, das damit zusammenhängt, wie GRPO funktioniert.

Der nichtlineare Score: GRPO betrachtet nicht nur den rohen Score (0 oder 1). Es normalisiert die Scores innerhalb der Gruppe (wie das Rangieren von Schülern in einer Klasse). Dies erzeugt eine seltsame, gekrümmte Beziehung zwischen dem Score und der Belohnung.
Die Kollision: Wenn Sie versuchen, die „Bleiben Sie auf Ihrer Spur"-Strafe direkt in den Score zu mischen, bevor die Schüler gerankt werden, brechen Sie die Mathematik. Es ist, als würde man versuchen, eine „Verspätungsstrafe" zum Notendurchschnitt eines Schülers hinzuzufügen, bevor man seinen Klassenrang berechnet. Dies verzerrt das Rangsystem und ruiniert das Lernsignal.

Die Lösung: FRPO (Future-KL Regularized Policy Optimization)

Die Autoren schlagen eine neue Methode namens FRPO vor. So funktioniert sie, Schritt für Schritt:

Schritt 1: Die Antworten ranken (Der Vorteil). Berechnen Sie zunächst die Belohnung ausschließlich basierend auf der endgültigen Matheantwort. Ranken Sie die Gruppe der Antworten, um zu sehen, welche gut und welche schlecht waren. Dies ist der „Gruppenvorteil".
Schritt 2: Die zukünftige Strafe hinzufügen (Die Korrektur). Nachdem das Ranking abgeschlossen ist, gehen Sie zurück und betrachten jedes einzelne Wort in den Gewinnern und Verlierern der Antworten.
- Für jedes Wort berechnen Sie nicht nur seine eigene Strafe, sondern die Summe der Strafen für alle Wörter, die danach kommen.
- Analogie: Stellen Sie sich ein Staffellauf vor. Das alte System bestrafte nur den Läufer, der das Stäbchen fallen ließ. Das neue System bestraft den Läufer, der das Stäbchen fallen ließ, plus die Tatsache, dass die nächsten drei Läufer nun langsamer laufen müssen, um aufzuholen. Es vergibt Punkte (oder Schuld) basierend auf der gesamten zukünftigen Reise, die das aktuelle Wort in Gang setzt.
Schritt 3: Aktualisieren. Kombinieren Sie den „Gruppenrang" mit dieser neuen „zukünftigen Strafe", um das Gehirn des Roboters zu aktualisieren.

Warum es wichtig ist (Die Ergebnisse)

Das Papier testete dies an großen Sprachmodellen, die schwierige Matheprobleme lösen (wie sie in High-School-Wettbewerben vorkommen).

Bessere Scores: Die neue Methode (FRPO) löste mehr Probleme korrekt als die alten Methoden.
Weniger Drift: Der Roboter blieb näher an seiner ursprünglichen „Lehrer"-Persönlichkeit. Er wurde nicht verrückt oder fing an, Unsinn zu halluzinieren, nur um einen hohen Score zu erzielen.
Mehr Kreativität: Der Roboter behielt ein gesundes Maß an „Entropie" (Vielfalt in seinem Denken) bei. Er wurde nicht zu einem langweiligen, repetitiven Roboter, ging aber auch nicht den Faden verloren.

Zusammenfassung

Das Papier argumentiert, dass man beim Trainieren von KI zum Denken nicht nur dafür bestrafen darf, welches Wort sie gerade jetzt sagt. Man muss sie für den zukünftigen Pfad bestrafen, den dieses Wort erschafft. Indem man eine „zukünftige Kosten"-Berechnung zum Trainingsprozess hinzufügt, lernt die KI kohärenter zu denken, löst schwierigere Probleme und bleibt stabil, ohne dass ein komplexes „Kritiker"-Modell benötigt wird, das über sie wacht.

Kurz gesagt: Bestrafen Sie den Fahrer nicht nur dafür, dass er gerade zu schnell fährt; bestrafen Sie ihn für die falsche Abzweigung, die er vor 10 Meilen genommen hat, die ihn dazu brachte, aufzustocken, um wieder auf Kurs zu kommen. Das ist die „Future-KL"-Erkenntnis.

Technischer Zusammenfassung: Future-KL regularisierte GRPO

Problemstellung
Group Relative Policy Optimization (GRPO) hat sich als dominantes Paradigma für kritisatorfreies Reinforcement Learning (RL) im Nachtraining von Large Language Models (LLM), insbesondere für mathematisches Schlussfolgern, etabliert. GRPO eliminiert die Notwendigkeit einer gelernten Wertfunktion, indem es Ergebnisbelohnungen innerhalb einer Gruppe von gesampelten Antworten normalisiert. Standardimplementierungen der KL-Regularisierung in GRPO behandeln die Strafe jedoch typischerweise als lokale, verlustseitige Token-Strafe (z. B. unter Verwendung des $k_3$ -Schätzers).

Die Autoren identifizieren einen fundamentalen Fehler in diesem Ansatz: Er ignoriert die durch autoregressive Generierung induzierte Prozess-Level-Credit-Assignment. In einer autoregressiven Trajektorie verursacht ein früher Token nicht nur seine eigene lokale Regularisierungskosten, sondern verändert auch die Verteilung zukünftiger Präfixe und beeinflusst dadurch die KL-Kosten aller nachfolgenden Token. Standard-lokale Verlustterme differenzieren nur die Strafe des gesampelten Tokens und lassen den kausalen „zukünftigen Regularisierungs-Rücklauf" (future-regularization return-to-go) außer Acht.

Darüber hinaus hebt die Arbeit eine strukturelle Inkompatibilität zwischen der Gruppennormalisierung von GRPO und Standard-KL-in-Belohnungs-Formulierungen hervor. Im Gegensatz zu linearen Belohnungszielen (z. B. MaxEnt RL), bei denen Belohnung und Regularisierer verschmelzbar sind, induziert die Gruppennormalisierung von GRPO eine nicht-lineare Prompt-Level-Nützlichkeit (speziell eine Arcsin-Transformation für binäre Belohnungen). Diese Nichtlinearität bedeutet, dass das Hinzufügen von KL-Strafen zu Belohnungen vor der Normalisierung das implizite Ziel verzerrt, Token-Level-KL-Informationen in einen einzigen Trajektorien-Level-Skalar kollabiert und das korrekte Gradientensignal nicht erhält.

Methodik
Die Arbeit leitet den on-policy-Policy-Gradienten für GRPO-ähnliche Ziele unter allgemeiner tokenweiser $f$ -Divergenz-Regularisierung ab. Die zentrale theoretische Erkenntnis ist, dass sich der Gradient in zwei verschiedene Terme mit unterschiedlichen Skalierungseigenschaften zerlegt:

Der Belohnungsterm: Geerbt von der nicht-linearen Nützlichkeit $\ell(p)$ , trägt dieser Term einen promptabhängigen Gewinn $\ell'(p)$ . Für binäre Belohnungen wird damit der standardisierte GRPO-Vorteil wiederhergestellt.
Der Regularisierertterm: Dieser Term ist unabhängig von $\ell'$ und zerfällt in eine lokale Token-Strafe plus einen kausalen zukünftigen Regularisierungs-Rücklauf.

Basierend auf dieser Ableitung schlagen die Autoren Future-KL regularisierte Policy-Optimierung (FRPO) vor. Der Algorithmus modifiziert das Standard-GRPO-Update auf entkoppelte Weise:

Berechnung des gruppen-normalisierten Ergebnisvorteils ( $\hat{A}^{GRPO}$ ) strikt aus den ursprünglichen Verifizierer-Belohnungen, wobei die implizite nicht-lineare Nützlichkeit erhalten bleibt.
Konstruktion eines Token-Level-zukünftigen-KL-Korrekturterms durch Berechnung der reversen kumulativen Summe der pro-Token-Log-Verhältnisse ( $\delta_{i,j} = \log \frac{\pi_\theta}{\pi_{ref}}$ ) vom aktuellen Token bis zum Ende der Trajektorie.
Addition dieses zukünftigen-KL-Terms zum Vorteil nach der Vorteilskonstruktion, anstatt die Belohnung vor der Normalisierung zu formen.

Die Update-Regel für einen Token $t$ in Antwort $i$ lautet:
$\hat{A}^{FRPO}_{i,t} = \text{sg}\left( \hat{A}^{GRPO}_i - \beta \sum_{j=t}^{T_i} \delta_{i,j} \right)$
wobei $\text{sg}$ den Stop-Gradienten bezeichnet. Dieser Ansatz erfordert keinen Kritiker, keine zusätzlichen Modellpasses und behält denselben Rechenaufwand wie Standard-GRPO bei.

Hauptbeiträge

Identifikation nicht-linearer Nützlichkeit: Die Arbeit zeigt, dass die Gruppennormalisierung von GRPO eine nicht-lineare Nützlichkeit induziert ( $\ell(p) = 2 \arcsin \sqrt{p}$ für binäre Belohnungen), wodurch Belohnung und KL nicht verschmelzbar sind. Das Hinzufügen von KL zu Belohnungen vor der Normalisierung verzerrt das Ziel strukturell.
Ableitung des On-Policy-Gradienten: Die Autoren leiten den korrekten on-policy-Gradienten für tokenweise $f$ -Divergenz-Regularisierung ab und zeigen, dass dieser einen zukünftigen Regularisierungs-Rücklauf-Term erfordert, der in verlustseitigen Implementierungen fehlt.
FRPO-Algorithmus: Sie schlagen FRPO vor, ein einfaches, entkoppeltes Update, das den GRPO-Ergebnisvorteil bewahrt und die notwendige zukünftige-KL-Credit-Assignment injiziert. Diese Methode trennt Trajektorien-Level-Ranking von Prozess-Level-KL-Regularisierung.
Optimalitätsinterpretation: Die zukünftige-KL-Struktur stimmt mit den Optimalitätsbedingungen von entropie-regularisiertem RL überein, wobei die optimale Politik eine Prozess-Belohnungsform erfüllt, die zukünftige KL-Kosten beinhaltet.

Experimentelle Ergebnisse
Die Autoren bewerten FRPO an mathematischen Schlussfolgerungsaufgaben unter Verwendung von Qwen3-Basismodellen (1.7B, 4B und 30B-A3B), die auf dem DAPO-Math-17k-Datensatz trainiert wurden.

Leistung: Beim 30B-A3B-Modell verbessert FRPO pass@16 um fast 5 % absoluten Gewinn gegenüber dem stärksten Baseline (Standard-GRPO mit verlustseitigem KL) auf dem MATH500-Benchmark. Es übertrifft Baselines auch auf AIME24, AIME25 und anderen Olympiade-Level-Benchmarks.
Stabilität und Drift: FRPO behält eine höhere finale Entropie und einen geringeren Policy-Drift (gemessen durch PPO-KL) im Vergleich zu verlustseitigen KL-Baselines bei. Dies deutet darauf hin, dass die Methode lange Chain-of-Thought (CoT)-Schlussfolgerungsmuster hervorruft, ohne übermäßige Abweichung von der Referenzpolitik.
Ablation: Experimente bestätigen, dass reverse KL (mode-seeking) für diese Aufgabe besser funktioniert als forward KL (mode-covering). Die Arbeit stellt zudem fest, dass die Verwendung des $k_1$ -Schätzers (Log-Verhältnis) für den zukünftigen-KL-Term gegenüber $k_3$ bevorzugt wird, da die Nicht-Negativität von $k_3$ ein einseitiges Strafsignal erzeugt, das die Credit-Assignment behindert.
Fehlermodi: Die Arbeit beobachtet, dass „KL-in-Belohnung"-Ansätze (Hinzufügen von KL zu Belohnungen vor der Normalisierung) zu Modellkollaps oder Leistungsverschlechterung führen, was die theoretische Behauptung validiert, dass eine solche Fusion unter der nicht-linearen Nützlichkeit von GRPO strukturell falsch ist.

Bedeutung
Die Arbeit argumentiert, dass die Bedeutung dieser Arbeit in der Korrektur eines subtilen, aber kritischen Implementierungsfehlers in einem weit verbreiteten RL-Framework liegt. Durch den Perspektivenwechsel von „lokaler Verluststrafe" zu „Prozess-Level-Credit-Assignment" zeigen die Autoren, dass GRPO verbessert werden kann, ohne komplexe Wertfunktionen oder zusätzliche Rechenkosten einzuführen. Die vorgeschlagene FRPO-Methode bietet eine theoretisch fundierte, leichte Modifikation, die Schlussfolgerungsfähigkeiten verbessert und gleichzeitig die Stabilität und Generalisierungseigenschaften des Basismodells erhält. Die Arbeit unterstreicht, dass Regularisierung in autoregressiven Settings inhärent ein Prozess-Level-Signal ist und das Ignorieren der zukünftigen Kosten zu suboptimaler Credit-Assignment führt.