📊 statistics

On the optimization dynamics of RLVR: Gradient gap and step size thresholds

Dieser Artikel legt eine theoretische Grundlage für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) vor, indem er die „Gradient Gap" einführt, um die Konvergenzdynamik zu erklären, und einen kritischen Schrittweiten-Schwellenwert ableitet, der darüber entscheidet, ob das Lernen erfolgreich ist oder zusammenbricht, wodurch eine prinzipielle Erklärung für praktische Heuristiken wie die Längennormalisierung und die Stagnation der Erfolgsraten geliefert wird.

Ursprüngliche Autoren: Joe Suk, Yaqi Duan

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joe Suk, Yaqi Duan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber etwas ungeschickten Roboter beim Lösen von Matheaufgaben. Sie haben keinen Lehrer, der über ihm steht und detaillierte Rückmeldungen zu jedem einzelnen Schritt gibt. Stattdessen geben Sie ihm am ganz Ende nur ein einfaches „Ja" (1) oder „Nein" (0): „Haben Sie die richtige Antwort erhalten?"

Dies ist die Welt von RLVR (Reinforcement Learning with Verifiable Rewards / Bestärkendes Lernen mit überprüfbaren Belohnungen). So bringen wir große KI-Modelle bei, das logische Schlussfolgern zu verbessern, ohne dass für jeden einzelnen Versuch menschliche Richter benötigt werden.

Dieser Artikel versucht herauszufinden, was das „Geheimrezept" dafür ist, warum dies funktioniert, warum es manchmal spektakulär scheitert und wie man die Lerngeschwindigkeit des Roboters so justiert, dass er nicht abstürzt.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Kernproblem: Der „binäre" Feedback-Loop

Normalerweise erhalten Sie beim Lernen eine Punktzahl wie „85/100". Bei RLVR ist die Punktzahl lediglich 1 (Richtig) oder 0 (Falsch).

Die Herausforderung: Wenn der Roboter eine „0" erhält, weiß er nicht, warum er gescheitert ist. Er weiß nur, dass er etwas ändern muss. Wenn er zu viel ändert, könnte er von „völlig falsch" zu „völlig falsch auf eine andere Art" springen oder sogar vergessen, wie man geht.

2. Das neue Konzept: Die „Gradient Gap" (Der Kompass)

Die Autoren führen eine neue Idee ein, die Gradient Gap genannt wird. Betrachten Sie dies als einen Kompass.

Stellen Sie sich vor, der Roboter befindet sich in einem dunklen Raum voller Möbel (schlechte Antworten) und einer einzigen offenen Tür (die richtige Antwort).
Die „Gradient Gap" ist der Vektor, der direkt von den Möbeln zur Tür zeigt.
Der Artikel beweist, dass die Updates des Roboters (seine Schritte) mit diesem Kompass übereinstimmen müssen, damit er lernt. Wenn der Roboter versucht, in eine Richtung zu gehen, die nicht mit dem Kompass übereinstimmt, kommt er der Tür nicht näher, egal wie sehr er sich bemüht.

3. Die Gefahrenzone: Die „Schrittgröße" (Das Tempo)

Dies ist die wichtigste Erkenntnis des Artikels. Der Roboter muss Schritte machen, um zu lernen, aber die Größe dieser Schritte ist eine Frage von Leben und Tod für den Trainingsprozess.

Die Goldilocks-Zone: Es gibt eine bestimmte „sichere Geschwindigkeit" zum Lernen.
- Zu langsam: Der Roboter lernt, aber es dauert ewig.
- Genau richtig: Der Roboter geht stetig auf die Tür zu und findet sie schließlich.
- Zu schnell (Das „Überschießen"): Dies ist die große Warnung des Artikels. Wenn der Roboter einen Schritt macht, der zu groß ist, verfehlt er die Tür nicht nur; er fliegt vorbei an der Tür, kracht gegen die Wand und landet an einem schlechteren Ort als dort, wo er begonnen hat.
- Der „Zusammenbruch": Der Artikel beweist mathematisch, dass bei einer zu großen Schrittgröße die Leistung des Roboters nicht nur stagniert; sie wird aktiv immer schlechter, bis sie 0% Erfolg erreicht. Es ist wie ein Skifahrer, der einen Hügel hinunterfährt und versucht, bei hoher Geschwindigkeit zu scharf zu wenden, woraufhin er überschlägt.

4. Warum die Länge wichtig ist (Die „lange Wanderung"-Analogie)

Der Artikel untersucht auch, wie lang die Antwort des Roboters ist.

Kurze Antwort: Eine kurze Antwort ist wie ein kurzer Spaziergang. Man kann einen relativ großen Schritt machen, ohne das Gleichgewicht zu verlieren.
Lange Antwort: Eine lange Antwort (wie ein komplexer mathematischer Beweis mit vielen Schritten) ist wie eine lange, gewundene Wanderung.
Die Entdeckung: Je länger die Antwort ist, desto kleiner muss die Schrittgröße sein.
Bezug zur Realität: Dies erklärt, warum beliebte KI-Tricks wie „Length Normalization" (Aufteilung des Lernsignals durch die Länge der Antwort) funktionieren. Sie sagen dem Roboter im Grunde: „Hey, diese Antwort ist lang, also mache kleinere, sicherere Schritte." Ohne dies versucht der Roboter, auf einem langen Weg riesige Sprünge zu machen und stürzt den Abhang hinunter.

5. Die „Stagnation"-Falle

Selbst wenn der Roboter nicht abstürzt, kann er stecken bleiben.

Wenn die Schritte des Roboters zu klein sind oder er in die falsche Richtung geht (nicht mit der Gradient Gap ausgerichtet), wird er an einer „Decke" hängen bleiben.
Der Artikel zeigt, dass der Roboter bei einer festen Lernrate sehr gut werden kann (sagen wir, 90 % richtig), dann aber stagniert und niemals 100 % erreicht. Er bleibt auf einem Plateau stecken, weil sich die „Schrittgröße" nicht anpasst, je näher er dem Ziel kommt.

6. Wie sie es getestet haben

Die Autoren haben nicht nur Mathematik auf Papier betrieben. Sie haben:

Es simuliert: Sie erstellten einfache Computerspiele (wie einen Spielautomaten mit 100 Knöpfen), um ihre Mathematik bezüglich Schrittgrößen und Ausrichtung zu beweisen.
Realwelt-Test: Sie nahmen eine echte, leistungsstarke KI zur Lösung von Matheaufgaben (Qwen2.5-Math-7B) und trainierten sie an schwierigen Matheaufgaben. Sie beobachteten die „Gradient Gap" und die „Schrittgröße" in Echtzeit und bestätigten, dass ihre Theorie genau vorhersagte, wann das Modell schnell lernte, wann es stagnierte und wann es abstürzte.

Zusammenfassung

Dieser Artikel liefert das „Bedienhandbuch" für das Tuning des KI-Trainings, wenn man nur eine einfache Ja/Nein-Belohnung hat.

Der Kompass: Sie müssen sicherstellen, dass sich der Roboter in die richtige Richtung bewegt (Gradient Gap).
Das Tempo: Sie müssen die Schrittgröße basierend auf der Länge der Antwort anpassen.
Die Warnung: Wenn Sie sich zu schnell bewegen, wird der Roboter abstürzen und alles verlernen. Wenn Sie sich zu langsam bewegen oder in die falsche Richtung, wird er stecken bleiben.

Er verwandelt die „Black Box" des KI-Trainings in eine Reihe klarer, mathematischer Regeln für Stabilität.

Technische Zusammenfassung: Zur Optimierungsdynamik von RLVR

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als dominantes Paradigma für das Nachtrainieren von Large Language Models (LLMs) bei Aufgaben mit automatisch überprüfbaren Ergebnissen etabliert, wie etwa mathematisches Schlussfolgern und Code-Generierung. Im Gegensatz zum traditionellen Reinforcement Learning aus menschlichem Feedback (RLHF) stützt sich RLVR auf spärliche, binäre Erfolgs-/Misserfolgs-Signale anstelle von erlernten Belohnungsmodellen oder menschlichen Präferenzen. Obwohl Algorithmen wie Group Relative Policy Optimization (GRPO) und seine Varianten (z. B. DAPO, Dr. GRPO) erhebliche empirische Erfolge gezeigt haben, bleibt das theoretische Verständnis ihrer Optimierungsdynamik begrenzt. Praktiker verlassen sich häufig auf Heuristiken – wie etwa die Längen-Normalisierung oder die varianzbasierte Skalierung der Belohnung –, um das Training zu stabilisieren, doch die Bedingungen, unter denen diese Methoden konvergieren, stagnieren oder katastrophal versagen, sind nicht rigoros charakterisiert. Dieser Beitrag schließt die Lücke zwischen empirischer Leistung und theoretischem Verständnis durch die Analyse der Konvergenzgarantien von Policy-Gradient-Methoden unter binären Belohnungen.

Methodik

Die Autoren entwickeln einen theoretischen Rahmen, um die Trainingsdynamik von RLVR auf zwei Granularitätsebenen zu analysieren: auf der Trajektorien-Ebene (Behandlung der gesamten Antwort als eine einzige Einheit) und auf der Token-Ebene (Berücksichtigung des autoregressiven Generierungsprozesses).

Kernkonzepte

Gradient Gap: Die Arbeit führt eine neue Größe ein, den Gradient Gap ( $g^+_q - g^-_q$ ), definiert als die Differenz zwischen den erwarteten Score-Funktionen (Gradienten der Log-Wahrscheinlichkeit) über den Raum der korrekten Antworten ( $O^+_q$ ) und der fehlerhaften Antworten ( $O^-_q$ ). Diese Lücke formalisiert die wahre Verbesserungsrichtung, die erforderlich ist, um die Policy von Bereichen niedriger Belohnung in Bereiche hoher Belohnung zu verschieben.
Gap Alignment: Die Autoren definieren das Gap Alignment ( $\Delta\mu_q$ ) als das Skalarprodukt zwischen der tatsächlichen Update-Richtung ( $w_k$ ) und dem Gradient Gap. Diese Metrik quantifiziert, wie gut die Update-Richtung des Algorithmus mit dem wahren Ziel übereinstimmt.
Kumulatives Gap Alignment: Um das langfristige Verhalten zu charakterisieren, definiert die Arbeit eine kumulative Metrik ( $M_q(K)$ ), die das Alignment-Signal über die Trainingsiterationen hinweg aggregiert, gewichtet mit der Schrittweite.

Theoretische Analyse

Die Analyse stützt sich auf Standard-Regularitätsannahmen bezüglich der Glattheit und Beschränktheit der Policy-Score-Funktion (Annahmen 1 und 2) sowie auf die sub-exponentielle Natur der Antwortlängen (Annahme 3).

Analyse auf Trajektorien-Ebene: Die Autoren leiten Schranken für die Änderung der Log-Odds der Erfolgsrate ( $J_q$ ) pro Update-Schritt ab. Sie zeigen, dass die Verbesserung erster Ordnung durch das Gap Alignment getrieben wird, während Terme zweiter Ordnung (insbesondere die Varianz des negativen Raums) Instabilität verursachen können, wenn die Schrittweite zu groß ist.
Analyse auf Token-Ebene: Durch die Zerlegung des Gradienten in tokenweise Beiträge verfeinern die Autoren die Konvergenzschranken. Diese Analyse integriert explizit die Antwortlänge ( $T_\infty, T_{\psi_1}$ ) und zeigt, dass die effektive Schrittweite invers zur Sequenzlänge skalieren muss, um eine Divergenz zu verhindern.

Hauptbeiträge

1. Einheitlicher theoretischer Rahmen für RLVR

Die Arbeit bietet einen fundierten Rahmen, der auf jede auf Policy-Gradienten basierende Methode (einschließlich REINFORCE, GRPO und Dr. GRPO) anwendbar ist, die unter binären Belohnungen operiert. Sie vereinheitlicht die Analyse dieser Algorithmen, indem sie ihre Dynamik durch die Linse des Gradient Gap und des Gap Alignment charakterisiert.

2. Scharfe Schwellenwerte für die Schrittweite

Ein zentraler theoretischer Beitrag ist die Herleitung eines scharfen Schwellenwerts für die Schrittweite, der Konvergenz von Divergenz trennt.

Konvergenz: Die Arbeit beweist, dass die Policy gegen die optimale Lösung konvergiert ( $J_q \to 1$ ), wenn die Schrittweite ( $\eta_k$ ) adaptiv so skaliert wird, dass sie proportional zum Gap Alignment und umgekehrt proportional zur Varianz und zur Antwortlänge ist.
Katastrophales Versagen: Umgekehrt beweisen die Autoren, dass, wenn die Schrittweite einen bestimmten Schwellenwert überschreitet (selbst wenn die Update-Richtung perfekt ausgerichtet ist), der Optimierungsprozess überschießt, was zu einer strikten Abnahme der Erfolgsrate und einer Konvergenz gegen Null führt. Dies erklärt die in der Praxis beobachteten „Collapse"-Phänomene.

3. Erklärung praktischer Heuristiken

Die Theorie bietet eine rigorose Begründung für gängige Ingenieurspraktiken:

Längen-Normalisierung: Die Analyse auf Token-Ebene zeigt, dass die effektive Lernrate mit zunehmender Antwortlänge schrumpfen muss. Dies liefert eine theoretische Basis dafür, warum die Längen-Normalisierung (wie in GRPO verwendet) das Training stabilisiert, während Methoden ohne diese Normalisierung (wie bestimmte Formulierungen von Dr. GRPO) bei längeren Sequenzen Schwierigkeiten haben können.
Stagnation: Die Arbeit erklärt, warum feste Lernraten zu einer Stagnation bei Erfolgsraten führen können, die strikt unter 100 % liegen. Da sich die Policy verbessert, ändert sich die Varianzstruktur, und eine feste Schrittweite kann schließlich die Konvergenzschwelle verletzen, wodurch der Algorithmus zum Stillstand kommt oder oszilliert.

4. Empirische Validierung

Die theoretischen Vorhersagen werden durch folgende Experimente validiert:

Kontextuelle Bandit-Simulationen: Experimente mit synthetischen Bandit-Problemen demonstrieren die logistische Beziehung zwischen kumulativem Gap Alignment und Genauigkeit und bestätigen das Vorhandensein distincter Konvergenz- und Stagnationsregime.
LLM-Experimente: Die Autoren haben das Modell Qwen2.5-Math-7B auf den Datensätzen GSM8K, DeepScaleR und DAPO-17k mit GRPO feinabgestimmt. Die empirischen Daten zeigen eine starke Korrelation zwischen dem kumulativen Gap Alignment und der Genauigkeit des Modells, die eng mit den theoretischen Untergrenzen übereinstimmt.

Ergebnisse

Konvergenzgarantien: Die Arbeit stellt fest, dass die Konvergenz zu einer perfekten Leistung garantiert ist, wenn das kumulative Gap Alignment gegen Unendlich divergiert ( $M_q(K) \to \infty$ ).
Stagnationsschranken: Wenn das Alignment-Signal schwach ist oder die Schrittweite zu groß ist, ist die Leistung strikt unter 1 beschränkt, was verhindert, dass das Modell 100 % Genauigkeit erreicht.
Versagensmodi: Die Autoren konstruieren spezifische Problemstellungen, bei denen eine konstante Schrittweite trotz positivem Alignment zu einer monotonen Leistungsabnahme bis auf Null führt, was das Vorhandensein eines Regimes „katastrophalen Versagens" bestätigt.
Gradientennormen vs. Belohnung: Die Arbeit stellt fest, dass die Summe der Policy-Gradientennormen konvergieren kann, selbst wenn die Belohnung dies nicht tut, was darauf hindeutet, dass herkömmliche gradientenbasierte Konvergenzkriterien für RLVR unzureichend sind; das Gap Alignment ist ein schärferer Indikator für die Verbesserung der Belohnung.

Bedeutung

Die Arbeit beansprucht, die erste rigorose theoretische Grundlage für die Optimierungsdynamik von RLVR zu liefern. Indem sie über black-box empirische Beobachtungen hinausgeht, identifiziert sie den Gradient Gap als fundamentalen Treiber des Lernens und den Schwellenwert der Schrittweite als kritischen Kontrollparameter für die Stabilität.

Die Bedeutung liegt in ihrer Fähigkeit:

RLVR zu entmystifizieren: Sie erklärt, warum bestimmte Algorithmen (wie GRPO mit Längen-Normalisierung) funktionieren, während andere versagen, und verschiebt das Feld von einer intuitionsbasierten Feinabstimmung hin zu einem theoriegeleiteten Design.
Hyperparameter-Tuning zu leiten: Sie liefert konkrete, mathematisch hergeleitete Bedingungen für die Auswahl der Schrittweite und bietet einen Weg, katastrophalen Zusammenbruch und Stagnation zu vermeiden.
Algorithmisches Verhalten zu charakterisieren: Sie klärt die Grenzen fester Lernraten und die Notwendigkeit einer adaptiven Skalierung in Relation zur Antwortlänge und zur Aufgabenschwierigkeit auf und bietet eine theoretische Erklärung für die beobachtete Stagnation der Korrekturraten in aktuellen RLVR-Pipelines.

Die Autoren schließen, dass ihr Rahmen die Dynamik populärer Ansätze charakterisiert und zukünftige Richtungen vorschlägt, wie etwa prompt-adaptive Updates und curriculum-basiertes Training, um die Stabilität und Konvergenz bei diversen Prompt-Verteilungen weiter zu verbessern.