🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

Dieses Paper schlägt die Divergence Regularized Policy Optimization (DRPO) vor, eine neuartige RL-Methode für LLMs, welche das in bisherigen Divergenz-basierten Ansätzen verwendete harte Gradienten-Masking durch einen glatten, advantage-gewichteten quadratischen Regularisierer ersetzt, um kontinuierliche Korrektursignale bereitzustellen und die Trainingsstabilität zu verbessern.

Ursprüngliche Autoren: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr talentierten, aber etwas chaotischen Schüler (die KI), um ihn auf eine schwierige Prüfung vorzubereiten. Der Schüler hat die Grundlagen bereits gelernt, aber nun möchten Sie ihm beibringen, wie er spezifische, knifflige Probleme besser löst. Dazu geben Sie ihm Übungsaufgaben, lassen ihn antworten und sagen ihm dann „Gut gemacht!“ oder „Versuch es noch einmal!“, basierend darauf, wie gut er abgeschnitten hat. Dieser Prozess wird Reinforcement Learning (RL) genannt.

Es gibt jedoch einen Haken: Der Schüler übt in einer ruhigen Bibliothek (Training), nimmt aber an der eigentlichen Prüfung in einem lauten, chaotischen Prüfungssaal teil (Inferenz). Da die Umgebungen sich leicht unterscheiden, könnte der Schüler verwirrt werden oder seine Gewohnheiten zu drastisch ändern, was zu einem Zusammenbruch führen kann, bei dem er alles Gelernte wieder vergisst.

Um dies zu verhindern, nutzen Lehrer eine „Sicherheitszone“ (Trust Region). Diese Zone besagt: „Du darfst deine Antworten ändern, um besser zu werden, aber ändere sie nicht zu sehr, sonst verlierst du den Halt.“

Das Problem: Die alten Regeln waren zu starr

Lange Zeit nutzten Lehrer eine Methode namens PPO (Proximal Policy Optimization). Denken Sie an PPO als ein strenges Regelwerk: „Wenn sich deine Antwort um mehr als 20 % verändert hat, stopp! Streiche jegliche Anerkennung für diese Antwort.“

Das Paper weist auf zwei große Mängel dieses Ansatzes hin:

Die „Verhältnis-Falle“ (Ratio Trap): PPO misst die Veränderung, indem es betrachtet, wie stark sich die Wahrscheinlichkeit (Odds) einer Antwort geändert hat. In einer Welt mit Millionen möglicher Wörter (wie einem Wörterbuch mit über 50.000 Wörtern) könnte ein winziges, unwahrscheinliches Wort (wie „Xylophon“) von einer Chance von 0,0001 % auf 0,001 % springen. Das ist eine riesige Veränderung des Verhältnisses (10-fach!), aber es spielt im großen Ganzen kaum eine Rolle. Gleichzeitig könnte ein häufiges Wort (wie „der/die/das“) von 90 % auf 80 % sinken. Das ist eine kleine Änderung des Verhältnisses, aber eine massive Verschiebung der Bedeutung. PPO wird dadurch verwirrt, indem es seltene Wörter zu hart bestraft und die häufigen Wörter ungebremst laufen lässt.
Das „Harte Schnitt“-Problem (Hard Cut): Neuere Methoden (wie DPPO) versuchten, dies zu beheben, indem sie die tatsächliche Menge der Wahrscheinlichkeitsänderung maßen (wie das Messen der zurückgelegten Distanz statt des Prozentsatzes). Aber sie verwendeten eine „Harte Maske“. Stellen Sie sich eine Wand vor. Wenn der Schüler auch nur einen Zentimeter über die Wand tritt, klatscht der Lehrer ihm sofort auf die Hand und sagt: „Stopp! Kein weiteres Lernen für diesen Schritt.“ Es ist ein binärer Schalter: Entweder man erhält die volle Anerkennung, oder man erhält gar nichts. Dies erzeugt einen ruckeligen, instabilen Lernprozess. Wenn der Schüler nur leicht über die Wand tritt, bekommt er keine Hilfe beim Zurückgehen; er wird einfach ignoriert.

Die Lösung: DRPO (Der sanfte Wegweiser)

Die Autoren schlagen eine neue Methode namens DRPO (Divergence Regularized Policy Optimization) vor.

Anstatt einer harten Wand oder einer strikten Verhältnisregel stellen Sie sich eine intelligente, elastische Trampolinlandschaft vor, die die Sicherheitszone umgibt.

Innerhalb der Zone: Wenn der Schüler gute Veränderungen innerhalb der Sicherheitszone macht, drückt das Trampolin ihn sanft nach vorne und ermutigt ihn, die Verbesserung fortzusetzen.
Am Rand: Wenn der Schüler sich dem Rand nähert, wird das Trampolin sanfter. Es stoppt ihn nicht abrupt; es bremst ihn nur sanft ab.
Außerhalb der Zone: Wenn der Schüler versehentlich zu weit nach außen tritt (ein „schlechter“ Zug), schneidet das Trampolin ihn nicht einfach ab. Stattdessen wirft es ihn zurück. Es wendet eine sanfte, korrigende Kraft an, die sagt: „Hoppla, du bist zu weit gegangen. Lass uns dich zurück in die Mitte ziehen.“

Warum das besser funktioniert

Das Paper behauptet, dass DRPO wie ein sanfter, kontinuierlicher Wegweiser ist und nicht wie ein spröder On/Off-Schalter.

Es handhabt den „Long Tail“ besser: In der Welt der KI gibt es Tausende von seltenen Wörtern. DRPO misst die tatsächliche „Distanz“, die ein Wort zurückgelegt hat, nicht das „Verhältnis“. Das bedeutet, es wird nicht verwirrt, wenn ein seltenes Wort von fast Null auf eine winzige Zahl springt. Es behandelt die Änderung fair, unabhängig davon, wie häufig das Wort ist.
Es hört nie auf zu lernen: Selbst wenn der Schüler einen Fehler macht und außerhalb der Sicherheitszone landet, wirft DRPO die Lektion nicht einfach weg. Es nutzt den Fehler, um den Schüler sanft wieder zurückzusteuern. Dies verhindert, dass das Training instabil wird oder „abstürzt“.
Es funktioniert überall: Die Autoren haben DRPO auf verschiedene Größen von KI-Modellen (von klein bis riesig), verschiedene Arten von Computerchips und sogar, wenn der Computer mit geringerer Präzision arbeitet (wie mit einer leicht unscharfen Linse), getestet. In jedem Fall war DRPO stabiler und half der KI, schneller und besser zu lernen als die alten Methoden.

Das Fazit

Betrachten Sie die alten Methoden als einen Lehrer, der entweder „STOPP!“ schreit, sobald man einen winzigen Fehler macht, oder einen völlig ignoriert, wenn man nur leicht vom Weg abkommt.

DRPO ist wie ein weiser Coach, der sagt: „Du machst das toll, aber du kommst mir etwas zu nahe. Lass uns etwas langsamer machen. Wenn du zu weit gehst, werde ich dich sanft zurückziehen, damit du nicht fällst.“ Diese sanfte, kontinuierliche Korrektur macht den gesamten Lernprozess viel sicherer, schneller und zuverlässiger.

Technisches Resümee: Überdenken der Divergenz-Regularisierung in der LLM-RL

1. Problemstellung

Reinforcement Learning (RL) ist ein Eckpfeiler des Post-Trainings von Large Language Models (LLMs), um diese an menschliche Präferenzen anzupassen und ihre Fähigkeiten im logischen Denken zu verbessern. Das moderne LLM-RL-Training ist jedoch inhärent Off-Policy, was auf Diskrepanzen zwischen Trainings- und Inferenz-Engines (numerische Abweichungen) sowie auf die Praxis zurückzuführen ist, Rollouts in mehrere Mini-Batches aufzuteilen. Dies macht Trust Region Policy Optimization (TRPO) notwendig, um stabile Updates zu gewährleisten, indem die Divergenz zwischen der aktuellen Policy ( $\pi$ ) und der Behavior-Policy ( $\mu$ ) begrenzt wird.

Gängige Methoden stehen in diesem Zusammenhang vor zwei primären Einschränkungen:

Verhältnisbasierte Constraints (PPO, GRPO, SPO): Diese Methoden verwenden das Wichtigkeitsverhältnis (Importance Ratio) $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ , um die Trust Region zu definieren. Bei LLMs mit großen, langschwänzigen Vokabularen ist dieses Verhältnis ein schlechter Stellvertreter für die Verteilungsverschiebung. Eine geringfügige Erhöhung der Wahrscheinlichkeit eines Tokens mit niedriger Wahrscheinlichkeit kann ein enormes Verhältnis erzeugen, während die Änderung eines moderaten Verhältisses bei einem hochwahrscheinlichen Token eine signifikante Änderung der Policy bewirken kann. Dies führt dazu, dass seltene Token übermäßig eingeschränkt werden, während häufige Token unterbeschränkt bleiben.
Harte Maskierung (DPPO): Neuere Arbeiten wie Divergence Proximal Policy Optimization (DPPO) adressieren das Problem der Verhältnisse durch eine Divergenz-basierte Maske (speziell Binary-TV, welche die absolute Wahrscheinlichkeitsverschiebung $|\pi - \mu|$ misst). DPPO erzwingt die Trust Region jedoch über eine harte binäre Maske. Sobald ein Token die Grenze in eine schädliche Richtung überschreitet, wird sein Gradient verworfen (auf Null gesetzt). Dies verhindert zwar weitere Divergenz, liefert aber kein korrektives Signal, um die Policy zurück in die Trust Region zu ziehen, was zu einer brüchigen Optimierung nahe der Schwelle führt.

2. Methodik: Divergence Regularized Policy Optimization (DRPO)

Die Autoren schlagen DRPO vor, eine Methode, die die harte Maske von DPPO durch einen glatten, advantage-gewichteten quadratischen Regularisierer auf die Policy-Verschiebung ersetzt, während sie dieselbe Binary-TV-Trust-Region-Geometrie beibehält.

Kernformulierung

DRPO leitet sein Zielobjektiv ab, indem es die Binary-TV-Constraint $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ als token-adaptive Schranke für das Verhältnis umschreibt. Anstatt zu clippen, wendet es einen glatten Regularisierer auf das Surrogate-Objektiv an:

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

Hierbei gilt:

$r_t$ ist das Wichtigkeitsverhältnis (Importance Ratio).
$\hat{A}_t$ ist die geschätzte Advantage.
$\delta$ ist der Schwellenwert der Trust Region.
Der Term $\mu(y_t|s_t)$ skaliert den Regularisierer und wandelt den Strafterm von einer verhältnisbasierten $\chi^2$ -Form (wie bei SPO) in eine Form der absoluten Wahrscheinlichkeitsverschiebung ( $\ell_2^2$ ) um.

Gradientenverhalten

Der Gradient des DRPO-Objektivs führt ein kontinuierliches Gewicht $w_t$ für den Policy-Gradient jedes Tokens ein:
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

Dieses Gewicht zeigt drei wesentliche Verhaltensweisen:

Innerhalb der Trust Region: Das Gewicht ist positiv, wird aber glatt abgeschwächt, wenn sich die Verschiebung $\delta$ nähert, was Updates ermöglicht, aber mit reduzierter Magnitude.
Außerhalb der Trust Region (Divergenz): Wenn das Update sich weiter von der Behavior-Policy entfernt ( $|\pi - \mu| > \delta$ ), wird das Gewicht negativ. Dies kehrt den Gradienten um und liefert ein korrektives Signal, das die Policy zurück zur Grenze zieht – im Gegensatz zum Null-Gradienten harter Masken.
Konvergierende Updates: Wenn sich das Update zurück zur Behavior-Policy bewegt, wird das Gewicht verstärkt ( $>1$ ), was eine glatte Rückkehr zur Trust Region fördert.

Theoretische Unterscheidungen

vs. SPO: SPO verwendet einen $\chi^2$ -Typ-Regularisierer (Dividiert durch $\mu$ ), was dazu führt, dass die Gradientengewichte im "Long-Tail" von Tokens mit niedriger Wahrscheinlichkeit unbeschränkt wachsen. DRPO verwendet einen $\ell_2^2$ -Typ-Regularisierer (Multipliziert mit $\mu$ ), wodurch die Gradientengewichte unabhängig von der Token-Wahrscheinlichkeit beschränkt bleiben.
vs. DPPO: DRPO bewahrt die Binary-TV-Geometrie von DPPO, ersetzt jedoch die diskontinuierliche Maske durch einen glatten, differenzierbaren Regularisierer.

3. Zentrale Beiträge

DRPO-Algorithmus: Eine neuartige Policy-Optimierungsmethode, die harte Divergenz-Masken durch einen glatten, quadratischen Regularisierer ersetzt, der auf der absoluten Wahrscheinlichkeitsverschiebung (Binary-TV) basiert.
Beschränkte Gradientengewichte: Theoretische und empirische Demonstration, dass die Gradientengewichte von DRPO in langschwänzigen Vokabularen beschränkt bleiben und so die Instabilität vermeiden, die durch verhältnisbasierte Methoden (PPO, SPO) verursacht wird, bei denen Gewichte für Tokens mit niedriger Wahrscheinlichkeit explodieren können.
Korrekturmechanismus: Einführung eines kontinuierlichen korrektiven Signals für Updates, die die Trust Region überschreiten, wodurch der "Gradient Death" vermieden wird, der bei Hard-Mask-Ansätzen wie DPPO beobachtet wird.
Design-Prinzipien: Identifizierung von drei praktischen Kriterien für effektive Regularisierer in der LLM-RL:
- Erzeugung einer stabilen Grenze, die mit der Verteilungsverschiebung übereinstimmt (nicht nur mit Verhältnissen).
- Begrenzung der pro-Token Gradientengewichte in langschwänzigen Vokabularen.
- Bereitstellung glatter korrektiver Signale, wenn die Policy divergiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DRPO in verschiedenen Settings, einschließlich:

Modelle: Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B und DeepSeek-R1-Distill-Qwen-1.5B.
Architekturen: Dense und Mixture-of-Experts (MoE).
Präzision: BF16, FP8 (nur Rollout) und FP8 (End-to-End).
Benchmarks: AIME 2024 und AIME 2025 (Mathematische Denkaufgaben).

Wichtigste Erkenntnisse:

Stabilität: DRPO ermöglicht konsistent stabiles Training in allen Einstellungen. Im Gegensatz dazu litten verhältnisbasierte Methoden (GRPO, SPO) häufig unter Instabilität oder Kollaps, insbesondere in Low-Precision-Settings (FP8).
Performance: DRPO erreichte oder übertraf die beste Evaluierungsgenauigkeit aller Baselines. Es übertraf Hard-Mask-Methoden (DPPO) in der Konvergenzgeschwindigkeit und Endgenauigkeit.
Ablationen:
- Das Entfernen der absoluten Advantage-Gewichtung $|\hat{A}_t|$ aus dem Regularisierer führte zu Leistungsabfällen und Instabilität, was bestätigt, dass die Grenze der Trust Region unabhängig von der Reward-Skala sein muss.
- Alternative Divergenzmaße (KL, TV-Penalties) schnitten schlechter ab als DRPO, was darauf hindeutet, dass die spezifische Geometrie des Binary-TV-Regularisierers entscheidend ist.
- Die Anwendung des Regularisierers nur außerhalb der Trust Region (Mask-DRPO) lieferte eine vergleichbare Performance wie das volle DRPO, was zeigt, dass der Hauptgewinn aus der korrektiven Regularisierung außerhalb der Grenze resultiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Geometrie des Gradienten, die durch einen Regularisierer induziert wird, entscheidender ist als das nominelle Divergenzmaß im Zielobjektiv. Während frühere Arbeiten sich oft auf Standard-Divergenzen (KL, JS) konzentrierten, zeigt diese Arbeit:

Verhältnisbasierte Constraints sind aufgrund der langschwänzigen Vokabulare fundamental ungeeignet für LLMs.
Harte Masken sind zwar besser als Verhältnisse, führen aber durch das Verwerfen korrektiver Signale zu Brüchigkeit.
DRPO bietet eine einheitliche Lösung, die die geometrische Korrektheit von Divergenz-basierten Constraints (Binary-TV) mit der Optimierungsstabilität glatter Regularisierer kombiniert.

Die Autoren positionieren DRPO nicht nur als spezifischen Algorithmus, sondern als empirische Linse für das Design stabiler Policy-Optimierungsziele, wobei sie betonen, dass effektive Regularisierer gebundene, kontinuierliche und korrigierende Gradientensignale liefern müssen, um die einzigartigen Herausforderungen von LLM-RL zu bewältigen.