🤖 machine learning

Predictive Divergence Masks for LLM RL

Dieses Paper schlägt Predictive Divergence Masks vor, eine neuartige Methode für das Reinforcement Learning von LLMs, welche das verhältnisbasierte Richtungskriterium von PPO durch eine geschlossene Vorhersage darüber ersetzt, ob der nächste Gradientenschritt die Wahrscheinlichkeitsdivergenz, die für das Proximitätskriterium verwendet wird, erhöhen oder verringern wird, wodurch die Trainingsstabilität und die Leistung über verschiedene Modellskalen hinweg verbessert werden.

Ursprüngliche Autoren: Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter das Geschichtenerzählen bei. Sie möchten, dass der Roboter aus seinen Fehlern lernt, aber Sie haben eine strikte Regel: „Ändere deinen Schreibstil nicht zu radikal auf einmal.“ Wenn der Roboter zu enthusiastisch wird und anfängt, mit einer völlig anderen Stimme zu schreiben, müssen Sie die Bremse ziehen. Das ist die Aufgabe von Reinforcement Learning (RL) für Large Language Models (LLMs).

Lange Zeit war die Standardmethode, um diese Bremsen zu ziehen, eine Methode namens PPO. Sie funktionierte wie eine einfache Ampel basierend auf einem einzelnen Wort. Jedes Mal, wenn der Roboter ein Wort wählte, prüfte das System: „Ist dieses Wort viel wahrscheinlicher als das, was der Roboter normalerweise wählt? Und sagt uns die Belohnung, dass es noch wahrscheinlicher werden soll?“ Wenn die Antwort auf beides „Ja“ lautete, sagte das System: „Stopp! Das ist zu weit!“ und ignorierte die Lektion dieses Wortes.

Aber hier liegt das Problem: Der Roboter wählt nicht nur ein einzelnes Wort; er ordnet seine gesamte Persönlichkeit (seine Wahrscheinlichkeitsverteilung) neu an, um dieses Wort zu wählen. Die alte Methode betrachtete nur das einzelne Wort, das er gewählt hatte, so als würde man ein ganzes Orchester beurteilen, indem man nur auf eine einzige Violine hört. Sie übersah, wie sich der Rest der Musik veränderte.

Die neue Idee: Die „Predictive Divergence Mask“

Ein Team von Forschern von Tencent, UIUC und NUS erkannte, dass diese Sichtweise auf ein einzelnes Wort irreführend war. Sie schlugen eine neue Regel vor, die die Predictive Divergence Mask genannt wird.

Anstatt nur auf das eine Wort zu schauen, das der Roboter gewählt hat, stellt diese neue Methode eine größere Frage: „Wenn wir diesen Schritt machen, wird sich die gesamte Persönlichkeit des Roboters weiter von seinem ursprünglichen Selbst entfernen?“

Stellen Sie sich das so vor:

Der alte Weg (PPO): Sie sehen ein Kind, das auf eine Klippe zuläuft. Sie prüfen, ob dieser spezifische Schritt gefährlich ist. Wenn ja, rufen Sie „Stopp!“.
Der neue Weg (Predictive Divergence): Sie sehen das Kind laufen. Sie betrachten den gesamten Pfad. Selbst wenn dieser spezifische Schritt harmlos aussieht, kann es sein, dass der Schwung des Kindes dazu führt, dass es sich gleich um die eigene Achse dreht und auf eine andere Klippe zustürzt. Die neue Methode sagt den gesamten Wirbel voraus, bevor sie den Schritt zulässt.

Wie es funktioniert (Die magische Mathematik)

Die Forscher fanden einen cleveren mathematischen Trick, um diesen „gesamten Wirbel“ vorherzusagen, ohne erst eine Simulation durchführen zu müssen.

Der lokale Term: Dies ist der Teil, den die alte Methode bereits kannte. Es ist die Änderung des spezifischen Wortes, das der Roboter gewählt hat.
Der globale Term: Dies ist das neue Geheimrezept. Er berücksichtigt, wie die Änderung eines Wortes den Roboter dazu zwingt, die Wahrscheinlichkeiten aller anderen Wörter anzupassen, die er nicht gewählt hat (da die Gesamtwahrscheinlichkeit immer 100 % ergeben muss).

Die alte Methode ignorierte den Globalen Term. Die neue Methode addiert ihn hinzu. Wenn die Mathematik zeigt, dass die gesamte Persönlichkeit des Roboters zu weit abdriftet, blockiert die Maske das Update. Wenn die Mathematik zeigt, dass der Roboter tatsächlich zurück in Richtung Sicherheit driftet, wird das Update zugelassen.

Das „Top-K“-Problem

Es gibt einen Haken. In der realen Welt zeigt die Engine des Roboters (die Rollout-Engine) nur die 20 wahrscheinlichsten Wörter (die „Top-K“) an, um Zeit und Speicher zu sparen. Sie verbirgt die tausenden anderen Wörter in einem „Tail“-Behälter (Schwanz-Verteilung).

Um ihre Vorhersage mit dieser begrenzten Sichtweise funktionsfähig zu machen, erfanden die Forscher zwei leichtgewichtige Schätzer:

Der Aggregated-Tail Estimator: Er tut so, als wären alle verborgenen Wörter ein einziger riesiger Klumpen.
Der Uniform-Tail Estimator: Er tut so, als wären die verborgenen Wörter alle gleich wahrscheinlich.

Sie fanden heraus, dass beide Methoden fast exakt gleich funktionieren, da die Top-20-Wörter normalerweise fast die gesamte Wahrscheinlichkeit (über 99 %) halten. Es ist, als würde man das Wetter anhand des Himmels erraten; man muss nicht jede einzelne Wolke zählen, um zu wissen, ob es regnen wird.

Was die Experimente zeigten

Das Team testete dies an verschiedenen Größen von Robotern (Modelle von 4 bis 30 Milliarden Parametern) und testete sie sogar, wenn sie in „FP8“-Präzision liefen (ein super schneller, etwas weniger präziser Mathematikmodus, der die Trainings- und Schreib-Engines unterschiedlich agieren lässt).

Das Ergebnis: Die neue Maske machte das Training stabiler.
Der Beweis: Sie führten 61 verschiedene Experimente (Seeds) durch. Sie fanden heraus, dass die alte Methode manchmal Updates zuließ, die den Roboter tatsächlich weiter vom Kurs abbringen sollten (eine „Unsafe Keep“-Rate von 36,9 %). Die neue Methode reduzierte dies auf 34,2 %.
Die Verbesserung: Auch wenn die Zahlen klein erscheinen mögen, hilft es in der Welt des Trainings riesiger KI-Modelle, selbst nur wenige schlechte Schritte zu verhindern, damit der Roboter besser und schneller lernt. Die neue Methode funktionierte konsistent über alle Modellgrößen und Präzisionseinstellungen hinweg.

Was sie explizit ablehnten

Das Paper ist sehr deutlich darüber, was nicht so gut funktioniert:

Sie argumentieren gegen die Verwendung des sampled-token importance ratio (der alten „Einzel-Violine“-Prüfung), um die Richtung des Updates zu entscheiden. Sie zeigten, dass diese Einzelwort-Prüfung oft der wahren Änderung der gesamten Persönlichkeit des Roboters widerspricht.
Sie zeigten auch, dass das bloße Straffziehen der „Sicherheitszone“ (des Trust Regions) – also die Verwendung eines Schwellenwerts von 0,05 statt 0,15 – die Leistung insgesamt verschlechtert. Dies deutet darauf hin, dass nicht einfach mehr Einschränkungen die Lösung sind, sondern ein klügeres Vorgehen bezüglich der Richtung.

Wie sicher sind sie sich?

Die Autoren sind zuversichtlich in ihre Ergebnisse, basierend auf den gemessenen Daten ihrer Experimente. Sie haben nicht nur in einem Vakuum simuliert; sie haben tatsächliche Modelle auf realen mathematischen Problemen trainiert (unter Verwendung des DAPO-Math-17k Datensatzes) und die Genauigkeit auf Benchmarks wie AIME24 und AIME25 gemessen.

Sie schlagen vor, dass dieser Ansatz eine bessere Abstimmung der Regeln darstellt: Wenn man die Sicherheitszone durch die Betrachtung der gesamten Persönlichkeit (Divergenz) definiert, sollte man auch die Richtung des Updates durch die Betrachtung der gesamten Persönlichkeit prüfen, nicht nur durch ein einzelnes Wort. Die Ergebnisse deuten darauf hin, dass dies zu einem stabileren Training führt, räumen aber ein, dass es sich immer noch um eine „lokale Approximation erster Ordnung“ handelt – das heißt, es ist eine sehr gute Schätzung basierend auf dem unmittelbaren nächsten Schritt, kein perfekter Kristallball für die gesamte Zukunft.

Kurz gesagt: Die neue Methode ist wie ein GPS, das die gesamte Karte betrachtet, anstatt nur den Schritt zu betrachten, den man gerade macht. Sie hilft dem Roboter, schneller zu lernen, ohne am Rand der Welt abzustürzen.

Technisches Resümee: Predictive Divergence Masks für LLM RL

1. Problemstellung

Reinforcement Learning (RL) für Large Language Models (LLMs) ist aufgrund von Diskrepanzen zwischen den für Rollouts verwendeten Inference-Engines und den Trainings-Stacks sowie der Policy-Staleness inhärent Off-Policy. Um diese Off-Policy-Updates zu stabilisieren, verwenden Standardmethoden wie Proximal Policy Optimization (PIPO) Trust-Region-Masken. Diese Masken stützen sich auf zwei Kriterien, um zu entscheiden, ob ein Token-Gradient maskiert (auf Null gesetzt) wird:

Proximity Criterion (Nähe-Kriterium): Bestimmt, ob sich die Policy zu weit von der Behavior-Policy entfernt hat.
Direction Criterion (Richtungs-Kriterium): Bestimmt, ob das Update die Policy weiter von der Behavior-Policy wegtreibt (nach außen gerichtet) oder sie zurückzieht (korrigierend).

Neuere Arbeiten, speziell DPPO, haben das Proximity Criterion verbessert, indem sie das Single-Sample-Importance-Verhältnis durch eine distributionale Divergenz (z. B. KL-Divergenz) ersetzten, die über das Top-K-Vokabular geschätzt wird. DPPO behält jedoch das ursprüngliche PPO-Direction Criterion bei, das ausschließlich auf dem Importance-Verhältnis des gesampelten Tokens ( $r_t - 1$ ) basiert.

Die Autoren identifizieren eine fundamentale Inkonsistenz in diesem hybriden Ansatz: Während das Proximity Criterion nun durch eine globale distributionale Divergenz definiert ist, bleibt das Direction Criterion ein Single-Sample-Proxy. Die Autoren beobachten, dass das Vorzeichen der Änderung des gesampelten Verhältnisses mit dem Vorzeichen der tatsächlichen Änderung der Divergenz uneinig sein kann. Folglich kann ein Token beibehalten werden (weil das Verhältnis eine korrigierende Aktualisierung suggeriert), obwohl das Update tatsächlich die globale Divergenz erhöht, oder umgekehrt.

2. Methodik

Das Paper schlägt die Predictive Divergence Mask vor, eine Methode, die das Direction Criterion an die distributionale Natur des Proximity Criteria anpasst. Anstatt zu fragen: „Wird das gesampelte Verhältnis von einem wegtreiben?“, fragt die Methode: „Wird der nächste Gradientenschritt die Divergenz erhöhen?“

Theoretische Herleitung

Für die in autoregressiven LLMs verwendeten Softmax-Policies leiten die Autoren einen geschlossenen Ausdruck für die Richtungsableitung der Kullback-Leibler-Divergenz, bezeichnet als $\dot{D}$ , entlang eines Policy-Gradientenschritts her.
$\dot{D} = \underbrace{(\pi_k - \mu_k)}_{\text{Lokaler Term}} + \underbrace{\sum_{i} \pi_i (\mu_i - \pi_i)}_{\text{Globaler Term}}$
Wobei:

$\pi_k$ und $\mu_k$ die Wahrscheinlichkeiten des gesampelten Tokens $k$ unter den Trainings- bzw. Behavior-Policies sind.
Der Lokale Term entspricht exakt der Größe, die im Standard-Verhältnis-basierten Direction Criterion verwendet wird ( $r - 1$ ).
Der Globale Term erfasst die Kopplung durch die Normalisierung über das gesamte Vokabular hinweg. Dieser Term ist im Single-Sample-Verhältnis unsichtbar, aber entscheidend für die Bestimmung der tatsächlichen Änderung der Divergenz.

Die Predictive Mask behält ein Update nur dann bei, wenn das Vorzeichen von $\hat{A}_t \cdot \dot{D}_t$ nicht-positiv ist (was auf eine korrigierende oder neutrale Bewegung hindeutet), vorausgesetzt, das Token befindet sich bereits außerhalb der Trust Region ( $D_t > \delta$ ).

Praktische Schätzung

Produktions-Rollout-Engines legen typischerweise nur die Top- $K$ -Token-Wahrscheinlichkeiten offen, nicht die vollständige Vokabularverteilung. Um $\dot{D}$ unter dieser gekürzten Sichtweise zu berechnen, schlagen die Autoren zwei leichtgewichtige Schätzer für den ungesehenen Tail der Verteilung vor:

Aggregated-Tail Estimator: Kollabiert die gesamte verbleibende Wahrscheinlichkeitsmasse in ein einziges aggregiertes Token.
Uniform-Tail Estimator: Verteilt die verbleibende Masse gleichmäßig über die ungesehenen Vokabular-Tokens.

Beide Schätzer erfordern lediglich einfache Reduktionen über die beibehaltenen Top- $K$ -Wahrscheinlichkeiten und Tail-Massen, was einen vernachlässigbaren Rechenaufwand verursacht.

3. Zentrale Beiträge

Identifizierung der Inkonsistenz: Das Paper hebt hervor, dass die Vermischung eines distributionalen Proximity-Kriteriums (Divergenz) mit einem Single-Sample-Direction-Kriterium (Verhältnis) eine Fehlabstimmung erzeugt, bei der die Direction-Mask möglicherweise die wahre Divergenzänderung nicht korrekt verfolgt.
Predictive Divergence Mask: Eine neue Maskierungsregel, die die erste Ableitung der Divergenz selbst nutzt, um die Richtung des Updates zu bestimmen.
Geschlossene Herleitung: Die Herleitung der Richtungsableitung für Softmax-Policies, welche die lokale (gesamplete) und die globale (Normalisierungs-) Komponente explizit trennt.
Gekürzte Vokabular-Schätzer: Zwei praktische, gering aufwendige Schätzer (Aggregated- und Uniform-Tail), die es der Methode ermöglichen, unter den Standard-Produktionsbeschränkungen (Top- $K$ -Ansichten) zu funktionieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten die Methode auf dem DAPO-Math-17k Datensatz mit Qwen3-Modellen (4B, 8B und 30B) unter Verwendung verschiedener Präzisionseinstellungen (FP8).

Trainingsstabilität: Über alle Modellskalen und Präzisionseinstellungen hinweg (einschließlich Stresstests mit FP8) verbesserte die Predictive Divergence Mask die Trainingsstabilität im Vergleich zur Baseline DPPO-TopK-KL. Im Gegensatz dazu zeigten Standard-GRPO mit Clip-Higher-Tricks Instabilität und Kollaps in größeren Modelleinstellungen.
Ausrichtung des Direction-Kriteriums: Eine Analyse auf Token-Ebene ergab, dass das Divergenz-basierte Direction-Kriterium besser mit der realisierten Änderung der Divergenz übereinstimmt als das Verhältnis-basierte Kriterium.
- Unter den Tokens, bei denen die beiden Kriterien uneinig waren, wies das Divergenz-basierte Kriterium eine niedrigere „Unsafe-Keep“-Rate auf (34,2 % vs. 36,9 %), was bedeutet, dass es weniger wahrscheinlich Updates beibehielt, die tatsächlich die Divergenz erhöhten.
- Umgekehrt behielt es einen höheren Anteil an Updates bei, die die Divergenz erfolgreich kontrahierten (65,1 % vs. 62,9 %).
Robustheit: Die Methode zeigte eine verbesserte Robustheit gegenüber dem Trust-Region-Threshold-Hyperparameter ( $\delta$ ) und performte selbst unter engeren Beschränkungen ( $\delta = 0,05$ ) besser als die Baseline.
Äquivalenz der Schätzer: Die Aggregated-Tail- und Uniform-Tail-Schätzer erzeugten nahezu identische Ergebnisse, was darauf hindeutet, dass die Methode nicht sensitiv gegenüber der spezifischen Modellannahme des Tails ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Predictive Divergence Mask eine strukturelle Inkonsistenz in aktuellen Divergenz-basierten RL-Methoden für LLMs löst. Indem sie sicherstellt, dass sowohl das Proximity- als auch das Direction-Kriterium aus derselben distributionalen Divergenz abgeleitet werden, bietet die Methode eine treffendere Kontrolle der Trust Region.

Die Autoren betonen, dass die Verbesserung der „Unsafe-Keep“-Raten zwar moderat ist (aufgrund der kleinen Menge an Tokens, bei denen die Kriterien divergieren), die Konsistenz jedoch theoretisch fundiert und empirisch vorteilhaft über verschiedene Skalen hinweg ist. Sie kommen zu dem Schluss, dass das Direction-Kriterium die gleiche distributionale Behandlung wie das Proximity-Kriterium erhalten sollte, um die Vorteile von Divergenz-basierten Trust Regions voll auszuschöpfen. Die Methode wird als Drop-in-Ersatz für bestehende DPPO-Implementierungen präsentiert, der keine neuen Hyperparameter über den bestehenden Divergenz-Threshold hinaus erfordert.