🤖 machine learning

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

Die Arbeit stellt CE-GPPO vor, einen neuen Reinforcement-Learning-Algorithmus, der durch die kontrollierte Wiedereinführung von Gradienten abgeschnittener Tokens die Entropiestabilität verbessert und damit die Leistung von Sprachmodellen bei mathematischen Reasoning-Aufgaben gegenüber bestehenden PPO-Methoden steigert.

Ursprüngliche Autoren: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du trainierst einen sehr klugen, aber manchmal etwas verwirrten Roboter, der komplexe Rätsel lösen soll (wie Matheaufgaben oder Programmieraufgaben). Dieser Roboter lernt durch Versuch und Irrtum (das nennt man "Reinforcement Learning" oder Bestärkendes Lernen).

Das Problem dabei ist ein feiner Tanz zwischen zwei Dingen:

Ausprobieren (Exploration): Der Roboter probiert neue, verrückte Wege aus, um vielleicht eine bessere Lösung zu finden.
Nutzen (Exploitation): Der Roboter nutzt das, was er schon gelernt hat, um sicher und schnell die richtige Antwort zu geben.

Das alte Problem: Der "Klemm-Hebel"

Bisher nutzten die Entwickler eine Methode namens PPO. Stell dir PPO wie einen strengen Lehrer vor, der einen Klemm-Hebel (Clipping) an der Lernschraube des Roboters hat.

Wenn der Roboter eine Antwort gibt, die ihm sehr sicher ist (hohe Wahrscheinlichkeit) und die gut bewertet wird, darf er lernen.
Wenn er aber eine Antwort gibt, die ihm sehr unsicher ist (niedrige Wahrscheinlichkeit) – also etwas, das er kaum je versucht hat –, schaut der Lehrer auf den Hebel.
Das Problem: Wenn die Unsicherheit zu groß ist, klemmt der Hebel die Schraube fest. Der Roboter darf in diesem Moment nicht lernen, auch wenn diese unsichere Antwort eigentlich eine geniale Entdeckung sein könnte.

Das führt zu zwei Katastrophen:

Der Roboter wird zu sicher (Entropie-Collapse): Er probiert nichts Neues mehr aus, wird stur und findet keine kreativen Lösungen mehr. Er "versteift".
Der Roboter wird zu wild (Entropie-Explosion): Manchmal lernt er nur das, was ihm Unsicherheit gibt, und vergisst, was er schon kann. Er dreht durch und findet keine stabilen Lösungen.

Die neue Lösung: CE-GPPO (Der flexible Coach)

Die Forscher von Kuaishou haben eine neue Methode namens CE-GPPO entwickelt. Stell dir das nicht mehr wie einen strengen Lehrer mit einem Hebel vor, sondern wie einen weisen Coach, der genau weiß, wann er sanft nachhelfen muss.

Hier ist die Magie in einfachen Worten:

1. Die vergessenen Boten
In der alten Methode wurden die Boten (die Token/Teile der Antwort), die zu unsicher waren, einfach ignoriert. Der Coach CE-GPPO sagt: "Warte mal! Auch diese unsicheren Boten haben eine Nachricht!"

Es gibt Boten, die unsicher sind, aber eine gute Idee haben (sie könnten den Weg öffnen).
Es gibt Boten, die unsicher sind, aber eine schlechte Idee haben (sie sollten vermieden werden).

2. Der "Stop-Gradient"-Trick (Der Dämpfer)
Der Coach CE-GPPO nimmt diese Boten nicht einfach und lässt sie schreien (was den Roboter verrückt machen würde). Er benutzt einen Dämpfer (die "Stop-Gradient"-Operation).

Er sagt: "Ich höre deine Nachricht, aber ich lasse sie nur mit einer bestimmten, kontrollierten Lautstärke durch."
Wenn die Nachricht gut ist (neue Ideen), lässt er sie etwas lauter durch, damit der Roboter ausprobieren kann.
Wenn die Nachricht schlecht ist (falsche Wege), dämpft er sie stärker, damit der Roboter sicher bleibt.

3. Der perfekte Tanz
Durch dieses feine Einstellen der Lautstärke (die Parameter $\beta_1$ und $\beta_2$ ) kann der Coach den Roboter genau dort halten, wo er sein muss:

Zu Beginn des Trainings: Der Roboter darf viel ausprobieren (hohe Unsicherheit ist gut).
Am Ende des Trainings: Der Roboter wird sicherer und nutzt sein Wissen (Unsicherheit sinkt langsam).

Warum ist das so toll?

Stell dir vor, du lernst Klavier spielen.

Die alte Methode (PPO): Du darfst nur die Töne spielen, von denen du sicher bist, dass sie richtig klingen. Du wirst nie eine neue Melodie erfinden, weil du Angst hast, falsch zu liegen.
Die neue Methode (CE-GPPO): Dein Lehrer sagt: "Probier ruhig diese verrückten Töne aus! Aber wenn du zu weit weg vom Takt kommst, halte ich dich sanft am Arm, damit du nicht stolperst. Wenn du aber eine geniale, neue Melodie findest, lass ich dich weitermachen."

Das Ergebnis:
In den Tests (besonders bei schwierigen Mathe- und Code-Aufgaben) hat dieser neue Coach den Roboter deutlich besser gemacht als alle vorherigen Methoden. Der Roboter wurde nicht starr, wurde nicht verrückt, sondern fand die besten Lösungen, indem er genau die richtige Balance zwischen "Mut haben" und "Sicher sein" fand.

Kurz gesagt: CE-GPPO ist wie ein smarter Regler, der verhindert, dass der Lernprozess entweder zu langweilig (zu sicher) oder zu chaotisch (zu wild) wird, indem er auch die "verbotenen" unsicheren Ideen in den Lernprozess einbezieht – aber nur in einer sicheren Dosierung.

1. Problemstellung

Das Training von Large Language Models (LLMs) mittels Reinforcement Learning (RL), insbesondere für komplexe Aufgaben wie mathematisches oder kodierendes Schlussfolgern, steht vor der Herausforderung, die Policy-Entropie (das Maß für die Unsicherheit bei der Aktionsauswahl) effektiv zu steuern.

Das Dilemma: Ein Gleichgewicht zwischen Exploration (Erkundung neuer Lösungen) und Exploitation (Nutzung bekannter, guter Lösungen) ist entscheidend.
Das Problem mit PPO: Der etablierte Proximal Policy Optimization (PPO)-Algorithmus und seine Varianten (wie GRPO) nutzen einen Clipping-Mechanismus, um die Aktualisierungsschritte der Policy zu begrenzen und das Training stabil zu halten. Dabei werden Gradienten von Tokens, deren Wichtigkeitsverhältnis (Importance Sampling Ratio) außerhalb eines Intervalls $[1-\epsilon, 1+\epsilon]$ liegt, abgeschnitten (clipped).
Die Konsequenz: Die Autoren identifizieren, dass das Ignorieren dieser „geclippten" Tokens zu zwei kritischen Problemen führt:
1. Entropie-Kollaps (Entropy Collapse): Tokens mit positivem Vorteil und niedriger Wahrscheinlichkeit (PA&LP), die wichtige explorative Verhaltensweisen repräsentieren, werden unterdrückt. Dies führt zu einer vorzeitigen Konvergenz und einem Verlust an Antwortvielfalt.
2. Entropie-Explosion (Entropy Explosion): Tokens mit negativem Vorteil und niedriger Wahrscheinlichkeit (NA&LP), die das Modell zur Ausbeutung führen sollten, werden ebenfalls ignoriert. Dies zwingt das Modell zu übermäßiger Exploration, verzögert die Konvergenz und destabilisiert das Training.

2. Methodik: CE-GPPO

Die Autoren schlagen CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization) vor, einen Algorithmus, der die Gradienten von außerhalb des Clipping-Bereichs liegenden Tokens gezielt wieder in den Optimierungsprozess integriert, um die Entropie zu steuern.

Kernmechanismen:

Gradienten-Erhaltung (Gradient-Preserving): Anstatt die Gradienten von geclippten Tokens vollständig zu verwerfen, werden sie durch eine Stop-Gradient-Operation ( $sg(\cdot)$ ) zurückgehalten und skaliert.
Skalierungsfaktoren ( $\beta_1, \beta_2$ ): Die Methode führt zwei Hyperparameter ein, um die Stärke der Gradienten für die beiden kritischen Token-Kategorien zu steuern:
- $\beta_1$ : Steuert die Skalierung für Tokens unterhalb der unteren Grenze ( $\delta < 1-\epsilon$ ).
- $\beta_2$ : Steuert die Skalierung für Tokens oberhalb der oberen Grenze ( $\delta > 1+\epsilon$ ).
Ziel-Funktion: Die Verlustfunktion wird so angepasst, dass sie für geclippte Tokens einen gewichteten Gradienten zulässt, während sie für Tokens innerhalb des Intervalls unverändert bleibt.
- Ein höheres $\beta_2$ (für PA&LP-Tokens) fördert die Exploration und verlangsamt den Entropie-Abfall.
- Ein höheres $\beta_1$ (für NA&LP-Tokens) fördert die Exploitation und beschleunigt die Konvergenz.

Theoretische Stabilität:
Die Autoren zeigen theoretisch und empirisch, dass CE-GPPO die Stabilität des PPO beibehält. Da die Skalierungsfaktoren ( $\beta$ ) typischerweise nahe bei 1 liegen und die Updates durch die Struktur der Funktion begrenzt werden, driftet die neue Policy nicht zu weit von der alten Policy ab. Die Komplexität bleibt identisch zu Standard-PPO, da keine zusätzlichen Vorwärtsdurchläufe benötigt werden.

3. Hauptbeiträge

Mechanismus-Entschlüsselung: Die Arbeit liefert eine tiefgehende Analyse der Entropie-Dynamik in RL für LLMs und identifiziert die Rolle der geclippten Tokens (insbesondere PA&LP und NA&LP) als entscheidenden Faktor für die Stabilität der Entropie.
Neuer Algorithmus (CE-GPPO): Entwicklung eines Algorithmus, der die Kontrolle über die Entropie durch die feingranulare Regulierung von Gradienten außerhalb des Clipping-Bereichs ermöglicht, ohne die Trainingsstabilität zu gefährden.
Empirische Validierung: Umfassende Experimente belegen, dass CE-GPPO das Gleichgewicht zwischen Exploration und Exploitation effektiv koordiniert, Entropie-Instabilitäten (Kollaps und Explosion) verhindert und robust gegenüber Hyperparametern ist.

4. Ergebnisse

Die Methode wurde auf mathematischen und kodierenden Reasoning-Benchmarks (z. B. AIME 2024/25, HMMT25, MATH500, HumanEval) mit Modellen der Größen 1.5B und 7B (DeepSeek-R1-Distill-Qwen) getestet.

Leistungssteigerung: CE-GPPO übertrifft konsistent starke Baselines wie GRPO, DAPO (mit Clip-Higher-Strategie), CISPO und GSPO.
- Auf dem 7B-Modell wurde eine Verbesserung von ca. 3 Punkten gegenüber der besten Baseline (DAPO) auf schwierigen Aufgaben wie AIME25 erreicht.
- Auf dem 1.5B-Modell zeigte sich eine Verbesserung von 2,5 Punkten.
Entropie-Dynamik: Im Gegensatz zu DAPO, das zu Entropie-Explosionen neigt, oder GRPO, das zum Kollaps neigt, hält CE-GPPO die Entropie während des gesamten Trainings auf einem stabilen, hohen Niveau, was zu einer besseren Leistung führt.
Stabilitätsanalyse: Messungen der KL-Divergenz und der Gradientennormen zeigen, dass CE-GPPO keine abrupten Schwankungen aufweist und das Training stabil bleibt.
Vergleich mit Alternativen: Im Vergleich zu CISPO (das zu Modellkollaps neigt) und GSPO (das Varianz reduziert, aber Entropie-Instabilitäten nicht löst), bietet CE-GPPO eine überlegene Balance und höhere Token-Nutzungseffizienz.

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales Problem im RL-Training von LLMs: Die Unzulänglichkeit des reinen Clipping-Mechanismus, der wertvolle Gradienten für die Entropiekontrolle verwirft.

Paradigmenwechsel: Statt die Entropie nur durch Regularisierungsterme oder das Erweitern des Clipping-Bereichs zu steuern, zeigt CE-GPPO, dass die gezielte Wiederverwendung von Gradienten geclippter Tokens eine präzisere Steuerung ermöglicht.
Praktische Relevanz: Die Methode ist einfach zu implementieren (keine zusätzlichen Forward-Passes), rechnerisch effizient und führt zu signifikanten Verbesserungen bei komplexen Reasoning-Aufgaben.
Zukunftsausblick: Die Arbeit legt nahe, dass das Management der Entropie-Dynamik durch die Steuerung von „außerhalb des Vertrauensbereichs liegenden" Gradienten ein vielversprechender Weg ist, um die Leistung von RL-gestützten LLMs weiter zu optimieren, insbesondere durch die Anpassung der $\beta$ -Parameter an verschiedene Trainingsphasen (frühe Exploration vs. späte Exploitation).

Zusammenfassend stellt CE-GPPO einen robusten und effektiven Ansatz dar, um die Stabilität und Leistung von RL-Training für LLMs zu verbessern, indem es die inhärenten Schwächen des PPO-Clipping-Mechanismus bezüglich der Entropiekontrolle behebt.