🤖 machine learning

EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance

Das Papier stellt EP-GRPO vor, ein erweitertes Group Relative Policy Optimization-Framework, das die Fehler der Kreditvergabe bei GRPO durch die Nutzung intrinsischer Entropie und Policy-Divergenz adressiert, um eine dichte, selbstüberwachte Token-Level-Steuerung bereitzustellen und dadurch überlegene Genauigkeit und Effizienz bei mathematischen Schlussfolgerungsaufgaben zu erreichen.

Ursprüngliche Autoren: Song Yu, Li Li, Wenwen Zhao, Zhisheng Yang

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Song Yu, Li Li, Wenwen Zhao, Zhisheng Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler (eine KI) darin, komplexe mathematische Probleme zu lösen. Sie geben ihm eine Aufgabe, er schreibt eine lange schrittweise Lösung aus, und dann überprüfen Sie die endgültige Antwort.

Der alte Weg (GRPO): Das „Alles-oder-Nichts"-Zeugnis
Derzeit funktioniert die Standardmethode (genannt GRPO) wie ein sehr grober Lehrer.

Das Problem: Wenn der Schüler die endgültige Antwort falsch hat, gibt der Lehrer dem gesamten Aufsatz eine Durchfallnote. Jedes einzelne Wort, das der Schüler geschrieben hat, wird als „schlecht" markiert, selbst wenn die ersten drei Absätze perfekte Logik enthielten.
Das Gute: Wenn der Schüler die Antwort richtig hat, gibt der Lehrer dem gesamten Aufsatz einen goldenen Stern. Jedes Wort wird gelobt, selbst die, bei denen der Schüler einen albernen Fehler machte oder rät.
Das „Leere Blatt"-Problem: Manchmal bittet der Lehrer die Klasse, ein Problem zu lösen, und jeder bekommt es falsch. In diesem Fall sagt der Lehrer: „Na ja, da alle durchgefallen sind, bekommt niemand eine Note." Die Schüler lernen nichts, weil es keinen Unterschied zwischen ihnen gibt, den man vergleichen könnte.

Die Arbeit argumentiert, dass dies ineffizient ist, weil es die guten Teile falscher Antworten verschwendet und die schlechten Teile richtiger Antworten lobt.

Der neue Weg (EP-GRPO): Der „kluge Trainer"
Die Autoren schlagen eine neue Methode namens EP-GRPO vor. Betrachten Sie dies als einen klugen Trainer, der den Denkprozess des Schülers in Echtzeit beobachtet und spezifisches Feedback zu jedem einzelnen Wort gibt, nicht nur zur Endpunktzahl.

Hier ist, wie die drei Haupt-„Superkräfte" dieses neuen Trainers funktionieren, unter Verwendung einfacher Analogien:

1. Das „Scheinwerferlicht" (Entropie-gesteuerte Modulation)

Das Problem: In einer langen mathematischen Lösung sind einige Wörter nur langweilige, automatische Berechnungen (wie „2 + 2 = 4"). Andere sind kritische Entscheidungspunkte, an denen der Schüler zwischen zwei verschiedenen Wegen wählen muss (wie „Sollte ich Algebra oder Geometrie verwenden?"). Die alte Methode behandelte beide Wortarten genau gleich.
Die Lösung: Der neue Trainer verwendet einen „Scheinwerfer". Wenn der Schüler bei einem langweiligen, automatischen Schritt ist, dimmt der Trainer das Licht und sagt: „Mach weiter, aber mach dir nicht zu viele Sorgen." Aber wenn der Schüler einen kritischen Entscheidungspunkt erreicht (wo er unsicher ist und intensiv nachdenkt), wirft der Trainer ein helles Scheinwerferlicht.
Das Ergebnis: Die KI lernt viel schneller, weil sie ihre Energie auf die schwierigen, wichtigen Entscheidungen konzentriert, anstatt Zeit mit den einfachen, wiederholenden Teilen zu verschwenden.

2. Der „Kompass" (Implizite Prozesssignale)

Das Problem: Die alte Methode betrachtete nur das endgültige Ziel. Wenn der Schüler eine falsche Abbiegung nahm, aber trotzdem durch Zufall am richtigen Ziel ankam, lobte die alte Methode die falsche Abbiegung. Wenn sie den richtigen Weg nahmen, aber am Ende den Weg verirrten, bestrafte die alte Methode den richtigen Weg.
Die Lösung: Der neue Trainer hat einen Kompass. Er vergleicht das aktuelle Denken des Schülers mit einem „Referenzmodell" (eine Basisversion der KI).
- Wenn sich der Schüler weg vom Referenzmodell bewegt, auf eine Weise, die aussieht, als würde er etwas herausfinden, sagt der Trainer: „Gute Richtung!"
- Wenn sie sich auf eine Weise bewegen, die wie Verwirrung oder Fehler aussieht, sagt der Trainer: „Stopp, das ist der falsche Weg."
- Entscheidend ist, dass dieser Kompass auch funktioniert, wenn die endgültige Antwort falsch ist. Er sagt dem Schüler: „Du warst für die erste Hälfte auf dem richtigen Weg, bist aber hier vom Kurs abgekommen." Dies behebt das „Alles-oder-Nichts"-Problem.

3. Das „Rettungsboot" (Null-Varianz-Kollaps)

Das Problem: Erinnern Sie sich an das „Leere Blatt"-Problem? Wenn alle durchfallen, hört der alte Lehrer auf zu unterrichten.
Die Lösung: Der neue Trainer hat ein Rettungsboot. Selbst wenn die endgültigen Antworten alle falsch sind (also gibt es keinen „Gewinner", gegen den man vergleichen könnte), betrachtet der Trainer immer noch den Prozess.
- „Okay, alle sind durchgefallen, aber Schüler A hat einen klügeren Weg gewählt als Schüler B."
- Der Trainer verwendet den „Kompass" (aus Schritt 2), um weiter zu unterrichten. Er sagt: „Obwohl wir die richtige Antwort nicht bekommen haben, war die Logik von Schüler A besser, also lernen wir davon." Dies stellt sicher, dass die KI niemals aufhört zu lernen, selbst wenn die Dinge wirklich schwierig sind.

Die Ergebnisse

Die Autoren testeten diesen „klugen Trainer" an mathematischen Problemen.

Bessere Noten: Die KI erzielte bei schwierigen Mathetests im Vergleich zur alten Methode deutlich höhere Punktzahlen.
Klugeres Denken: Die KI begann, längere, detailliertere Denkketten zu schreiben, weil sie keine Angst hatte, verschiedene Wege zu erkunden (sie wusste, dass der Trainer Feedback zum Prozess und nicht nur zum Ergebnis geben würde).
Keine zusätzlichen Kosten: Das Beste ist, dass diese neue Methode nicht die Einstellung eines menschlichen Lehrers oder eines Supercomputers erforderte, um jeden Schritt zu bewerten. Sie fand heraus, wie sie sich selbst unter Verwendung der „Scheinwerfer"- und „Kompass"-Tricks bewerten kann.

Zusammenfassung:
Die alte Methode war wie das Bewerten eines Tests, indem man nur den endgültigen Antwortbogen betrachtet. Die neue Methode (EP-GRPO) ist wie ein Tutor, der neben dem Schüler hergeht, die schwierigen Entscheidungen hervorhebt, die falschen Abbiegungen unterwegs korrigiert und den Unterricht auch dann fortführt, wenn die endgültige Antwort falsch ist.

Technische Zusammenfassung: EP-GRPO

Problemstellung

Das Papier identifiziert drei fundamentale Fehler bei der Kreditvergabe, die dem Group Relative Policy Optimization (GRPO) inhärent sind, einem führenden Algorithmus für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) in Large Language Models (LLMs). Diese Einschränkungen beeinträchtigen die Effizienz und Wirksamkeit von推理-Aufgaben:

Uniforme Token-Level-Granularität: Standard-GRPO weist allen Tokens innerhalb einer generierten Sequenz einen uniformen Vorteilswert zu. Diese grobe Granularität ignoriert den heterogenen Informationswert der Tokens. Empirische Analysen zeigen, dass hoch-entropische Tokens (die Entscheidungspivots darstellen) für das Reasoning kritisch sind, während niedrig-entropische Tokens oft deterministische, redundante Herleitungen repräsentieren. Eine gleichberechtigte Behandlung verwässert das Gradientensignal an entscheidenden Entscheidungspunkten.
Uniforme Polarität: GRPO weist jedem Token in einer Sequenz basierend ausschließlich auf dem Endergebnis das gleiche Vorzeichen des Vorteils (positiv oder negativ) zu. Dies führt zu einer „Polaritätsfehlausrichtung", bei der korrekte Zwischenschritte in einer gescheiterten Trajektorie bestraft werden und fehlerhafte Schritte in einer erfolgreichen Trajektorie versehentlich belohnt werden. Bestehende Lösungen wie Process Reward Models (PRMs) adressieren dies, erfordern jedoch kostspielige externe Annotationen und haben Schwierigkeiten mit der Generalisierung.
Null-Varianz-Kollaps: Wenn alle in einer Gruppe gesampelten Antworten identische Belohnungen erhalten (häufig im frühen Training oder bei schwierigen Aufgaben), wird der normalisierte Vorteil für alle Tokens null. Dies lässt das ergebnisgetriebene Gradientensignal vollständig verschwinden und stoppt das Lernen. Während eine Vergrößerung der Gruppengröße dies mildert, ist dies rechnerisch teuer. Bestehende Fixes verlassen sich oft auf zusätzliches Sampling oder heuristisches Umformen, das nicht mit dem logischen Fortschritt übereinstimmt.

Methodik: EP-GRPO

Die Autoren schlagen Entropy-Progress Aligned GRPO (EP-GRPO) vor, ein Framework, das spärliches, nur ergebnisbasiertes Feedback in dichte, selbstüberwachte Token-Level-Lernsignale ohne externe Belohnungsmodelle umwandelt. Die Methode besteht aus drei Kernkomponenten:

1. Entropie-gesteuerter Ergebnisvorteil

Um die Granularität zu adressieren, moduliert EP-GRPO den ursprünglichen sequenzweiten Vorteil ( $\hat{A}_i$ ) mittels eines Token-Level-Gewichts, das aus der prädiktiven Entropie ( $H_{i,t}$ ) abgeleitet wird.

Mechanismus: Die Methode berechnet die prädiktive Entropie für jeden Token. Ein Sigmoid-Gate bildet standardisierte Entropiewerte auf Gewichte ( $W_{i,t}$ ) ab.
Wirkung: Hoch-entropische Tokens (Entscheidungspivots) erhalten verstärkte Gewichte, während niedrig-entropische Tokens (deterministische Herleitungen) unterdrückt werden. Der modulierte Vorteil ist $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$ . Dies bewahrt die ursprüngliche Richtung, passt aber die Magnitude basierend auf dem Informationsgehalt an.

2. Impliziter Fortschrittsvorteil

Um Polarität und Null-Varianz-Kollaps zu adressieren, führt EP-GRPO ein Richtungssignal ein, das aus der Policy-Divergenz abgeleitet wird.

Signalgenerierung: Es wird die Log-Wahrscheinlichkeits-Divergenz zwischen der aktuellen Policy ( $\pi_\theta$ ) und einer eingefrorenen Referenz-Policy ( $\pi_{ref}$ ) berechnet: $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$ . Dies dient als selbstüberwachtes Prozesssignal.
Richtungsanker: Da die Divergenz keine intrinsische Richtung aufweist (Vertrauen kann fehlgeleitet sein), wird sie am Ergebnisvorteil verankert.
- Wenn die Varianz der Gruppenbelohnung nicht null ist, ist der Anker $\text{sign}(\hat{A}_i)$ .
- Wenn die Varianz null ist (Kollaps), degradiert der Anker zum rohen Belohnungsvorzeichen ( $\text{sign}(r_i - \theta_{reward})$ ).
Fortschrittsausrichtung: Um diese Signale über asynchrone Reasoning-Trajektorien zu normalisieren, werden Tokens basierend auf der kumulativen Entropie ( $\tau_{i,t}$ ) auf „logische Fortschritts-Buckets" abgebildet. Die Normalisierung (Z-Score) erfolgt innerhalb dieser Buckets und nicht nach physischer Position, wodurch Tokens in ähnlichen Reasoning-Stadien verglichen werden.
Ergebnis: Dies ergibt einen gerichteten, dichten Reward ( $\hat{A}^{progress}_{i,t}$ ), der auch dann aktiv bleibt, wenn Ergebnisvorteile verschwinden.

3. Finaler Token-Level-Vorteil

Der finale Vorteil kombiniert beide Signale:
$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$
Eine theoretische Analyse beweist, dass dieser Gradient einem regularisierten GRPO-Ziel mit einem entropie-gewichteten quadrierten Log-Ratio-Term entspricht, der effektiv als präzisionsgeführte Regularisierung wirkt, die die Exploration an kritischen Entscheidungspunkten stabilisiert.

Hauptbeiträge

Entropie-gesteuerte Modulation: Ein Mechanismus, um grobe sequenzweite Vorteile in Token-Level-Gewichte umzuwandeln und Gradient-Updates an hoch-entropischen Entscheidungspivots zu priorisieren.
Verankerte implizite Prozesssignale: Eine Methode, um Policy-Divergenz in gerichtete Prozessbelohnungen umzuwandeln, indem sie an Ergebnisvorteile verankert werden. Dies liefert feingranulares Feedback ohne externe PRMs und erhält den Gradientenfluss während eines Null-Varianz-Kollapses aufrecht.
Logische Fortschrittsausrichtung: Eine Strategie zur Abbildung kumulativer Entropie, die asynchrone Trajektorien in ein einheitliches Koordinatensystem projiziert, eine fortschrittsausgerichtete Normalisierung ermöglicht und sinnvolle Signale auch dann sicherstellt, wenn ergebnisbasierte Gradienten verschwinden.

Experimentelle Ergebnisse

Die Autoren bewerteten EP-GRPO an den Modellen Qwen2.5-3B und Qwen2.5-7B über fünf mathematische Reasoning-Benchmarks: MATH500, AMC23, Minerva, AIME24 und AIME25.

Leistungssteigerungen: EP-GRPO übertraf konsistent Standard-GRPO und seine Varianten (z. B. höhere Temperatur, mehr Rollouts).
- Bei Qwen2.5-3B verbesserte sich die durchschnittliche Genauigkeit von 18,14 % (GRPO) auf 22,93 % (+26,4 %).
- Bei Qwen2.5-7B verbesserte sich die durchschnittliche Genauigkeit von 27,11 % (GRPO) auf 30,34 % (+11,9 %).
- Bemerkenswerterweise übertraf das 3B EP-GRPO-Modell das kommerzielle DeepSeek-R1-671B im AMC23-Benchmark.
Pass@k-Leistung: EP-GRPO zeigte bei hochschwierigen Datensätzen (AIME24/25) signifikante Vorteile, wenn die Anzahl der Samples ( $k$ ) zunahm, was auf eine überlegene Fähigkeit hinweist, korrekte Reasoning-Pfade in komplexen Szenarien zu entdecken.
Ablationsstudien: Das Entfernen einer einzelnen Komponente (Entropie-Gating, implizite Fortschrittsignale oder Null-Varianz-Degradation) führte zu Leistungseinbußen, was bestätigt, dass die drei Mechanismen nicht redundant und kollektiv notwendig sind.
Effizienz: Die Trainings-Wall-Clock-Zeit war mit Standard-GRPO vergleichbar, da die zusätzlichen Berechnungen (Entropie, Divergenz) leichtgewichtig sind. EP-GRPO erzeugte jedoch Reasoning-Ketten, die etwa 20 % länger waren, was auf tieferes Reasoning ohne zeitliche Kosten hindeutet.

Bedeutung

Das Papier behauptet, dass EP-GRPO die fundamentalen Grenzen von GRPO in RLVR durch die Einführung eines selbstüberwachten, dichten Kreditvergabe-Mechanismus adressiert. Durch die Nutzung des intrinsischen Informationsflusses (Entropie) und der Policy-Dynamik (Divergenz) des Modells eliminiert es die Notwendigkeit kostspieliger externer Process Reward Models und löst gleichzeitig den Null-Varianz-Kollaps, der die standardmäßige gruppenbasierte Optimierung plagt. Die Ergebnisse deuten darauf hin, dass eine verbesserte Kreditvergabe, anstatt lediglich die Modellgröße oder das Sampling-Budget zu erhöhen, ein entscheidender Hebel zur Verbesserung der Reasoning-Fähigkeiten von LLMs ist.