Technisches Resümee: Group Entropy-Controlled Policy Optimization (GEPO)

1. Problemstellung

Reinforcement Learning (RL) ist zu einem dominierenden Paradigma für das Post-Training von Large Language Models (LLMs) geworden, um Alignment und Reasoning zu verbessern. Die Balance zwischen Exploration und Exploitation bleibt jedoch eine kritische Herausforderung, insbesondere beim Training auf heterogenen Aufgabenmischungen (z. B. der Kombination von Mathematik, Coding, Physik und Instruktionsfolgen).

Aktuelle entropiegesteuerte RL-Methoden operieren primär auf zwei Granularitäten:

1. Policy-Ebene: Berechnung der Entropie über den gesamten Batch und Anwendung eines einheitlichen Regulationssignals (Abbildung 1a).
2. Token-Ebene: Berechnung der Token-Kovarianz und Regulierung einzelner Tokens (Abbildung 1b).

Das Paper identifiziert einen grundlegenden Mangel in diesen Ansätzen bei der Anwendung auf Group Relative Policy Optimization (GRPO): Entropie-Heterogenität. Unterschiedliche Aufgabenbereiche weisen unter derselben Policy unterschiedliche Entropie-Regime auf. Beispielsweise können Physik-Prompts natürlicherweise um eine niedrige Entropie konzentriert sein, während Instruktions-Folge-Prompts eine hohe Entropie aufweisen.

Diese Heterogenität induziert zwei spezifische Pathologien in Standard-GRPO:

• Entropie-abhängiger Bias: Die Normalisierung der Advantages innerhalb der Gruppen erzeugt statistisch nicht vergleichbare Signale über Gruppen mit unterschiedlichen Entropien hinweg. Low-Entropy-Gruppen (oft hochpräzise Aufgaben) erzeugen starke, konsistente Gradientensignale, während High-Entropy-Gruppen (oft Aufgaben mit geringer Genauigkeit) schwache, verrauschte Signale erzeugen.
• Optimierungs-Imbalance: Die Batch-basierte Optimierung wird von Low-Entropy-Aufgaben dominiert, was dazu führt, dass High-Entropy-Aufgaben immer weniger Lernsignale erhalten. Dies führt zu einem sich selbst verstärkenden Zyklus, in dem Low-Entropy-Aufgaben vorzeitig konvergieren, während High-Entropy-Aufgaben entweder nicht effektiv explorieren oder unter "Runaway Entropy" leiden, was zu degenerierten Outputs führt.

2. Methodik: GEPO

Die Autoren schlagen die Group Entropy-Controlled Policy Optimization (GEPO) vor, eine leichtgewichtige, modellagnostische Erweiterung zu GRPO, die eine entropie-konditionierte asymmetrische Advantage-Shaping auf Gruppenebene durchführt.

Kernmechanismus

GEPO nutzt die Gruppen-Entropie ($\mathcal{H}_g$), die aus den bestehenden gruppierten Stichproben eines Prompts geschätzt wird, als diagnostisches Signal. Anstatt ein globales Entropie-Ziel anzuwenden, formt GEPO das Advantage-Signal ($A_i$) für jede Antwort basierend auf dem Entropiezustand der Gruppe:

$$\hat{A}_i = \omega(A_i, \mathcal{H}_g) \cdot A_i$$

Die Shaping-Funktion wendet asymmetrische Skalierungskoeffizienten ($\alpha_{low}, \alpha_{high} \in (0, 1)$) an:

• Low-Entropy-Gruppen ($\mathcal{H}_g < \mathcal{H}_{low}$): Positive Advantages werden durch $\alpha_{low}$ abgeschwächt. Dies verhindert Über-Exploitation und vorzeitige Konvergenz in Aufgaben, in denen das Modell bereits sicher ist.
• High-Entropy-Gruppen ($\mathcal{H}_g > \mathcal{H}_{high}$): Negative Advantages werden durch $\alpha_{high}$ abgeschwächt. Dies verhindert die vorzeitige Unterdrückung der Exploration in Aufgaben, in denen sich das Modell unsicher ist, und ermöglicht es der Policy, korrekte Reasoning-Pfade zu entdecken.
• Ansonsten: Das Advantage bleibt unverändert.

Wichtige Designentscheidungen

1. Asymmetrisches Shaping ($\alpha_{high} < \alpha_{low}$): Die Autoren beobachten empirisch, dass Low-Entropy-Gruppen fragiler sind; eine aggressive Bestrafung negativer Advantages in diesen Gruppen kann einen "Length Collapse" auslösen (bei dem das Modell Antworten verkürzt, um Unsicherheit zu reduzieren). Daher wendet GEPO einen sanfteren Impuls ($\alpha_{low}$ ist höher) auf Low-Entropy-Gruppen an als die stärkere Abschwächung ($\alpha_{high}$ ist niedriger), die auf High-Entropy-Gruppen angewendet wird.
2. Adaptive Schwellenwerte: Feste Entropie-Schwellenwerte sind über verschiedene Basismodelle und Trainingsphasen hinweg instabil. GEPO leitet Schwellenwerte ($\mathcal{H}_{low}, \mathcal{H}_{high}$) dynamisch aus der Entropieverteilung des Batches (Mittelwert und Standardabweichung) ab und glättet diese mittels eines Exponential Moving Average (EMA). Dies ermöglicht es der Methode, sich automatisch an die spezifische Entropie-Skala des Basismodells anzupassen, ohne auf aufgabenspezifisches Tuning angewiesen zu sein.

3. Zentrale Beiträge

• Theoretische Erkenntnis: Das Paper liefert eine theoretische Analyse (Propositionen 2.1 und 2.2), die zeigt, dass normalisierte Advantages in GRPO strukturell durch die Gruppen-Entropie verzerrt sind. Es beweist, dass die Diskrepanz zwischen der policy-gewichteten und der Referenz-Reward-Verteilung entropieabhängig ist, was zu nicht vergleichbaren Advantage-Signalen über heterogene Aufgaben hinweg führt.
• Algorithmische Innovation: GEPO führt den ersten Mechanismus zur Steuerung der Entropie auf Gruppenebene ein, der ein asymmetrisches Advantage-Shaping durchführt. Im Gegensatz zu bisherigen Methoden, die Entropie als globales oder Token-basiertes Attribut behandeln, behandelt GEPO sie als ein diagnostisches Merkmal der Prompt-Gruppe, um die Optimierungsdrücke neu auszubalancieren.
• Implementierung ohne Zusatzkosten: Die Methode erfordert keine zusätzliche Stichprobenentnahme oder Wertfunktionsschätzung. Sie nutzt die vorhandenen gruppierten Stichproben in GRPO und verursacht vernachlässigbare Rechenzusatzkosten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GEPO auf zwei Basismodellen (Intern-S1-mini und Qwen3.5-9B) über dreizehn Benchmarks, die Mathematik, Physik, Naturwissenschaften, Codegenerierung und Instruktionsfolgen abdecken.

• Performance: GEPO übertraf GRPO und aktuelle entropiegesteuerte Baselines (AEPO, Clip-Cov, KL-Cov) konsistent.
  • Auf Intern-S1-mini erreichte GEPO die beste Durchschnittsbewertung (54.2) und gewann in 7 von 13 Benchmarks, einschließlich signifikanter Gewinne bei AIME25, IMO-Bench und GPQA.
  • Auf Qwen3.5-9B erreichte GEPO die höchste Durchschnittsbewertung (71.2) und übertraf starke Baselines wie Clip-Cov (70.9) und KL-Cov (69.9).
• Stabilität: GEPO demonstrierte eine überlegene Trainingsstabilität. Während GRPO aufgrund ungebundenem Entropiewachstum einen katastrophalen Leistungsabfall erlitt (z. B. bei Qwen3.5-9B um Schritt 170) und AEPO persistente Oszillationen aufwies, behielt GEPO glatte, monoton verbessernde Validierungskurven bei.
• Entropie-Dynamik: Die Analyse der Trainingsdynamik zeigte, dass GEPO differenzierte Explorationslevel über Aufgaben hinweg bewahrt. Im Gegensatz zu AEPO, das ein einheitliches Entropiemuster erzwingt, erlaubt GEPO Aufgaben, die eine breite Exploration erfordern, eine höhere Entropie beizubehalten, während deterministische Aufgaben auf einer niedrigeren Entropie zur Ruhe kommen, was sowohl vorzeitigen Kollaps als auch "Runaway Entropy" verhindert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass GEPO eine kritische Lücke im Multi-Task-RL-Post-Training adressiert: die Unfähigkeit aktueller Methoden, den strukturellen Bias zu handhaben, der durch Entropie-Heterogenität über diverse Aufgaben hinweg eingeführt wird.

Die Autoren stellen fest:

1. Aufgabenspezifische Regulierung ist essenziell: Das Treiben heterogener Aufgaben auf ein einheitliches Entropiemuster ist suboptimal. Effektives Multi-Task-Learning erfordert die Bewahrung aufgabenspezifischer Explorationsregime.
2. Asymmetrie ist entscheidend: Die Fragilität von Low-Entropy-Gruppen macht einen asymmetrischen Ansatz beim Advantage-Shaping notwendig, um einen Length Collapse zu vermeiden und dennoch die Exploration zu fördern.
3. Skalierbarkeit: Durch die Nutzung der aus bestehenden Rollouts geschätzten Gruppen-Entropie und adaptiver Schwellenwerte bietet GEPO eine skalierbare, modellagnostische Lösung, die sowohl die durchschnittliche Performance als auch die Balance zwischen den Aufgaben verbessert, ohne explizite Aufgabenannotationen oder zusätzliche Sampling-Kosten zu erfordern.

Zusammenfassend positioniert das Paper GEPO als robustes Framework zur Stabilisierung des RL-Trainings in komplexen, Multi-Domain-LLM-Post-Training-Szenarien, um sicherzustellen, dass der Optimierungsprozess die inhärente Unsicherheit und Diversität verschiedener Aufgabentypen respektiert.