💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

Dieses Paper stellt den Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO) vor, einen Reinforcement-Learning-Algorithmus, der eine entropiebasierte Diskontierung asymmetrisch auf Rollouts mit negativem Vorteil anwendet, während er volle Gradientensignale für erfolgreiche Trajektorien beibehält, wodurch das Training im Vergleich zu Standard-GRPO signifikant stabilisiert und die Leistung bei Benchmarks für mathematisches Denken verbessert wird.

Ursprüngliche Autoren: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Studenten (einem KI-Sprachmodell) bei, wie man mathematische Probleme löst. Der Student versucht zu lernen, indem er übt, Feedback erhält und seine Lerngewohnheiten anpasst. Dieses Paper stellt eine intelligentere Art vor, dieses Feedback zu geben, was den Lernprozess schneller, stabiler und weniger verwirrend macht.

Hier ist die Aufschlüsselung der Ideen dieses Papers unter Verwendung einfacher Analogien:

Das Problem: Der „Einheitslehrer“

Die aktuelle Standardmethode, um diese KI-Modelle zu unterrichten, heißt GRPO. Betrachten Sie GRPO als einen strengen Tutor, der jedes einzelne Wort, das der Student schreibt, gleich behandelt.

Das Problem: Wenn der Student selbstbewusst ist und einen klaren, korrekten Satz schreibt, gibt der Tutor ihm ein High-Five. Aber wenn der Student verwirrt ist, stottert oder wild rät (hohe „Entropie“ oder Unsicherheit), schenkt der Tutor ihm exakt die gleiche Aufmerksamkeit – manchmal bestraft er ihn sogar genauso hart, als wäre er selbstbewusst falsch gelegen.
Das Ergebnis: Dies verwirrt den Studenten. Wenn er bereits rät, kann eine harte Bestrafung dazu führen, dass er in Panik gerät und die falschen Dinge lernt. Umgekehrt, wenn der Student ein Problem richtig löst, aber zwischendurch ein paar unsichere Vermutungen angestellt hat, könnte der Tutor versehentlich diese unsicheren Vermutungen bestrafen und damit die Lektion schwächen: „Dieser Weg führt zur richtigen Antwort.“

Die Lösung: Zwei neue Unterrichtsstrategien

Die Autoren schlagen zwei Upgrades für dieses Tutorensystem vor, die sie AH-GRPO und SA-AH-GRPO nennen.

1. Der „Unsicherheits-Rabatt“ (AH-GRPO)

Stellen Sie sich vor, der Tutor hat eine spezielle Regel: „Wenn der Student offensichtlich verwirrt ist, drehen wir die Lautstärke des Feedbacks leiser.“

Wie es funktioniert: Der Tutor prüft bei jedem Wort, wie unsicher der Student ist. Wenn der Student wild herumrät (hohe Entropie), sagt der Tutor: „Okay, dieser Teil ist chaotisch, also werde ich ihn nicht so schwer gegen dich zählen.“
Der Vorteil: Dies verhindert, dass der Student von Rauschen überwältigt wird, wenn er Schwierigkeiten hat. Es verkürzt den „Lernhorizont“ und konzentriert sich nur auf die Teile der Antwort, die klar sind.

2. Die „Selektive Vorteil“-Regel (SA-AH-GRPO) — Das Highlight

Dies ist die wichtigste Neuerung des Papers. Sie fügt eine entscheidende Wendung zur obigen Regel hinzu: „Drehe die Lautstärke nur dann leiser, wenn der Student die gesamte Antwort falsch hatte.“

Szenario A: Der Student hat es richtig gemacht (Positiver Vorteil)
Selbst wenn der Student zwischendurch gestrauchelt oder ein paar Wörter geraten hat, sagt der Tutor, wenn er das Problem letztendlich korrekt gelöst hat: „Gute Arbeit! Jedes Wort, das du geschrieben hast, auch die unsicheren Teile, hat dir geholfen, dorthin zu kommen. Wir zählen sie alle mit!“
- Warum? Weil das Endergebnis ein Erfolg war. Wir wollen den gesamten Weg verstärken, der zum Sieg geführt hat.
Szenario B: Der Student hat es falsch gemacht (Negativer Vorteil)
Wenn der Student es nicht schafft, das Problem zu lösen, sagt der Tutor: „Du hast es falsch gemacht. Nun, lass uns schauen, wo du verwirrt warst. Wir werden die Teile ignorieren, in denen du nur wild geraten hast, damit wir dich nicht versehentlich durch diese Vermutungen zu etwas Falschem erziehen. Wir konzentrieren uns nur auf die klaren Fehler.“
- Warum? Wenn man falsch liegt und gleichzeitig verwirrt ist, sind die Vermutungen nur Rauschen. Das zu starke Bestrafen des Rauschens erzeugt ein chaotisches Lernsignal.

Die Ergebnisse: Eine sanftere Fahrt

Die Autoren testeten diese neue Methode an mathematischen Problemen mit zwei verschiedenen Größen von KI-Modellen (ein kleineres 1,5B-Modell und ein größeres 3B-Modell).

Für das größere Modell (3B): Die neue Methode hat das Modell nicht unbedingt intelligenter gemacht als die alte (es war bereits recht intelligent), aber sie machte das Training viel stabiler. Stellen Sie sich das Autofahren vor: Die alte Methode war wie das Fahren auf einer holprigen Straße, auf der das Auto nach links und rechts schwankte. Die neue Methode hat die Straße geglättet. Das „Schwanken“ (Varianz) wurde um das 3,6-fache reduziert. Das Auto erreichte dasselbe Ziel, aber mit einer viel sanfteren Fahrt.
Für das kleinere Modell (1,5B): Die neue Methode half dem Modell tatsächlich, besser zu lernen. Sie verbesserte das Endergebnis um fast 5 Prozentpunkte im Vergleich zum bloßen Start von Null an. Es scheint, dass das kleinere Modell diese zusätzliche Stabilität brauchte, um effektiv lernen zu können.

Das „Geheimrezept“: Warum es funktioniert

Das Paper argumentiert, dass dieser Ansatz den Unterschied zwischen Exploration (Erkundung) und Exploitation (Ausnutzung) respektiert:

Wenn ein Modell exploriert (rät), ist es in Ordnung, unsicher zu sein.
Wenn ein Modell erfolgreich ist, sollten wir die gesamte Reise belohnen, auch die unsicheren Teile.
Wenn ein Modell scheitert, sollten wir vorsichtig sein, das „Rauschen“ der Unsicherheit nicht zu hart zu bestrafen, da wir sonst das Lernsignal verwirren.

Zusammenfassung

Betrachten Sie SA-AH-GRPO als einen weisen Coach, der weiß, wann er streng und wann er nachsichtig sein muss.

Wenn du das Spiel gewinnst, jubelt der Coach über jede deiner Bewegungen, selbst über die riskanten.
Wenn du das Spiel verlierst, ignoriert der Coach die Momente, in denen du nur geraten hast, und konzentriert sich nur auf die klaren Fehler, damit du nicht entmutigt oder verwirrt wirst.

Diese einfache Änderung in der Gewichtung des Feedbacks macht den KI-Trainingsprozess schneller, stabiler und effektiver, insbesondere für kleinere Modelle, die zusätzliche Hilfe benötigen, um Fuß zu fassen.

Technisches Resümee: Selective-Advantage Entropy-Adaptive Horizon GRPO

Problemstellung

Group Relative Policy Optimisation (GRPO) hat sich als dominanter Algorithmus für Reinforcement Learning from Verifiable Rewards (RLVR) bei Sprachmodellen etabliert, insbesondere bei Denkaufgaben. Standardmäßiges GRPO leidet jedoch unter zwei primären Einschränkungen hinsichtlich der Gradientengewichtung:

Symmetrische Token-Gewichtung: Es behandelt jede Token-Position gleich, unabhängig von der lokalen Unsicherheit (Entropie) des Modells. An Positionen mit hoher Entropie, an denen das Modell zwischen mehreren plausiblen Fortsetzungen schwankt, ist das Gradientensignal inhärent verrauscht. Die Anwendung einheitlicher Gewichte auf diese Positionen kann das Training destabilisieren, da verrauschte Updates mit derselben Magnitude wie selbstbewusste, entropiearme Updates behandelt werden.
Symmetrische Rollout-Behandlung: Es wendet eine identische Gradientengewichtung sowohl auf erfolgreiche (positive Advantage) als auch auf gescheiterte (negative Advantage) Trajektorien an. Die Bestrafung unsicherer Token-Positionen in einer erfolgreichen Trajektorie ist kontraproduktiv, da diese Tokens zu einer korrekten Lösung beigetragen haben und daher die volle Anerkennung erhalten sollten. Umgekehrt kann eine aggressive Bestrafung unsicherer Positionen in gescheiterten Trajektorien zu widersprüchlichen Gradientensignalen führen.

Bestehende Ansätze zur Token-Gewichtung verlassen sich oft auf Hilfs-Belohnungsmodelle oder feste Heuristiken. Dieses Paper schlägt eine Methode vor, die Gewichte direkt aus der eigenen prädiktiven Unsicherheit des Modells ableitet, ohne zusätzliche Aufsicht zu benötigen.

Methodik

Die Autoren führen zwei hierarchische Erweiterungen zu GRPO ein: Adaptive-Horizon GRPO (AH-GRPO) und Selective-Advantage AH-GRPO (SA-AH-GRPO).

1. Entropy-Adaptive Horizon Discount

Der Kernmechanismus ist ein pro-Token-Gewicht, das aus der kumulativen normalisierten Entropie der Trajektorie bis zu diesem Punkt abgeleitet wird.

Normalisierte Entropie: Für ein Token $t$ in Rollout $i$ wird die normalisierte Entropie $\tilde{H}^{(i)}_t$ als Shannon-Entropie der Policy-Verteilung dividiert durch $\log V$ (Vokabulargröße) berechnet, geschätzt mittels der Top- $K$ Logits ( $K=500$ ) zur Effizienzsteigerung.
Diskontierungsfaktor: Ein pro-Schritt-Diskont $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ wird angewendet.
Kumulatives Gewicht: Das Gewicht für Token $t$ ist das Produkt aller vorangegangenen Diskonte: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
Effekt: Wenn $\alpha > 0$ , führen hoch-entropische Präfixe zu einer stärkeren Diskontierung, was effektiv den "effektiven Horizont" verkürzt, über den Gradienten durch unsichere Sequenzen propagiert werden.

2. AH-GRPO (Uniforme Anwendung)

In AH-GRPO wird das entropiebasierte Gewicht $w^{(i)}_t$ einheitlich auf alle Tokens in allen Rollouts angewendet, unabhängig davon, ob die Trajektorie erfolgreich oder gescheitert ist. Dies reduziert den Einfluss verrauschter Gradienten an unsicheren Positionen, birgt aber das Risiko, Signale auf korrekten Lösungen abzuschwächen, die zufällig unsichere Schritte enthalten.

3. SA-AH-GRPO (Selektive Anwendung)

SA-AH-GRPO führt eine Asymmetrie basierend auf der gruppennormalisierten Advantage $\hat{A}_i$ ein:

Positive Advantage ( $\hat{A}_i \geq 0$ ): Die Trajektorie wird als erfolgreich betrachtet. Alle Tokens, einschließlich jener an High-Entropy-Positionen, erhalten ein Gewicht von $1$ (keine Diskontierung). Dies bewahrt das volle Gradientensignal für korrekte Lösungen.
Negative Advantage ( $\hat{A}_i < 0$ ): Die Trajektorie wird als gescheitert betrachtet. Das entropieadaptive Gewicht $w^{(i)}_t$ wird angewendet. Dies unterdrückt Gradienten-Updates an strukturell mehrdeutigen (High-Entropy) Positionen innerhalb gescheiterter Trajektorien und verhindert, dass das Modell aufgrund verrauschter Signale übermäßig korrigiert.

Die Verlustfunktion wird modifiziert, indem sie durch die effektive (gewichtete) Token-Anzahl statt durch die rohe Token-Anzahl normalisiert wird.

Experimentelles Setup

Modelle: Qwen 2.5-1.5B-Instruct und Qwen 2.5-3B-Instruct.
Datensatz: GSM8K (mathematische Argumentation), unter Verwendung von 800 Trainings- und 500 Evaluationsbeispielen.
Fine-Tuning: Low-Rank Adaptation (LoRA) mit Rang $r=16$ .
Belohnungsfunktion: Eine zusammengesetzte Belohnung ( $r_{max}=7.5$ ), die Korrektheit, Format-Adhärenz (spezifische XML-Tags), Vorhandensein von Lösungs-Tags und die Dichte der Argumentationsschritte kombiniert.
Baselines: Standard-GRPO ( $\alpha=0$ ) und AH-GRPO ( $\alpha=0.5$ ).
Ablation: Ein Sweep über $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ auf dem 1.5B-Modell.

Kernergebnisse

1. Genauigkeit und Stabilität (3B Modell)

Beim Qwen 2.5-3B-Instruct Modell ist die Zero-Shot-Baseline stark (Pass@1 $\approx$ 0.831).

Peak-Genauigkeit: SA-AH-GRPO erreichte eine Spitzen-Pass@1 von 0.858 (Schritt 30), was der Spitzenleistung von Standard-GRPO (0.852) und AH-GRPO (0.862) entspricht.
Trainingsvarianz: SA-AH-GRPO reduzierte die Trainingsvarianz signifikant auf 0.0246, was einer 3,6-fachen Reduktion im Vergleich zu Standard-GRPO (0.0885) und einer 2,6-fachen Reduktion gegenüber AH-GRPO (0.0630) entspricht.
Fazit: Auf der 3B-Skala besteht der primäre Vorteil in der erheblichen Stabilisierung des Trainings, ohne die Spitzen-Genauigkeit zu opfern.

2. Genauigkeit und Stabilität (1.5B Modell)

Beim Qwen 2.5-1.5B-Instruct Modell ist die Zero-Shot-Baseline niedriger (Pass@1 $\approx$ 0.637).

Peak-Genauigkeit: SA-AH-GRPO erreichte eine Spitzen- und End-Pass@1 von 0.686, was eine Verbesserung von +4,9 Prozentpunkten gegenüber der Zero-Shot-Baseline darstellt. Dies übertraf Standard-GRPO (Peak 0.668) und AH-GRPO (Peak 0.676).
Varianz: Interessanterweise zeigte das 1.5B-Modell eine höhere Trainingsvarianz (0.1718) mit SA-AH-GRPO im Vergleich zu anderen Methoden. Die Autoren führen dies darauf zurück, dass das Modell mehr "Spielraum" zur Verbesserung besitzt, was zu einer größeren Reward-Variation während des Lernprozesses führt, während es dennoch von dem uneingeschränkten Gradientensignal auf positiven Rollouts profitiert.

3. Ablationsstudie ( $\alpha$ )

Der Sweep auf dem 1.5B-Modell bestätigte, dass positive $\alpha$ -Werte (Entropie-Diskontierung) konsistent besser abschneiden als negative $\alpha$ -Werte (Entropie-Amplifikation).

$\alpha = -0.25$ verschlechterte die Leistung unter das Baseline-Niveau.
Unter den positiven Werten lieferte $\alpha=0.10$ die höchste Spitzenleistung, aber eine geringere Endstabilität, während $\alpha=0.50$ eine bessere Balance bot.
Entscheidend ist, dass SA-AH-GRPO bei $\alpha=0.50$ (0.686) das symmetrische AH-GRPO bei demselben $\alpha$ (0.676) signifikant übertraf, was die Strategie der selektiven Anwendung validiert.

4. Trainingsdynamik

Impliziter Lehrplan (Curriculum): Während des Trainings sinkt die mittlere normalisierte Entropie (von ~0,029 auf ~0,009 beim 3B-Modell). Folglich nähert sich der Diskontierungsfaktor natürlich dem Wert 1 an, was als impliziter Annealing-Zeitplan wirkt: Das Modell verlässt sich weniger auf den Entropie-Filter, sobald es selbstbewusster wird.
Antwortlänge: Die mittlere Generierungslänge nahm über das Training ab (z. B. von 243 auf 171 Tokens beim 3B-Modell), was darauf hindeutet, dass die Methode prägnellere Argumentationsketen fördert.

Bedeutung und Ansprüche

Das Paper behaupten, die erste Arbeit zu sein, die eine pro-Token, pro-Rollout Entropie-adaptive Diskontierung in einem RLVR-Setting einführt, und die erste, die diese asymmetrisch basierend auf dem Vorzeichen der Advantage anwendet.

Die Autoren argumentieren, dass SA-AH-GRPO einen fundierten induktiven Bias für RLVR bei strukturierten Generierungstätigkeiten bietet, indem es:

Gradientensignale bewahrt: Es stellt sicher, dass korrekte Lösungen, selbst wenn sie unsichere Schritte enthalten, die volle Anerkennung erhalten, wodurch das Unterdrücken gültiger Lernsignale verhindert wird.
Das Training stabilisiert: Durch die selektive Dämpfung von Gradienten nur in gescheiterten Trajektorien an unsicheren Positionen werden widersprüchliche Gradientenrichtungen und die Trainingsvarianz reduziert.
Hilfsmodelle eliminiert: Der Gewichtungsmechanismus beruht ausschließlich auf der eigenen prädiktiven Unsicherheit der Policy, wodurch keine zusätzlichen Belohnungsmodelle oder festen Heuristiken erforderlich sind.

Die Ergebnisse legen nahe, dass asymmetrische Entropie-Diskontierung eine praktische Verbesserung für GRPO-basiertes Fine-Tuning darstellt, die eine überlegene Stabilität bei größeren Modellen und konsistente Genauigkeitsgewinne bei kleineren Modellen bietet. Zukünftige Arbeiten sollen diese Methoden in größeren Skalen (7B, 70B) und über verschiedene Aufgabenbereiche hinweg evaluieren.