💬 NLP

Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities

Dieses Paper schlägt ProGRPO vor, einen neuartigen Reinforcement-Learning-Ansatz, der einen Advantage-Re-weighting-Mechanismus einsetzt, um Mode Collapse zu mildern und die Exploration beim logischen Schlussfolgern von LLMs zu verbessern, indem er Belohnungssignale dynamisch umgestaltet, um das Vertrauen über diverse korrekte Lösungen hinweg auszubalancieren, wodurch sowohl die Genauigkeit als auch die generative Diversität bei mathematischen und Programmier-Benchmarks signifikant verbessert wird.

Ursprüngliche Autoren: Pengyi Li, Elizaveta Goncharova, Andrey Kuznetsov, Ivan Oseledets

Veröffentlicht 2026-02-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengyi Li, Elizaveta Goncharova, Andrey Kuznetsov, Ivan Oseledets

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „überhebliche“ Schüler

Stellen Sie sich vor, Sie trainieren einen brillanten Schüler (die KI), um schwierige Matheaufgaben zu lösen oder Code zu schreiben. Sie verwenden ein System namens Reinforcement Learning with Verifiable Rewards (RLVR). Betrachten Sie dies als einen strengen Lehrer, der nur dann einen goldenen Stern vergibt, wenn der Schüler die exakt richtige Antwort gibt.

Das Problem:
Die aktuelle Methode (genannt GRPO) funktioniert wie ein Lehrer, der den Schüler nur dann lobt, wenn er seine selbstbewussteste Vermutung äußert.

Wenn der Schüler sagt: „Die Antwort ist 42“, und er sich zu 99 % sicher ist, bekommt er einen goldenen Stern.
Wenn der Schüler sagt: „Die Antwort ist 42“, aber nur zu 60 % sicher ist, bekommt er gar nichts.

Mit der Zeit lernt der Schüler, immer nur „42“ mit maximalem Selbstvertrauen zu sagen. Er hört auf, andere Wege zu probieren, um das Problem zu lösen. Wenn „42“ falsch ist, hat der Schüler keinen Plan B. In der Welt der KI wird dies als Entropie-Kollaps oder Modus-Kollaps bezeichnet. Die KI wird zu einem langweiligen Roboter, der immer wieder dieselben wenigen Antworten wiederholt, selbst wenn diese falsch sind oder es viele andere gültige Wege zur Lösung gibt.

Die Lösung: ProGRPO (Der „faire“ Lehrer)

Die Autoren schlagen eine neue Methode namens ProGRSO vor. Anstatt nur der lautesten Stimme eine Belohnung zu geben, betrachtet dieser neue Lehrer das Gesamtbild dessen, wie der Schüler denkt.

Sie führen einen Mechanismus namens Advantage Re-weighting (ARM) ein. So funktioniert er anhand einer einfachen Analogie:

1. Der „Konfidenz-Check“

Stellen Sie sich vor, der Schüler löst ein Rätsel.

Szenario A: Der Schüler sieht ein sehr einfaches Rätsel und ruft sofort die Antwort mit 100 % Selbstvertrauen heraus.
Szenario B: Der Schüler sieht ein schweres Rätsel, denkt lange darüber nach und kommt zur richtigen Antwort, ist sich aber etwas unsicher (geringeres Selbstvertrauen).

Der alte Lehrer (GRPO) würde Szenario A stark belohnen und Szenario B ignorieren.
Der neue Lehrer (ProGRPO) sagt: „Warte, Szenario B ist eigentlich beeindruckender, weil es schwierig war! Geben wir diesem Schüler ein wenig Extra-Punkte für seine Anstrengung, auch wenn er sich nicht zu 100 % sicher war.“

Dies verhindert, dass der Schüler sich nur an die „einfachen, selbstbewussten“ Antworten klammert, und ermutigt ihn, verschiedene, gültige Wege zur Problemlösung zu erforschen.

2. Das Ignorieren der „langweiligen“ Teile

Wenn der Schüler eine lange Erklärung schreibt (einen „Chain of Thought“), sind die meisten Wörter offensichtlich.

Beispiel: „Zuerst addiere ich 2 und 2. Dann multipliziere ich mit 2...“
Die Wörter „Zuerst“, „Dann“ und „multipliziere“ sind langweilig; der Schüler beherrscht sie perfekt.

Die Autoren argumentieren, dass das Zählen dieser langweiligen, hochkonfidenten Wörter die Belohnung verwässert. Es ist, als würde man eine Prüfung bewerten und Punkte dafür geben, dass das Wort „Der“ korrekt geschrieben wurde.

ProGRPO nutzt eine Low-Probability Token Length Normalization. Es ignoriert die langweiligen, einfachen Teile der Antwort und konzentriert sich stattdessen auf die schwierigen Teile, bei denen der Schüler tatsächlich nachdenken und eine Entscheidung treffen musste. Dies liefert ein viel klareres Signal darüber, wie gut die eigentliche Argumentation wirklich ist.

Die Ergebnisse: Mehr Vielfalt, gleiche Genauigkeit

Die Autoren testeten diese neue Methode bei Mathe- und Programmieraufgaben mit Modellen wie Qwen und DeepSeek.

Der alte Weg (GRPO): Die KI fand beim ersten Versuch in 37,6 % der Fälle die richtige Antwort. Aber wenn man sie bat, es 32 Mal zu versuchen, wiederholte sie meistens nur dieselben 3 oder 4 Antworten.
Der neue Weg (ProGRPO):
- Genauigkeit: Sie fand beim ersten Versuch in 43,3 % der Fälle die richtige Antwort (eine große Verbesserung).
- Vielfalt: Wenn sie gebeten wurde, es 32 Mal zu versuchen, fand sie in 68,5 % der Fälle korrekte Antworten. Entscheidend war, dass diese Antworten unterschiedlich voneinander waren.

Die Metapher:
Wenn die alte KI ein Koch war, der immer nur eine Art Pasta zubereitet hat, weil das die sicherste Wahl war, dann ist die neue KI ein Koch, der Pasta, Risotto und Suppe machen kann – und alle schmecken köstlich. Sie hatte nicht nur Glück, sondern hat gelernt, die Küche effektiver zu erkunden.

Zusammenfassung der Behauptungen

Die Autoren behaupten, dass ProGRPO durch die Anpassung der Art und Weise, wie die KI ihr „Selbstvertrauen“ berechnet und indem es die langweiligen Teile ihrer eigenen Gedanken ignoriert:

Verhindert, dass die KI in einer Schleife stecken bleibt, indem sie immer wieder dieselben wenigen Antworten wiederholt.
Verbessert die Genauigkeit bei schwierigen Mathe- und Programmieraufgaben.
Erzeugt eine größere Vielfalt an korrekten Lösungen (was entscheidend für komplexe Aufgaben ist, bei denen es mehr als einen richtigen Weg geben kann).

Die Autoren kommen zu dem Schluss, dass dies eine bessere Balance zwischen Exploration (neue Dinge ausprobieren) und Exploitation (das nutzen, was man bereits weiß) darstellt, was die KI-Argumentation robuster und zuverlässiger macht.

Technisches Resümee: Back to Basics: Wiederentdeckung der Exploration in Reinforcement Learning für LLM-Reasoning via Generativen Wahrscheinlichkeiten

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich zu einem dominanten Paradigma zur Verbesserung des Denkvermögens (Reasoning) von Large Language Models (LLMs) entwickelt, insbesondere für die Generierung langer Chain-of-Thought (CoT)-Pfade. Standardmäßige Policy-Optimierungsmethoden wie Group Relative Policy Optimization (GRPO) leiden jedoch unter Entropiekollaps und Modenkollaps.

Der Kern des Problems liegt im objektiven Ziel der gewichteten Likelihood-Maximierung. Während der Optimierung verstärkt dieses Ziel die Wahrscheinlichkeitsmasse von hochbelohnten (korrekten) Trajektorien überproportional. Infolgedessen konvergiert das Modell zu Low-Entropy-Policies, die valide alternative Denkpfade unterdrücken, was zu einem schweren Mangel an Output-Diversität führt. Bestehende Lösungen wie Entropie-Regularisierung oder dynamisches Clipping versuchen zwar, dies zu mildern, bleiben jedoch oft auf lokale Modifikationen innerhalb des Belohnungsmaximierungs-Frameworks beschränkt und scheitern daran, das Modellierung von diversen Denkpfaden grundlegend zu verbessern.

2. Methodik: ProGRPO

Die Autoren schlagen ProGRPO (Probabilistic based GRPO) vor, ein neues Paradigma, das die Konstruktion der Advantage-Funktion aus der Perspektive der generativen Wahrscheinlichkeiten neu betrachtet. Die zentrale Innovation ist ein Advantage Re-weighting Mechanism (ARM), der darauf ausgelegt ist, die Konfidenzniveaus über alle korrekten Antworten hinweg zu egalisieren.

2.1. Advantage Re-weighting Mechanism (ARM)

Anstatt das Belohnungssignal direkt zu modifizieren (was die Updates verzerren könnte, wenn alle Antworten in einer Gruppe korrekt oder inkorrekt sind), passt ProGRPO den Advantage ( $\tilde{A}_i$ ) an, indem interne Modellsignale einbezogen werden:

Prompt-Konfidenz ( $c_\theta(q_i)$ ): Das Vertrauen des Modells in den Eingabe-Prompt, berechnet als das Exponenzial des mittleren Log-Wahrscheinlichkeitswertes von Low-Probability-Tokens im Prompt.
Antwort-Konfidenz ( $c_\theta(o_i | q_i)$ ): Das Vertrauen des Modells bei der Generierung einer spezifischen Antwort $o_i$ für Prompt $q_i$ , ebenfalls berechnet über die Low-Probability-Tokens in der Antwort.

Der umgewichtete Advantage ist definiert als:
$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$
wobei $A_i$ der Standard-GRPO-Advantage ist und $\alpha$ ein Gewichtungskoeffizient. Dieser Mechanismus formt das Belohnungssignal dynamisch um: Er dämpft Gradienten-Updates für übermäßig selbstbewusste Denkpfade und verteilt die Wahrscheinlichkeitsmasse neu auf unterexplorierte, korrekte Lösungen.

2.2. Längen-Normalisierung von Low-Probability Tokens

Die Autoren beobachten, dass die Anwendung einer Längen-Normalisierung über eine gesamte Sequenz das Belohnungssignal durch „triviale“ High-Confidence-Tokens verwässert. Prädiktive Unsicherheit konzentriert sich typischerweise auf einen kleinen Bruchteil der Generationsschritte (ca. 20 %).

Strategie: Die Methode identifiziert eine kritische Teilmenge von Tokens ( $T^{low}$ ), welche die Positionen mit der höchsten prädiktiven Unsicherheit repräsentiert.
Implementierung: Konfidenzscores für sowohl Prompts als auch Antworten werden ausschließlich über diese informative Teilmenge berechnet, um bedeutsame Variationen zu bewahren, die die Qualität des Denkens widerspiegeln, anstatt oberflächliche Gewissheit.

2.3. Zielfunktion

Die finale Zielfunktion integriert diese umgewichteten Advantages in den Standard-GRPO-Loss und nutzt ein geklipptes Surrogate-Objektiv, um die Trainingsstabilität zu gewährleisten und gleichzeitig diverse Exploration zu fördern.

3. Wichtigste Beiträge

Methodische Innovation: Die Einführung von ProGRPO, welches GRPO durch die Integration eines konfidenzbewussten Advantage Re-weighting Mechanismus (ARM) erweitert. Dies ermöglicht gezielte Exploration, ohne die Trainingsstabilität zu gefährden.
Breite Effektivität: Validierung über diverse Benchmarks (Mathematik und Code-Generierung) unter Verwendung mehrerer Modellskalen (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). Die Methode übertrifft konsistent gängige Baselines wie GRPO und FlowRL.
OOD-Robustheit: Demonstration überlegener Anpassungsfähigkeit an Out-of-Distribution (OOD) Daten, wobei eine robuste Performance auf ungesehenen Datenverteilungen (z. B. GPQA, MMLU-Pro) beibehalten wird.
Signifikante Leistungssteigerungen: Die Methode erreicht einen überlegenen Trade-off zwischen Exploration und Exploitation und verbessert sowohl die Genauigkeit als auch die Output-Diversität erheblich.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Benchmarks für mathematisches Denken (AIME, AMC, MATH, OlympiadBench) und Code-Generierung (LiveCodeBench, CodeForces, HumanEval+) durchgeführt.

Mathematisches Denken:
- Auf Qwen2.5-7B übertrifft ProGRPO GRPO um 5,7 % in Pass@1 und um 13,9 % in Pass@32.
- Auf Qwen2.5-32B verbessert es Pass@1 gegenüber GRPO um 4,8 %.
- Bei DeepSeek-R1-Distill-Qwen-1.5B verbesserte sich Pass@1 von 49,4 % (GRPO) auf 58,3 % (ProGRPO).
Code-Generierung:
- Auf CodeForces erreichte ProGRPO ein Rating von 1422,49, was GRPO um fast +180 Punkte und FlowRL um +293 Punkte übertrifft.
- Auf HumanEval+ erreichte es einen Avg@16 Score von 84,01 %, den besten Wert unter den verglichenen Methoden.
Diversität und Entropie:
- Die Analyse der Trainingsentropie zeigt, dass während GRPO zu einem Entropiekollaps führt, ProGRPO einen stabilen Anstieg der Entropie aufweist, was auf eine anhaltende Exploration hindeutet.
- Diversitätsmetriken (Self-BLEU, Semantische Kosinus-Ähnlichkeit) auf AIME 2024 zeigen signifikant geringere Redundanz in den ProGRPO-Outputs im Vergleich zu GRPO, was die Generierung strukturell diverser Denkpfade bestätigt.
Ablationsstudien:
- Der Hyperparameter $\alpha$ (Gewichtungskoeffizient) erwies sich als entscheidend. Ein $\alpha$ von 0,3 bot das optimale Gleichgewicht zwischen Leistung und Stabilität. Werte von 0 (reines GRPO) lieferten schwächere Ergebnisse, während höhere Werte (0,7, 1,0) die Leistung verschlechterten, indem sie die Konfidenzsignale zu stark betonten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ProGRPO den fundamentalen Exploration-Exploitation-Trade-off in LLM-Reasoning-Aufgaben adressiert. Durch die Verschiebung des Fokus von der einfachen Belohnungsmaximierung hin zum Ausgleich generativer Wahrscheinlichkeiten und Konfidenz ermöglicht die Methode:

Milderung des Entropiekollapses: Verhindert, dass das Modell zu einem einzigen dominanten Denkpfad konvergiert.
Verbesserung der Diversität: Generiert eine breitere Vielfalt an validen Denkpfaden, was durch signifikante Gewinne in den Pass@k-Metriken (wo $k > 1$ ) belegt wird.
Verbesserung der Generalisierung: Behält eine robuste Performance auf OOD-Datensätzen bei, was darauf hindeutet, dass die erlernten Reasoning-Fähigkeiten transferierbarer sind.

Die Autoren positionieren diese Arbeit als einen „Back to Basics“-Ansatz, der die probabilistische Natur der LLM-Generierung neu untersucht, um die Grenzen aktueller RLVR-Paradigmen zu lösen und den Weg für ein stabileres und explorativeres Reinforcement Learning in Reasoning-Modellen zu ebnen.