💬 NLP

Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward

Diese Arbeit untersucht den paradoxen Erfolg von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) bei der Verbesserung des LLM-Reasonings, indem sie aufzeigt, dass spurelle Belohnungen die Leistung nicht durch direkte Ausrichtung, sondern durch die Induktion eines Clipping-Bias verbessern, der die Policy-Entropie reduziert, wodurch die unterschiedlichen Rollen von Exploration und Exploitation in diesem Framework geklärt werden.

Ursprüngliche Autoren: Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr klugen, aber leicht verwirrten Schüler (ein großes Sprachmodell), wie man komplexe mathematische Probleme löst. Sie möchten, dass er durch das Ausprobieren verschiedener Lösungen und das Erhalten von Feedback lernt. Dies ist der Kern von Reinforcement Learning with Verifiable Rewards (RLVR).

Normalerweise gibt der Lehrer erst am Ende ein „Ja“ oder „Nein“: „Hast du die richtige Antwort gefunden?“ Wenn ja, großartig; wenn nein, versuche es erneut.

Diese Arbeit untersucht ein seltsames Phänomen: Was passiert, wenn der Lehrer aufhört, echtes Feedback zu geben, und stattdert eine Münze wirft, um zu entscheiden, ob die Antwort richtig oder falsch ist? Überraschenderweise werden die Schüler in einigen Fällen sogar besser in Mathematik, obwohl der Lehrer lügt. Die Autoren graben tief nach dem Warum und konzentrieren sich dabei auf drei Hauptcharaktere: Clipping, Entropie und Spurious Rewards (Scheinbelohnungen).

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Der „Münzwurf“-Lehrer (Spurious Rewards)

In einem normalen Unterricht belohnt der Lehrer richtige Antworten. In diesem Experiment wirft der Lehrer eine Münze. Kopf = „Gute Arbeit!“ (Belohnung), Zahl = „Versuch es noch einmal“ (Keine Belohnung), unabhängig davon, ob die Mathematik tatsächlich richtig ist.

Das Paradoxon: Die Logik sagt, dies sollte den Schüler verwirren und schlechter machen. Aber die Arbeit fand heraus, dass dies für stärkere, klügere Schüler dieses zufällige Rauschen tatsächlich half, ihre Ergebnisse zu verbessern. Für schwächere Schüler sorgte es nur für Verwirrung und Instabilität.
Die Lektion: Es geht nicht um die „Wahrheit“ der Belohnung. Es geht darum, wie der Schüler auf das Rauschen reagiert. Wenn der Schüler bereits gut ist, dient das Rauschen als sanfter Anstoß, der ihm hilft, sich zu fokussieren. Wenn er kämpft, übertönt ihn das Rauschen einfach.

2. Der „Geschwindigkeitsbegrenzer“ (Clipping)

In dem Trainingsprozess gibt es einen Sicherheitsmechanismus namens Clipping. Stellen Sie sich vor, der Schüler rennt sehr schnell. Wenn er versucht, seine Antwort in einem einzigen Schritt zu drastisch zu ändern, setzt der Lehrer einen „Geschwindigkeitsbegrenzer“ (einen Clip), um ihn daran zu hindern, überzureagieren.

Der alte Glaube: Die Leute dachten, dieser Geschwindigkeitsbegrenzer sei der Held, der den Schüler schlauer macht, indem er gute Antworten verstärkt.
Die Entdeckung der Arbeit: Die Autoren haben die Zahlen ausgewertet und festgestellt, dass der Geschwindigkeitsbegrenzer eigentlich nur ein winziger, fast unsichtbarer Hügel ist. Er liefert nicht das primäre Lernsignal. Er ist zu klein, um der Grund dafür zu sein, warum der Schüler sich verbesserte.
Die wahre Aufgabe des Geschwindigkeitsbegrenzers: Seine wahre Aufgabe ist es, den Schüler am Panikbekommen zu hindern. Ohne ihn könnte der Schüler einen riesigen, verrückten Sprung in der Logik machen, der sein Gehirn „zerbricht“ (eine „Gradient Explosion“). Der Clip hält das Training stabil, aber er lehrt nicht die Mathematik.

3. Der „Konfidenz-Meter“ (Entropie)

Entropie ist ein schickes Wort für „wie unsicher der Schüler ist“.

Hohe Entropie: Der Schüler rät wild herum. „Vielleicht ist es 5, vielleicht ist es 10, vielleicht ist es eine Banane.“ (Hohe Exploration/Erkundung).
Niedrige Entropie: Der Schüler ist sehr selbstbewusst. „Es ist definitiv 5.“ (Hohe Exploitation/Ausnutzung).

Normalerweise möchte man in der Lernphase eine Mischung: ein wenig explorieren, dann das nutzen, was man weiß. Aber bei diesem Mathematiktraining fand die Arbeit heraus, dass das Senken des Selbstvertrauens des Schülers (Reduzierung der Entropie) oft zu besseren Ergebnissen führt.

Die Verbindung: Der „Geschwindigkeitsbegrenzer“ (Clipping) wirkt versehentlich wie ein Selbstvertrauens-Booster. Indem er den Schüler daran hindert, wilde Schwankungen zu machen, zwingt er ihn dazu, näher an seinen aktuellen, selbstbewussteren Antworten zu bleiben.
Der Haken: Selbstbewusstsein ist nicht immer gut.
- Wenn der Schüler bereits klug ist und die Aufgaben leicht sind, hilft ihm das Selbstbewusstsein dabei, die richtige Antwort festzuhalten.
- Wenn der Schüler schwach ist oder die Aufgaben schwer sind, führt das Erzwingen von Selbstbewusstsein dazu, dass er stur falsch liegt. Er hört auf, neue Ideen zu erforschen, und bleibt in einer schlechten Gewohnheit stecken.

Das große Ganze: Was passiert eigentlich?

Die Arbeit löst ein Rätsel: Warum macht es Schüler manchmal schlauer, wenn man sie anlügt (zufällige Belohnungen)?

Es ist nicht die Lüge selbst: Der zufällige Münzwurf lehrt keine Mathematik.
Es ist nicht der Geschwindigkeitsbegrenzer: Der Clipping-Mechanismus ist zu klein, um der Hauptlehrer zu sein.
Es geht um den „Konfidenz-Lock“: Die Kombination aus zufälligem Rauschen und dem Geschwindigkeitsbegrenzer zwingt den Schüler dazu, deterministischer zu werden (weniger zufällig, mehr selbstbewusst).
- Für einen starken Schüler hilft dieser „Konfidenz-Lock“ dabei, aufzuhören, an sich selbst zu zweifeln, und dem richtigen Weg treu zu bleiben.
- Für einen schwachen Schüler sperrt dieser Lock ihn in seinen Fehlern ein, und er wird schlechter.

Zusammenfassung in einem Satz

Die Arbeit enthüllt, dass in der KI-Mathematik-Ausbildung „zufälliges Rauschen“ starken Modellen nicht deshalb hilft, weil das Rauschen nützlich ist, sondern weil die Trainingsregeln (Clipping) die Modelle versehentlich dazu zwingen, aufzuhören zu raten und statzdessen selbstbewusst deterministisch zu werden, was nur funktioniert, wenn das Modell bereits klug genug war, um recht zu haben.

Technisches Resümee: Exploration vs. Exploitation in RLVR

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich als primärer Treiber für die Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) etabliert, insbesondere in mathematischen Domänen. Jüngste empirische Beobachtungen zeigen jedoch eine paradoxe Dynamik auf: Leistungssteigerungen in RLVR wurden Mechanismen zugeschrieben, die den Standard-RL-Intuitionen bezüglich des Exploration-Exploitation-Trade-offs widersprechen:

Spurious Rewards (Scheinbelohnungen): Es wurde beobachtet, dass die Verwendung von zufälligen oder falsch ausgerichteten Belohnungen (z. B. Bernoulli(1/2)-Signale unabhängig vom Grundwahrheitswert) die Leistung bestimmter Modelle (z. B. Qwen-Math) verbessert, während die klassische RL-Theorie nahelegt, dass solches Rauschen die Exploitation eher behindern sollte.
Entropie-Minimierung: Die Reduzierung der Policy-Entropie, um deterministische, hochkonfidente Ausgaben zu fördern, wurde mit Gewinnen in Verbindung gebracht, obwohl die Standardansicht besagt, dass Entropiereduktion zu vorzeitiger Konvergenz und suboptimalen Policies führt.

Die Arbeit untersucht die zugrunde liegenden Prinzipien, die diese Effekte versöhnen, und hinterfragt dabei insbesondere, ob Scheinbelohnungen einen sinnvollen Lernimpuls liefern, wie der Clipping-Bias mit der Policy-Entropie interagiert und ob die beobachteten Gewinne lediglich Artefakte von Datenkontamination oder modellspezifischen Eigenheiten sind.

2. Methodik und theoretischer Rahmen

Die Autoren verwenden eine Kombination aus theoretischer Analyse und umfassender empirischer Evaluierung über mehrere Modellfamilien (Qwen-Math, Llama, QwQ) und Größen (7B bis 32B) hinweg.

2.1 Theoretische Analyse von Clipping und Entropie

Die Arbeit analysiert Group Relative Policy Optimization (GRPO), den Standardalgorithmus für RLVR.

Clipping-Bias: Die Autoren leiten explizite Schranken für die Magnitude des oberen Clipping-Korrekturterms ( $C^+_{tot}$ ) ab. Sie beweisen, dass unter zufälligen Belohnungen der Clipping-Bias keinen sinnvollen Lernimpuls darstellt. Theoretische Schranken (Theorem 3.2, Theorem 3.4) zeigen, dass die Magnitude der rohen Surrogat-Summe ( $N_{raw}$ ) die Clipping-Korrektur signifikant übersteigt ( $E[|N_{raw}|] \gg E[|C^+_{tot}|]$ ), was impliziert, dass Clipping die Leistungssteigerung nicht direkt vorantreibt.
Entropie-Dynamik: Die Arbeit stellt die Annahme früherer Arbeiten (Cui et al., 2025) in Frage, die besagt, dass die Entropie unter zufälligen Belohnungen konstant bleibt. Durch Einbeziehung von Clipping und Termen höherer Ordnung leiten die Autoren eine „One-Step Policy-Entropy-Shift“-Formulierung her.
- Unclipped Training: Die Entropieänderung hängt von der anfänglichen Skewness der Policy ( $\Phi(\pi_{old})$ ) ab. Wenn die Policy ausreichend skewed ist, kann die Entropie steigen; andernfalls sinkt sie.
- Clipped Training: Die Autoren beweisen (Theorem 4.3), dass das obere Clipping als impliziter Mechanismus zur Entropieminimierung wirkt. Clipping reduziert systematisch die Policy-Entropie und treibt die Policy hin zu deterministischeren, hochkonfidenteren Rollouts.

2.2 Modell der Belohnungs-Fehlausrichtung (Reward Misalignment)

Um zu erklären, warum zufällige Belohnungen einigen Modellen helfen könnten, aber anderen nicht, führen die Autoren ein probabilistisches Modell der Belohnungs-Fehlausrichtung ein. Sie definieren „Damage“ ( $\Delta$ ) als den Verlust an Advantage-Masse für korrekte Rollouts aufgrund von Fehlbeschriftungen (False Positives und False Negatives).

Abhängigkeit von der Modellstärke: Die Analyse zeigt, dass der erwartete Damage und dessen Varianz sinken, wenn die Anzahl der korrekten Rollouts ( $n_c$ ) steigt. Folglich erleben stärkere Modelle (bei denen $n_c > n_i$ gilt) weniger gesamten Misalignment-Damage und stabilere Trainingsdynamiken, was sie wahrscheinlicher für den Nutzen durch zufällige Belohnungen macht.
Kontaminations-Hypothese: Das Modell legt nahe, dass Verbesserungen nicht allein auf Datenkontamination (Memorierung von Validierungssets) beruhen, sondern ein breiteres Phänomen sind, das von der initialen Kapazität des Modells relativ zur Schwierigkeit des Datensatzes abhängt.

3. Zentrale Beiträge

Theoretische Schranken für Clipping: Die Arbeit leitet explizite Schranken her, die zeigen, dass der Clipping-Bias unter Scheinbelohnungen keinen sinnvollen Lernimpuls liefert. Stattdessen etabliert sie eine deterministische Verbindung, wonach Clipping die Policy-Entropie systematisch reduziert.
Entkopplung von Entropie und Performance: Die Autoren demonstrieren, dass es keinen direkten kausalen Zusammenhang zwischen der Reduzierung der Policy-Entropie und der Leistungssteigerung gibt. Während die Entropieminimierung mit Gewinnen einhergehen kann, kann sie auch zu einem Performance-Kollaps führen, insbesondere bei schwächeren Modellen oder schwierigen Datensätzen.
Generalisierung über Kontamination hinaus: Durch Experimente mit nicht-kontaminierten Modellfamilien (Llama, QwQ) und variierenden Datensatz-Schwierigkeiten (DeepScaleR vs. AIME) zeigt die Arbeit, dass die Leistungssteigerungen unter zufälligen Belohnungen robust sind und nicht auf potenziell kontaminierte Qwen-Math-Modelle beschränkt sind.
Reward-Misalignment-Framework: Ein neues theoretisches Modell erklärt die Bedingungen, unter denen zufällige Belohnungen vorteilhaft sind, indem es den Erfolg mit der Modellstärke und dem Verhältnis von korrekten zu inkorrekten Rollouts verknüpft.

4. Experimentelle Ergebnisse

Clipping vs. Unclipped: In Experimenten mit Qwen2.5-Math-7B unter zufälligen Belohnungen führte das Deaktivieren von Clipping zu einer Erhöhung der Policy-Entropie und in einigen Fällen zu einer Leistungsverbesserung. Das Aktivieren von Clipping verursachte eine monotone Abnahme der Entropie. Entscheidend war, dass beim schwächeren Qwen-Math-7B-Modell auf dem schwierigen AIME-Datensatz die Entropieminimierung (durch Clipping) zu einer suboptimalen Leistung führte, während stärkere Modelle (QwQ-32B, R1-Distill-Llama-8B) stetige Gewinne zeigten.
Gradientenexplosion: Die Autoren beobachteten, dass Modelle ohne Clipping bei großen Gradientennormen (z. B. R1-Distill-Llama-8B) unter Gradientenexplosion und Trainingskollaps leiden können, was die Rolle von Clipping als Stabilisierungsmechanismus statt als Performance-Treiber hervorhebt.
Modellstärke: Experimente bestätigten, dass sich stärkere Modelle (z. B. Llama-8B distilled) unter zufälligen Belohnungen verbesserten, während schwächere Modelle (z. B. Qwen-1.5B) degradierten oder instabil blieben. Dies stützt die Theorie des Reward-Misalignment, wonach Gewinne von der Fähigkeit des Modells abhängen, eine ausreichende Anzahl korrekter Trajektorien zu generieren.
Hyperparameter-Sensitivität: Die Variation des Clipping-Verhältnisses ( $\epsilon$ ) und der Gruppengröße ( $G$ ) zeigte, dass ein strikteres Clipping zwar die Varianz reduziert, aber nicht grundlegend an der Schlussfolgerung ändert, dass Clipping als Entropie-Regulator fungiert.

5. Bedeutung und Behauptungen

Die Arbeit klärt den Mechanismus hinter dem „Spurious Reward“-Phänomen in RLVR und revidiert die vorherrschende Ansicht, dass Verbesserungen ausschließlich auf Datenkontamination beruhen oder dass der Clipping-Bias einen Lernimpuls liefert.

Neubewertung von Clipping: Die Autoren behaupten, dass Clipping in RLVR unter zufälligen Belohnungen primär als Regularisierer fungiert, der eine lokale Vertrauensregion erzwingt und die Policy-Entropie reduziert, anstatt als Quelle informativer Gradienten.
Kontextabhängige Vorteile: Die Arbeit kommt zu dem Schluss, dass die Vorteile von Scheinbelohnungen und Entropieminimierung regime-abhängig sind. Sie sind effektiv für starke Modelle auf leichteren Datensätzen, bei denen die Policy bereits auf korrekten Trajektorien konzentriert ist, können aber bei schwächeren Modellen oder schwierigeren Aufgaben inkorrekte Modi verstärken und die Leistung verschlechtern.
Kein universeller Entropie-Performance-Link: Die Arbeit widerlegt explizit die Idee einer monotonen Beziehung zwischen niedrigerer Entropie und höherer Performance und zeigt, dass Entropiereduktion mit einem Performance-Kollaps einhergehen kann.

Zusammenfassend postuliert die Arbeit, dass der Erfolg von RLVR mit Scheinbelohnungen kein Paradoxon ist, sondern das Ergebnis spezifischer Interaktionen zwischen Modellstärke, Datensatzkomplexität und den impliziten Regularisierungseffekten von Clipping auf die Policy-Entropie. Diese Erkenntnisse liefern Prinzipien für ein effektiveres RLVR-Training und legen nahe, dass die Entropiekontrolle als stabilisierender Regularisierer und nicht als universelles Ziel zur Leistungssteigerung betrachtet werden sollte.