💬 NLP

Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients

Dieser Beitrag stellt Positive-Only Policy Optimization (POPO) vor, ein neues RLVR-Framework, das den Bedarf an negativen Rollouts durch die Nutzung von begrenztem Importance Sampling und impliziten negativen Gradienten eliminiert, um im Vergleich zu GRPO eine überlegene Leistung in der mathematischen Schlussfolgerung zu erzielen.

Ursprüngliche Autoren: Mingwei Xu, Hao Fang

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingwei Xu, Hao Fang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, schwierige mathematische Probleme zu lösen. Normalerweise verwenden wir beim Unterrichten eines Roboters (oder einer KI) mit Bestärkungslernen einen Ansatz „Guter Polizist, Böser Polizist".

Der Gute Polizist: Wenn der Roboter eine Antwort richtig hat, geben wir ihm einen Leckerbissen (eine Belohnung).
Der Böse Polizist: Wenn der Roboter eine Antwort falsch hat, tadeln wir ihn (eine Strafe).

Die derzeit populäre Methode (genannt GRPO) stützt sich stark auf den „Bösen Polizisten". Sie generiert viele Antworten, behält die richtigen bei und versucht aktiv, die falschen zu bestrafen, um dem Roboter beizubringen, was er nicht tun soll.

Das Problem:
Die Autoren dieses Papers stellten einen Mangel in dieser „Böse-Polizist"-Strategie fest. In der Mathematik gibt es unendlich viele Möglichkeiten, eine Antwort falsch zu bekommen. Man kann einen winzigen Rechenfehler, einen Logikfehler machen oder eine völlig wilde Vermutung anstellen. Da es so viele Möglichkeiten zum Scheitern gibt, ist das Bestrafen einiger zufälliger falscher Antworten so, als würde man versuchen, eine spezifische Nadel im Heuhaufen zu finden, indem man einfach nur mit Pfeilen auf den Heuhaufen wirft. Sie könnten die wahren Gründe für das Scheitern des Roboters verpassen.

Die Lösung: POPO (Positive-Only Policy Optimization)
Die Autoren schlagen eine neue Methode namens POPO vor. Anstatt einen „Bösen Polizisten" zu verwenden, um den Roboter zu tadeln, entschieden sie sich, nur den „Guten Polizisten" zu verwenden. Sie ignorieren die falschen Antworten vollständig und konzentrieren sich zu 100 % darauf, die richtigen zu verstärken.

So machen sie diesen „Nur-Positiv"-Ansatz funktionstüchtig, ohne dass der Roboter verwirrt wird oder feststeckt:

1. Der Trick der „Selbstkonkurrenz" (Implizite negative Gradienten)

Sie könnten fragen: „Wenn Sie dem Roboter nie sagen, was falsch ist, wie verhindert er dann, Fehler zu machen?"

Die Autoren erklären, dass der Roboter lernt, was er nicht tun soll, einfach dadurch, dass er gezwungen wird, die beste richtige Antwort zu wählen.

Die Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem der Lehrer nur den Schüler lobt, der die Antwort richtig hat. Der Lehrer schreit die Schüler nicht an, die es falsch gemacht haben. Da der Lehrer jedoch nur eine begrenzte Anzahl von „Lob-Token" für die richtigen Antworten vergibt, schrumpft die Wahrscheinlichkeit der „falschen" Antworten von selbst.
Wie es funktioniert: In der Mathematik muss die Gesamtwahrscheinlichkeit aller möglichen Antworten 100 % ergeben. Wenn Sie die Wahrscheinlichkeit der richtigen Antworten erhöhen, sinkt die Wahrscheinlichkeit der falschen automatisch. Das Paper beweist mathematisch, dass dieses „Fördern des Guten" eine unsichtbare „Strafe" für das Schlechte erzeugt, selbst ohne sie explizit zu tadeln.

2. Der „Bewegliche Ziel"-Anker (Siamesisches Netzwerk)

Wenn Sie nur die guten Antworten verstärken, könnte der Roboter zu selbstbewusst werden und beginnen, dieselben wenigen Antworten immer wieder zu wiederholen (ein Problem namens „Mode Collapse"). Er hört auf, neue Wege zur Problemlösung zu erkunden.

Die Analogie: Stellen Sie sich vor, der Roboter ist ein Tänzer. Wenn er nur sich selbst beobachtet, könnte er in einer Schleife stecken bleiben. Um dies zu beheben, geben die Autoren dem Roboter einen „Schattenpartner" (ein siamesisches Netzwerk).
Wie es funktioniert: Dieser Schattenpartner ist eine etwas ältere, langsamer bewegende Version des Roboters. Der Roboter versucht, in der Nähe seines Schattenpartners zu bleiben, aber der Schattenpartner bewegt sich sehr langsam (unter Verwendung einer Technik namens Exponentieller gleitender Durchschnitt). Dies verhindert, dass der Roboter völlig vom Kurs abkommt, während er gleichzeitig lernt und sich verbessert.

3. Das „Ähnlichkeits"-Sicherheitsnetz

Normalerweise verwendet das KI-Training eine strenge Regel namens „KL-Divergenz", um zu verhindern, dass sich der Roboter zu stark verändert. Die Autoren fanden diese Regel zu starr.

Die Analogie: Anstatt den Roboter zu zwingen, einer strengen Karte zu folgen, verwenden sie einen „Ähnlichkeits"-Check. Sie betrachten die Ideen (Repräsentationen) im Gehirn des Roboters. Solange die neuen Ideen des Roboters den Ideen des Schattenpartners „ähnlich" sind, darf er sich verändern. Dies ist eine weichere, flexiblere Methode, um den Roboter stabil zu halten, ohne seine Kreativität zu ersticken.

Was haben sie herausgefunden?

Die Autoren testeten diese neue Methode (POPO) an mehreren berühmten mathematischen Benchmarks (wie AIME und Olympiaden-Problemen) unter Verwendung verschiedener KI-Modelle (wie Qwen).

Das Ergebnis: POPO schnitt genauso gut ab oder sogar besser als die derzeit besten Methoden (wie GRPO), die sowohl gute als auch schlechte Beispiele verwenden.
Das Highlight: Bei einem sehr schwierigen Test namens AIME 2025 erzielte die POPO-Methode eine Punktzahl von 36,67 % und übertraf die Standardmethode mit 30,00 %.

Zusammenfassung

Das Paper argumentiert, dass Sie in der Welt des mathematischen Denkens einen Schüler nicht ständig für jeden Fehler tadeln müssen. Wenn Sie sich intensiv darauf konzentrieren, die richtigen Schritte zu verstärken und clevere mathematische Tricks verwenden, um sicherzustellen, dass die „falschen" Schritte von selbst verschwinden, kann der Schüler (oder die KI) schneller und effektiver lernen. Sie nennen dies Positive-Only Policy Optimization.

Technische Zusammenfassung: Über negative Rollouts hinaus: Positive-only Policy Optimization mit impliziten negativen Gradienten

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als dominantes Paradigma zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs), insbesondere in mathematischen Domänen, etabliert. Aktuelle State-of-the-Art-Ansätze, wie Group Relative Policy Optimization (GRPO), stützen sich auf den Vergleich gruppierte positiver (korrekter) und negativer (inkorrekter) Rollouts, um Vorteile zu schätzen. Dieser Artikel identifiziert jedoch eine grundlegende Einschränkung darin, inkorrekte Antworten als explizite Lernsignale zu behandeln:

Fehlende Abstufung: In binären Belohnungsszenarien (z. B. $R(x,y)=1$ bei Korrektheit, sonst $0$) werden alle inkorrekten Antworten gleich behandelt. Es gibt kein inhärentes Signal, das eine „leicht falsche" Antwort von einer „völlig unsinnigen" unterscheidet.
Kombinatorische Weite: Der Raum der inkorrekten Antworten für komplexe Aufgaben (wie Mathematik auf Olympiaden-Niveau) ist kombinatorisch riesig. Das Bestrafen weniger gesampelter negativer Rollouts ist unwahrscheinlich, die relevanten Fehlermodi abzudecken oder ein robustes Belohnungssignal unter spärlichen binären Belohnungen zu liefern.
Ineffizienz: Der Artikel hinterfragt, ob eine Verbesserung der Policy allein durch Verstärkung von Erfolgen erreicht werden kann, und zieht Parallelen zu kontrastiven selbstüberwachten Lernmethoden (SSL) wie BYOL und SimSiam, die effektive Repräsentationen ausschließlich mit positiven Stichproben lernen.

Methodik: Positive-Only Policy Optimization (POPO)

Die Autoren schlagen POPO vor, ein neues on-policy RL-Framework, das ausschließlich aus positiven Rollouts (korrekten Antworten) lernt und negative Ergebnisse implizit behandelt. Das Framework arbeitet ohne disjunkte negative Rollouts zur Gradientenführung.

Kernkomponenten

Selbstnormalisierte Importance Sampling:
Anstatt ein Wertnetzwerk oder einen gruppenrelativen Vorteil zu verwenden, wendet POPO begrenzte Importance-Sampling-Gewichte über die Menge der positiven Rollouts $S^+(x)$ an. Das Gewicht für eine positive Antwort $y$ ist definiert als:
$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{wobei } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$
Dies erzeugt einen Selbstwettbewerbsmechanismus, bei dem „zuverlässige" korrekte Antworten stärker verstärkt werden, während die Normalisierung die Vielfalt erhält.
Implizite negative Gradienten:
Der Artikel liefert einen theoretischen Beweis (Satz 3.1), der zeigt, dass explizite negative Strafen unnötig sind. Aufgrund der Softmax-Bedingung ( $\sum \pi_\theta(y|x) = 1$ ) führt eine Erhöhung der Wahrscheinlichkeit positiver Antworten inhärent zu einer Verringerung der Wahrscheinlichkeit negativer Antworten. Die Gradientenanalyse zeigt, dass die Verlustfunktion einen strikt positiven Gradienten für inkorrekte Logits $y' \in S^-(x)$ induziert, der als implizite „Wahrscheinlichkeitssteuer" und entropiebasierte Strafe wirkt.
Adaptiver Siamesischer Anker:
Um das Training ohne Referenzmodell zu stabilisieren (was zu Verteilungsabweichungen oder Overfitting führen kann), setzt POPO eine Siamese-Netzwerk-Architektur ein:
- Policy-Netzwerk ( $\pi_\theta$ ): Das aktive Netzwerk, das optimiert wird.
- Siamese-Netzwerk ( $\pi_\xi$ ): Ein Zielnetzwerk, das über Exponential Moving Average (EMA) der Policy-Parameter aktualisiert wird: $\xi \leftarrow \tau \xi + (1-\tau)\theta$ .
- Ausrichtung im Repräsentationsraum: Anstelle der Standard-KL-Divergenz (die hochvarianzbehaftet und token-sensitiv sein kann), richtet POPO die versteckten Repräsentationen des Policy- und des Siamese-Netzwerks in einem semantischen Embedding-Raum unter Verwendung eines Predictor-Head und der Kosinus-Ähnlichkeit aus. Dies wirkt als weiche, begrenzte Einschränkung.
Verlustfunktion:
Der Gesamtverlust kombiniert den gewichteten negativen Log-Likelihood (NLL) bei positiven Stichproben, die Ähnlichkeit im Repräsentationsraum und die Entropieregularisierung:
$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$

Hauptbeiträge

Paradigmenwechsel: Einführung eines Frameworks, bei dem RLVR-Lernen ausschließlich über Online-positive Rollouts erfolgt und die Konvention herausfordert, dass negative Stichproben für eine effektive Policy-Optimierung erforderlich sind.
Theoretische Begründung: Beweis des Vorhandenseins impliziter negativer Gradienten, die natürlicherweise aus der Wahrscheinlichkeitsumverteilung und der Entropieregularisierung entstehen, wodurch die Notwendigkeit einer expliziten negativen Stichprobenziehung entfällt.
Stabilisierungsmechanismen: Vorschlag einer Siamese-Architektur mit momentum-basierter Anpassung und Ähnlichkeit im Repräsentationsraum als Ersatz für die KL-Divergenz, um Policy-Kollaps und unbeschränkte Drift zu verhindern.
Begrenztes Importance Sampling: Nutzung eines selbstnormalisierten Gewichtungsschemas über positiven Mengen, um die Verstärkungsstärke und die Vielfalt auszugleichen.

Experimentelle Ergebnisse

Die Autoren evaluierten POPO unter Verwendung des DeepScaleR-Preview-Datasets für das Training und testeten die Leistung über fünf mathematische Benchmarks: MATH-500, AMC 2023, AIME 2024, AIME 2025 und OlympiadBench.

Getestete Modelle: Die Experimente wurden an verschiedenen Basismodellen durchgeführt, einschließlich der Qwen2.5-Math-Familie (1.5B, 7B), DeepSeek-R1 destillierter Modelle und allgemeiner LLMs (Llama-3.1-8B, DeepSeek-Math-7B).
Leistung:
- POPO erzielte auf den meisten Benchmarks eine Leistung, die der von GRPO und seinen Varianten (Dr. GRPO, DAPO, SAPO) vergleichbar oder überlegen war.
- Bemerkenswertes Ergebnis: Auf dem AIME 2025-Benchmark mit Qwen-Math-7B erreichte POPO 36,67% und übertraf GRPO (30,00%).
- Auf OlympiadBench mit Qwen-Math-7B erreichte POPO 57,27% im Vergleich zu GRPOs 56,38%.
Ablationsstudien:
- Das Entfernen negativer Rollouts (unter Verwendung einheitlicher Gewichte) führte zu einem signifikanten Leistungsabfall, was die Notwendigkeit der selbstnormalisierten Gewichtsverteilung bestätigt.
- Das Entfernen der Momentum-Anpassung oder der Ausrichtung im Repräsentationsraum führte zu Instabilität und Leistungsverschlechterung, was die Stabilisierungsmechanismen validiert.
Generalisierung: POPO zeigte modellagnostische Vorteile und performte sowohl bei mathematikspezialisierten als auch bei allgemeinen LLMs gut.

Bedeutung und Behauptungen

Der Artikel behauptet, eine neue Richtung für RLVR zu etablieren, die effektiv ohne negative Rollouts operiert. Die Autoren argumentieren, dass in Umgebungen mit spärlichen binären Belohnungen die kombinatorische Natur von Fehlern eine explizite negative Bestrafung ineffizient und potenziell verrauscht macht. Durch die Nutzung impliziter negativer Gradienten mittels Wahrscheinlichkeitsumverteilung und die Stabilisierung der Policy durch Ausrichtung im Repräsentationsraum bietet POPO eine robuste Alternative zu aktuellen GRPO-basierten Methoden.

Die Autoren weisen auf Einschränkungen hin, darunter den aktuellen Fokus auf spärliche binäre Belohnungen (obwohl viele reale Aufgaben dichte Belohnungen haben), die Validierung nur auf textbasiertem mathematischem Reasoning und Tests, die auf Modelle bis zu 7B Parametern beschränkt sind. Sie schlagen vor, dass zukünftige Arbeiten eine adaptive Rollout-Partitionierung für negative Stichproben sowie eine Erweiterung auf Code-Generierung und multimodales Reasoning untersuchen werden.