Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat die Genauigkeit bei einmaligem Versuch (Pass@1) von Large Language Models (LLMs) bei Aufgaben des logischen Denkens wie Mathematik erheblich verbessert. Ein kritischer Nebeneffekt wurde jedoch identifiziert: Diversity Collapse (Zusammenbruch der Vielfalt).

• Das Phänomen: Während RLVR die Wahrscheinlichkeit erhöht, eine korrekte Antwort zu generieren, reduziert es oft drastisch Pass@K (die Wahrscheinlichkeit, dass mindestens eine von $K$ Stichproben korrekt ist). Dies deutet darauf hin, dass sich der Lösungsraum des Modells zusammenzieht und die Wahrscheinlichkeitsmasse auf einen schmalen Teilbereich korrekter Lösungen konzentriert, während andere gültige Denkpfade unterdrückt werden.
• Die Ursache: Die Autoren identifizieren eine strukturelle Einschränkung in Standard-RLVR-Zielfunktionen (wie GRPO - Group Relative Policy Optimization). Diese Ziele sind indifferent gegenüber der Verteilung der Wahrscheinlichkeitsmasse innerhalb der korrekten Lösungen.
  • Mathematisch ergibt jede Politik, die 100 % ihrer Masse auf die Menge der korrekten Ausgaben $Y^+$ legt, denselben maximalen Belohnungswert, unabhängig davon, ob diese Masse auf eine einzige Lösung konzentriert ist (zusammengebrochen) oder gleichmäßig über alle gültigen Lösungen verteilt ist (vielfältig).
  • In Kombination mit on-policy-Sampling-Dynamiken erzeugt diese Indifferenz einen sich selbst verstärkenden Feedback-Loop: Lösungen, die etwas häufiger gesampelt werden, erhalten größere Gradienten-Updates, was ihre Wahrscheinlichkeit und Sampling-Häufigkeit weiter erhöht und zu einem irreversiblen Mode-Collapse führt.

2. Methodik

A. Theoretische Analyse

Die Autoren formalisieren den Kollaps-Mechanismus und definieren die optimale Politikstruktur:

1. Kollaps-Mechanismus: Sie beweisen, dass unter GRPO Sampling-Verzerrungen zu ungleichen Stichprobenzahlen führen. Gradienten-Updates skalieren mit diesen Zahlen, was die Wahrscheinlichkeit dominanter Lösungen verstärkt und Minderheitenlösungen unterdrückt. Sobald eine Lösung unter einen Sampling-Schwellenwert fällt ($\pi(y) \ll 1/K$), erhält sie kein Gradientensignal mehr und kann sich nicht erholen.
2. Definition der optimalen Politik: Die Autoren schlagen vor, dass die optimale Politik die Uniform-Correct Policy (UCP) sein sollte. Diese Politik erfüllt zwei Kriterien:
   • Robustheit: Sie maximiert die im Worst-Case verbleibende Wahrscheinlichkeitsmasse, wenn eine Teilmenge korrekter Lösungen deaktiviert wird (z. B. aufgrund von Verteilungsverschiebungen).
   • Entropie-regularisierte Optimalität: Sie maximiert einzigartig das Ziel, Korrektheit mit Vielfalt (Entropie) innerhalb der korrekten Menge in Einklang zu bringen.
   • Definition: Die UCP legt eine Wahrscheinlichkeit von null auf inkorrekte Ausgaben und verteilt die Wahrscheinlichkeit gleichmäßig über alle korrekten Lösungen ($\pi(y|x) = 1/|Y^+|$ für $y \in Y^+$).

B. Vorgeschlagene Lösung: Uniform-Correct Policy Optimization (UCPO)

Um die Uniform-Correct Policy zu erreichen, schlagen die Autoren UCPO vor, eine Modifikation der GRPO-Zielfunktion.

• Zielfunktion: UCPO erweitert die Standard-Maximierung der Korrektheit um eine bedingte Gleichmäßigkeits-Strafe.
  $$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{Korrektheitsmasse}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{Gleichmäßigkeits-Strafe}}$$

  • $Z_\theta(x)$: Gesamte Wahrscheinlichkeitsmasse auf korrekten Ausgaben.
  • $q_\theta(\cdot|x)$: Die bedingte Verteilung der Politik über korrekte Ausgaben.
  • $u(\cdot|x)$: Die Gleichverteilung über die Menge der korrekten Ausgaben.
  • $\tau$: Ein Hyperparameter, der die Stärke der Gleichmäßigkeits-Strafe steuert.

• Gradienten-Mechanismus:

  • Standard-GRPO gewichtet Gradienten basierend auf der aktuellen Sampling-Häufigkeit (begünstigt dominante Modi).
  • UCPO gewichtet das Gradientensignal neu, um diese Verzerrung zu kompensieren. Es interpoliert zwischen der aktuellen bedingten Verteilung und dem Gleichverteilungs-Ziel.
  • Inverse-Gewichtung: Der Gradientenschätzer weist unterrepräsentierten korrekten Lösungen (solche mit geringer aktueller Wahrscheinlichkeit) höhere Gewichte zu und dominanten Lösungen niedrigere Gewichte. Dies verteilt das „Vorteilsbudget" effektiv neu, um Minderheiten-korrekte Antworten zu verstärken, ohne die gesamte Korrektheitsmasse zu opfern.

3. Hauptbeiträge

1. Identifikation der Indifferenz: Das Paper beweist formal, dass Standard-RLVR-Ziele indifferent gegenüber der Vielfalt innerhalb der korrekten Menge sind, was stochastische Trainingsdynamiken zu einem irreversiblen Mode-Collapse treiben lässt.
2. Theoretische Charakterisierung: Es etabliert die Uniform-Correct Policy als die einzigartige optimale Lösung sowohl unter Robustheits- als auch unter entropie-regularisierten Kriterien.
3. Algorithmen-Design (UCPO): Es leitet UCPO ab, eine einfache, aber effektive Modifikation von GRPO, die die Uniform-Correct Policy als ihr einziges Optimum erzwingt.
4. Gradienten-Neuverteilung: Es führt einen Mechanismus ein, um Gradientensignale zu unterrepräsentierten korrekten Antworten umzuleiten und den sich selbst verstärkenden Kollaps-Zyklus zu durchbrechen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten UCPO über drei Modelle (1,5B, 7B Parameter) und fünf mathematische Reasoning-Benchmarks (AIME24/25, AMC, MATH, OlympiadBench).

• Pass@K-Verbesserung: UCPO verbessert Pass@K (insbesondere Pass@64) konsistent, während ein wettbewerbsfähiges Pass@1 beibehalten wird.
  • AIME24 (7B-Modell): Erzielte eine absolute Verbesserung von +10 % in Pass@64 im Vergleich zu Standard-GRPO.
  • Durchschnittliche Verbesserung: Über alle Modelle hinweg verbesserte UCPO den durchschnittlichen Pass@64 um +3,5 bis +4,8 Punkte gegenüber GRPO.
• Vielfalts-Metriken:
  • UCPO erreichte bis zu 45 % höhere Gleichungs-Ebene-Vielfalt innerhalb der korrekten Menge im Vergleich zu GRPO.
  • Im Gegensatz zur globalen Entropie-Regularisierung (die oft Masse auf inkorrekte Antworten verteilt), behält UCPO eine hohe Korrektheitsmasse ($Z_\theta \approx 1$) bei, während es die korrekte Menge diversifiziert.
• Vergleich mit Baselines: UCPO schnitt besser ab als andere Vielfaltserhaltende Methoden wie Entropie-Regularisierung (Ent-Reg), KL-Kovarianz-Kontrolle und Focal GRPO. Globale Entropie-Regularisierung erwies sich als brüchig und verschlechterte oft Pass@1 oder verbesserte die Vielfalt innerhalb der korrekten Menge nicht.
• Effizienz: UCPO führt einen vernachlässigbaren Rechenaufwand ein (nur skalare Neugewichtung von Vorteilen) und erfordert keine zusätzlichen Rollouts oder Referenzmodelle.

5. Bedeutung

Diese Arbeit adressiert einen fundamentalen Fehler in aktuellen RLVR-Trainingsparadigmen für Reasoning-Modelle. Durch die Verschiebung des Fokus vom bloßen „Finden einer korrekten Antwort" hin zum „Aufrechterhalten einer vielfältigen Verteilung aller korrekten Antworten", ermöglicht UCPO:

• Verhinderung der Zusammenziehung des Lösungsraums: Es stellt sicher, dass Modelle während des Fine-Tunings gültige Denkpfade nicht „vergessen".
• Erhöhung der Robustheit: Eine Politik, die mehrere korrekte Lösungen abdeckt, ist robuster gegenüber Verteilungsverschiebungen oder Rauschen im Verifizierer.
• Bereitstellung eines prinzipiellen Ziels: Es geht über heuristische Entropie-Boni hinaus zu einem theoretisch fundierten Ziel, das explizit die Struktur der optimalen Politik anspricht.

Zusammenfassend bietet UCPO eine skalierbare, theoretisch fundierte Lösung für das Problem des Diversity Collapse in RLVR und ermöglicht LLMs, eine höhere Multi-Sample-Abdeckung zu erreichen, ohne die Genauigkeit bei einmaligem Versuch zu opfern.