Technisches Resümee: Momentum für logisches Denken: Dichte intrinsische Signale in der Policy-Optimierung

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist zum dominierenden Paradigma für die Erzeugung langkettiger logischer Schlussfolgerungen in Large Language Models (LLMs) geworden, wobei primär Group Relative Policy Optimization (GRPO) eingesetzt wird. Die Abhängigkeit von binären Ergebnisbelohnungen (korrekt/inkorrekt) induziert jedoch zwei strukturelle Fehlermodi, welche die Trainingseffizienz und die Qualität des logischen Denkens behindern:

1. Zero-Advantage Collapse (Verschwindender Vorteil-Kollaps): In einer Gruppe von Rollouts, falls alle Trajektorien dasselbe Ergebnis teilen (z. B. alle korrekt oder alle inkorrekt), wird der gruppenspezifische Vorteil null ($\sigma_R = 0$). Dies führt zu einem verschwindenden Gradienten, wodurch die gesamte Rechenleistung der Gruppe verschwendet wird. Dieses Regime tritt zunehmend häufig auf, wenn das Training fortschreitet und die Prompts entweder gesättigt sind (einfache Prompts) oder ungelöst bleiben (schwierige Prompts).
2. Halluzinierte Gewissheit (Hallucinated Certainty): In der späten Trainingsphase nimmt die Entropie der Policy des Modells selbst bei inkorrekten Rollouts an hochkritischen Entscheidungstoken ab. Das Modell wird „selbstbewusst falsch“ und verfestigt dadurch fehlerhafte Denkprozesse. Binäre Belohnungen können nicht zwischen einem zögerlichen Fehler und einem selbstbewussten Fehler unterscheiden, und versagen daher dabei, diese spezifische Pathologie zu bestrafen.

Die Ursache für beide Modi ist, dass eine binäre Ergebnisbelohnung zwar angibt, ob eine Trajektorie erfolgreich war, aber keine Informationen darüber liefert, wie sie zur Antwort gelangt ist, wodurch die Policy ohne prozessbezogene Signale bleibt.

Methodik: ISPO (Intrinsic Signal Policy Optimization)

Die Autoren schlagen ISPO vor, eine auf der Belohnungsebene basierende Erweiterung für GRPO, die die dünn besetzte Ergebnisbelohnung durch zwei intrinsische Signale verdichtet, die vollständig aus den eigenen bedingten Wahrscheinlichkeiten der Policy berechnet werden. Dieser Ansatz erfordert weder ein externes Belohnungsmodell noch Prozess-Annotationen.

1. Sequenzebenen-Signal: Konditionale IFD

Um den Zero-Advantage Collapse zu adressieren, führt ISPO ein Sequenzebenen-Signal ein, das misst, wie sehr die Denk-Trajektorie ($T$) die endgültige Antwort ($A$) informiert.

• Definition: Die Bedingte Instruction Following Difficulty (IFD) ist definiert als die Differenz der Log-Wahrscheinlichkeiten der Vorhersage der Antwort mit dem Denkpfad gegenüber der Vorhersage ohne diesen:
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• Theoretische Garantie: Die Autoren beweisen, dass der Erwartungswert dieses Terms der bedingten Kullback-Leibler-Divergenz $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$ entspricht. Diese Identität garantiert formal, dass selbst wenn die Ergebnisbelohnung homogen ist ($\sigma_{\text{outcome}}=0$), die Varianz der zusammengesetzten Belohnung ungleich Null bleibt ($\sigma_R > 0$), solange die Denkpfade variieren, wodurch der Gradient erhalten bleibt.

2. Token-Ebenen-Signal: Richtungsgebende Formung (Directional Shaping)

Um die halluzinierte Gewissheit zu adressieren, fügt ISPO eine feingliedrige, ergebnisbedingte Belohnung auf Token-Ebene hinzu, die auf eine Teilmenge von „kritischen Token“ beschränkt ist.

• Selektion kritischer Token: Die Token werden über den Schnittpunkt zweier Filter ausgewählt:
  1. Entropie-Filter ($\mathcal{A}$): Wählt Token mit hoher lokaler Unsicherheit (Top-$k\%$ Entropie).
  2. Drift-Filter ($\mathcal{C}_\Delta$): Wählt Token aus, bei denen die aktuelle Policy signifikant von der eingefrorenen Basis-Policy abgewichen ist.
     Dieser Schnitt isoliert Token, die sowohl unsicher als auch aktiv durch RL geformt wurden, was sie zu entscheidenden Entscheidungspunkten macht.
• Richtungsgebende Belohnung:
  • Korrekte Rollouts: Belohnen niedrige Perplexität (hohe Wahrscheinlichkeit) an kritischen Token, um die flüssige Ausführung zu verstärken.
  • Inkorrekte Rollouts: Belohnen hohe Entropie. Entscheidend ist, dass eine Hinge-Penalty $\max(0, \tau_H - H_t)$ auf Token mit niedriger Entropie angewendet wird. Dies bestraft asymmetrisch „selbstbewusst-falsche“ Vorhersagen (niedrige Entropie auf inkorrekten Pfaden), während unsichere inkorrekte Token relativ unbeeinflusst bleiben, was direkt die Pathologie der halluzinierten Gewissheit bekämpft.

3. Zusammengesetzte Belohnung

Die finale Belohnung $R(\tau)$ kombiniert die binäre Ergebnisbelohnung $R_o$ mit den intrinsischen Signalen:
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
Der Vorzeichenfaktor $(2R_o - 1)$ stellt sicher, dass eine starke Abhängigkeit zwischen Denken und Antwort für korrekte Antworten belohnt, aber für inkorrekte Antworten bestraft wird.

Kernbeiträge

1. Formalisierung der Fehlermodi: Die Arbeit identifiziert und analysiert Zero-Advantage Collapse und Hallucinated Certainty als strukturelle Schwächen von binären Ergebnisbelohnungen im Rahmen von RLVR.
2. Design intrinsischer Signale: Sie schlägt ISPO vor, welches ein Sequenzebenen-Signal (Konditionale IFD mit exakter bedingter KL-Identität) und eine richtungsgebende Token-Belohnung mit einem Hinge für halluzinierte Gewissheit integriert.
3. Theoretische Erhaltung des Gradienten: Es wird ein Proposition bewiesen, dass ISPO nicht-null Gradients in Batches mit Null-Vorteil bewahrt und somit Trainingsdaten „freischaltet“, die Standard-GRPO verwirft.
4. Empirische Überlegenheit: Umfangreiche Experimente zeigen konsistente Leistungssteigerungen über mehrere Modellskalen und Benchmarks hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten ISPO auf drei Qwen2.5-Basismodellen (1.5B, 7B Math und 7B General) über fünf mathematische Reasoning-Benchmarks: AIME24, AIME25, AMC23, MATH-500 und OlympiadBench.

• Leistung: ISPO übertraf konsistent kompetitive Baselines (einschließlich Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO und PREPO).
  • Bei Qwen2.5-Math-7B erreichte ISPO eine Pass@1 von 55,4 % (Durchschnitt über alle Benchmarks) und übertraf damit die stärkste Baseline (Scaf-GRPO mit 51,3 %) um 4,1 Punkte.
  • Die größten Zuwächse wurden bei den schwierigsten Benchmarks beobachtet (AIME24/AIME25), in denen der Zero-Advantage Collapse am häufigsten auftritt. Beispielsweise erreichte ISPO auf AIME24 mit dem 7B-Modell 48,9 % im Vergleich zu 43,3 % für Scaf-GRPO.
• Effizienz: ISPO stellte Gradienten wieder her, die in Batches verloren gegangen wären, die von GRPO verworfen worden wären. Während Vanilla GRPO ~24,7 % der Rollouts aufgrund von Null-Vorteilen verworf, behielt ISPO 100 % der nützlichen Rollouts bei, mit nur ~4,4 % mehr Rechenzeit (Wall-Clock-Overhead) aufgrund eines zusätzlichen Forward-Passes für die Antwort-nur-Wahrscheinlichkeit.
• Multi-Sample-Evaluierung: In Pass@32-Evaluierungen zeigte ISPO signifikante Verbesserungen (z. B. +13,7 % auf AIME24 Pass@32 gegenüber ProGRPO), was darauf hindeutet, dass die Methode erfolgreich die Stichproben-Diversität bewahrt und den Kollaps in selbstbewusst-falsches Denken verhindert.
• Ablationsstudien: Das Entfernen entweder der konditionalen IFD oder der richtungsgebenden Token-Formung führte zu Leistungseinbußen, was bestätigt, dass beide Komponenten notwendig sind. Der Schnitt der Entropie- und Drift-Filter erwies sich als überlegen gegenüber der Verwendung eines der Filter allein.

Bedeutung und Ansprüche

Das Paper behauptet, dass ISPO die fundamentale Einschränkung spärlicher binärer Belohnungen in RLVR adressiert, indem es die eigene Wahrscheinlichkeitsfläche des Modells als dichte Informationsquelle nutzt. Die Autoren charakterisieren die dichten intrinsischen Signale als ein „Momentum für das logische Denken“, das das Lernen dort aktiv hält, wo Ergebnis-Gradienten verschwinden.

Die Bedeutung der Arbeit liegt in ihrer Fähigkeit:

1. Das Training zu stabilisieren: Durch die Verhinderung des Zero-Advantage Collapse stellt ISPO sicher, dass schwierige Prompts (die oft in Gruppen mit ausschließlich falschen Ergebnissen resultieren) weiterhin Lernsignale liefern, anstatt verworfen zu werden.
2. Pathologien zu korrigieren: Durch die explizite Bestrafung selbstbewusster Fehler mildert ISPO den Fehlermodus der „Halluzinierten Gewissheit“ ab, was zu robusteren Denkpfaden führt.
3. Orthogonale Integration: Die Methode lässt sich orthogonal mit bestehenden Optimierer-Verfeinerungen und Datenkuratierungsstrategien kombinieren und bietet eine generalisierbare Verbesserung der RLVR-Pipeline, ohne den Prozess der Rollout-Generierung oder externe Belohnungsmodelle ändern zu müssen.

Die Autoren weisen auf Einschränkungen hin, insbesondere darauf, dass der Ansatz derzeit auf Aufgaben mit verifizierbaren Ergebnissen beschränkt ist und primär auf mathematischen Reasoning-Aufgaben mit Qwen2.5-Modellen validiert wurde.