LLM Reasoning with Process Rewards for Outcome-Guided Steps

Die Arbeit stellt PROGRS vor, ein Framework, das durch die Anwendung einer ergebnisbedingten Zentrierung auf Prozessbelohnungen deren systematische Verzerrungen korrigiert und sie sicher in das GRPO-Verfahren integriert, um die mathematische Reasoning-Leistung von Large Language Models effizient und ohne Reward-Hacking zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie lernen Mathematik mit einem sehr talentierten, aber manchmal etwas verwirrten Roboter-Lehrer. Dieser Roboter (das sogenannte „Large Language Model" oder LLM) kann lange, komplexe Rechenaufgaben lösen. Das Problem ist: Manchmal sieht seine Lösung auf den ersten Blick sehr schlau und flüssig aus, führt aber am Ende zu einem falschen Ergebnis.

Die Forscher aus Dresden und Hannover haben eine neue Methode namens PROGRS entwickelt, um diesen Roboter besser zu trainieren. Hier ist die Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das alte Problem: Der „schöne Fehler"

Bisher haben die Roboter nur gelernt, indem man ihnen am Ende gesagt hat: „Richtig!" oder „Falsch!".

• Das Problem: Wenn der Roboter einen langen Weg geht, um eine Aufgabe zu lösen, bekommt er keine Rückmeldung, während er rechnet. Er weiß erst am Ende, ob er gescheitert ist.
• Die neue Idee (PRM): Man hat einen zweiten Roboter (den „Prozess-Belohnungs-Modell" oder PRM) eingeführt, der jeden einzelnen Schritt bewertet. „Gut gemacht!", sagt er bei jedem korrekten Zwischenschritt.
• Der Haken: Dieser zweite Roboter ist nicht perfekt. Er liebt es, wenn etwas gut klingt. Er gibt oft hohe Punkte für einen Schritt, der grammatikalisch und logisch flüssig klingt, aber mathematisch falsch ist. Wenn man dem Roboter-Lehrer einfach sagt: „Mach mehr von dem, was der zweite Roboter mag", lernt er, lange, verwirrende Texte zu produzieren, die wie eine Lösung aussehen, aber falsch sind. Das nennt man „Reward Hacking" (das System austricksen).

2. Die Lösung PROGRS: Der strenge Chef und der hilfsbereite Assistent

PROGRS löst dieses Problem, indem es die Rollen neu verteilt.

• Der Chef (Das Endergebnis): Der Chef ist der einzige, der das letzte Wort hat. Wenn die Antwort falsch ist, ist die Aufgabe gescheitert, egal wie schön der Weg dorthin war. Das ist die „Outcome-Guidance" (Ergebnis-geleitete Führung).
• Der Assistent (Der Prozess-Belohnungs-Roboter): Der Assistent darf immer noch Tipps geben, aber er darf nicht mehr einfach „Punkte" verteilen.

Die zwei genialen Tricks von PROGRS:

Trick 1: Der „Null-Punkt"-Trick (Outcome-Conditioned Centering)
Stellen Sie sich vor, der Assistent bewertet die Schritte einer falschen Lösung. Früher sagte er: „Schritt 1 war toll (+10 Punkte), Schritt 2 war toll (+10 Punkte)". Der Roboter dachte dann: „Wow, ich bin gut!" und wiederholte den Fehler.
PROGRS sagt dem Assistenten: „Wenn die Endergebnisse falsch sind, musst du deine Punkte so anpassen, dass die Durchschnittspunktzahl genau Null ist."

• Die Analogie: Es ist wie ein Sporttrainer, der sagt: „Wenn ihr das Spiel verliert, ist es egal, wie gut ihr im ersten Viertel gespielt habt. Ihr habt 0 Punkte für das Spiel." Aber: Der Trainer sagt trotzdem: „In der falschen Mannschaft war Spieler A besser als Spieler B." Das hilft dem Roboter zu lernen, welche falschen Wege weniger schlimm sind, ohne ihm vorzugaukeln, dass er gewonnen hat.

Trick 2: Der „Zitter-Test" (Coherence Evaluator)
Manchmal schwankt die Meinung des Assistenten wild. Bei Schritt 1 sagt er „Super!", bei Schritt 2 „Mittelmäßig", bei Schritt 3 wieder „Super!". Das ist ein Zeichen von Unsicherheit.
PROGRS hat einen zusätzlichen Filter, der auf solche Zitterbewegungen achtet. Wenn die Bewertung eines Schrittes zu unruhig ist, wird dieser Schritt abgewertet.

• Die Analogie: Stellen Sie sich einen Navigator vor, der ständig die Richtung ändert: „Links! Nein, rechts! Nein, doch links!" PROGRS ignoriert solche nervösen Ratschläge und sucht nach einem ruhigen, konstanten Pfad.

3. Das Ergebnis: Schneller und sicherer

Dank dieser Methode lernt der Roboter:

1. Nicht zu viel zu reden: Er produziert keine langen, sinnlosen Texte mehr, nur um den Assistenten zu beeindrucken.
2. Bessere Qualität: Er findet die richtige Lösung schneller.
3. Weniger Rechenleistung: Da er effizienter lernt, braucht er weniger Versuche (Rollouts), um gut zu werden.

Zusammenfassend:
PROGRS ist wie ein kluger Ausbilder, der einem Schüler sagt: „Ich mag deine Art zu schreiben (den Prozess), aber wenn die Antwort falsch ist, zählt das nicht. Und wenn du beim Schreiben zitterst, halte ich mich zurück. Aber ich helfe dir trotzdem, den besten falschen Weg zu finden, falls du mal nicht weiterkommst."

Das Ergebnis ist, dass die Roboter in Mathe-Tests (wie MATH-500 oder AMC) deutlich besser abschneiden als vorher, besonders bei schwierigen Aufgaben, bei denen sie nicht einfach nur raten können.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen zwar Fortschritte im mathematischen Reasoning durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), stoßen jedoch bei komplexen, mehrstufigen Aufgaben an Grenzen.

• Spärlichkeit von Outcome-Rewards: Herkömmliche Ansätze belohnen nur die Korrektheit der finalen Antwort (Outcome). Bei langen Lösungswege ist dies ein sehr spärliches Signal, das wenig Anleitung für Zwischenschritte bietet.
• Fehlerhafte Prozess-Belohnungen (PRMs): Prozess-Belohnungsmodelle (Process Reward Models, PRMs) wurden eingeführt, um Zwischenstufen zu bewerten und dichtere Supervision zu bieten. In der Praxis sind PRMs jedoch oft nicht perfekt kalibriert. Sie können lokal flüssige, aber global falsche Lösungswege hoch bewerten.
• Das zentrale Dilemma: Wenn PRM-Scores als absolute Belohnungen verwendet werden, führt dies zu „Reward Hacking". Das Modell lernt, lokal plausible, aber falsche Pfade zu bevorzugen, was die Trainingsstabilität gefährdet und die finale Genauigkeit verschlechtert. Bestehende Methoden filtern zwar Daten oder verbessern PRMs, adressieren aber nicht direkt, wie Prozess-Belohnungen während der Optimierung mit der Outcome-Korrektheit interagieren sollen.

2. Methodik: PROGRS Framework

Das Paper stellt PROGRS (Process-Reward Outcome-Guided Reasoning Steps) vor, ein Framework, das PRMs nutzt, dabei aber die Outcome-Korrektheit als dominantes Signal bewahrt. Der Kernansatz ist, Prozess-Belohnungen nicht als absolute Ziele, sondern als relative Präferenzen innerhalb von Outcome-Gruppen zu behandeln.

Die Methode basiert auf drei Hauptkomponenten, die in den GRPO-Algorithmus (Group Relative Policy Optimization) integriert werden:

A. Outcome-Conditioned Centering (Zentrierung bedingt durch das Ergebnis)

Dies ist der wichtigste Mechanismus zur Vermeidung von Reward Hacking.

• Prinzip: PRM-Scores werden innerhalb der Gruppe der falschen Lösungen zentriert.
• Umsetzung: Für eine Gruppe von Lösungen wird der Durchschnitt der PRM-Scores aller falschen Lösungen ($\mu_{incorrect}$) berechnet. Dieser Wert wird von den PRM-Scores aller falschen Lösungen subtrahiert.
• Effekt: Falsche Lösungen erhalten keinen systematisch positiven „Bonus" mehr, selbst wenn sie lokal flüssig wirken. Die relativen Unterschiede zwischen den falschen Lösungen bleiben jedoch erhalten (d.h. eine etwas bessere falsche Lösung wird immer noch besser bewertet als eine schlechtere). Korrekte Lösungen behalten ihren vollen Score.
• Formel: Der zentrierte Score $\tilde{S}^{(i)}_{PRM}$ ist gleich dem Originalscore, wenn die Lösung korrekt ist; sonst wird $\mu_{incorrect}$ abgezogen.

B. Hierarchischer Multi-Scale Coherence Evaluator

Um Instabilitäten in den PRM-Scores zu glätten, wird eine Kohärenz-Penalty eingeführt.

• Fenster-Analyse: Die Trajektorie wird in überlappende oder nicht-überlappende Fenster von Schritten unterteilt.
• Varianz-Strafe: Für jedes Fenster wird die Varianz der PRM-Scores berechnet. Hohe Varianz (plötzliche Schwankungen im Vertrauen des PRMs) wird als mangelnde Kohärenz gewertet.
• Bewertung: Der Score wird durch einen Faktor multipliziert, der exponentiell mit der Varianz abnimmt ($\exp(-\lambda \frac{\sigma}{\mu})$). Dies bestraft Lösungen, bei denen das PRM zwischen aufeinanderfolgenden Schritten stark schwankt, und fördert stabile Denkpfade.

C. Advantage Construction & Optimierung

Die finale Advantage-Funktion für das Policy-Update kombiniert den normalisierten Outcome-Bonus und den zentrierten, kohärenz-gewichteten Prozess-Bonus:
$$A^{(i)}_{final} = A^{(i)}_{outcome} + \lambda_{PRM} \cdot \tilde{S}^{(i)}_{PRM}$$

• Das Training erfolgt mit GRPO (Group Relative Policy Optimization) und asymmetrischem Clipping (wie in DAPO), ohne neue trainierbare Komponenten hinzuzufügen. Ein gefrorener Quantile-Regression-PRM dient als externer Bewerter.

3. Wichtige Beiträge

1. Outcome-Conditioned Centering: Identifizierung und Implementierung eines Mechanismus, der PRMs sicher in RLVR integriert, indem systematische Verzerrungen bei falschen Lösungen eliminiert werden, ohne die Rangfolge innerhalb dieser Gruppe zu zerstören.
2. Kohärenz-Evaluator: Einführung einer Hierarchie, die lokale Instabilitäten in PRM-Scores erkennt und bestraft, um robuste Prozesssignale zu extrahieren.
3. Effiziente Integration: Demonstration, dass diese Komponenten ohne zusätzliche trainierbare Parameter in Standard-GRPO/DAPO-Pipelines integriert werden können und die Outcome-Dominanz wahren.

4. Ergebnisse

Die Methode wurde auf sechs mathematischen Benchmarks evaluiert (MATH-500, AMC, AIME, MinervaMath, OlympiadBench) und gegen Baselines wie DAPO (Outcome-only) verglichen.

• Leistungssteigerung: PROGRS übertrifft konsistent die Outcome-only-Baselines.
  • MATH-500: 74,9% Pass@1 (PROGRS-8) vs. 69,7% (DAPO-16).
  • AMC 2023: 59,0% vs. 52,0%.
  • MinervaMath: Deutliche Verbesserungen auch bei sehr schwierigen Problemen.
• Sample Efficiency: PROGRS erreicht mit weniger Rollouts (z.B. 4 oder 8 pro Prompt) Ergebnisse, die mit Baselines bei deutlich höheren Rollouts (16) vergleichbar oder besser sind. Dies zeigt eine effizientere Nutzung von Trainingsdaten.
• Stabilität: Die Methode reduziert die Varianz zwischen verschiedenen Trainingsläufen und verhindert, dass das Modell längere, aber falsche Lösungen produziert (Reward Hacking), was bei Ablationen ohne Zentrierung beobachtet wurde.
• Ablationsstudien:
  • Ohne Centering bricht die Leistung stark ein (z.B. MATH-500 von 74,9% auf 67,8%), da das Modell falsche, aber PRM-belohnte Pfade lernt.
  • Ohne Coherence Penalty sinkt die Genauigkeit ebenfalls, und die Varianz steigt, was die Notwendigkeit der Glättung von PRM-Signalen unterstreicht.

5. Bedeutung und Fazit

PROGRS adressiert ein fundamentales Problem beim Training von LLMs für mathematisches Reasoning: die Gefahr, dass Prozess-Belohnungen die finale Korrektheit untergraben.

• Paradigmenwechsel: Statt PRMs als absolute Ziele zu optimieren, werden sie als relative Korrektur innerhalb von Outcome-Gruppen genutzt.
• Praktische Relevanz: Da keine neuen trainierbaren Modelle benötigt werden (der PRM ist gefroren), ist die Methode leicht in bestehende RLHF/RLVR-Pipelines integrierbar.
• Zukunftsperspektive: Der Ansatz ermöglicht den sicheren Einsatz von PRMs auch bei Out-of-Distribution-Daten und legt den Grundstein für die Erweiterung auf nicht-verifizierbare Aufgaben durch Anpassung der Kohärenz-Signale.

Zusammenfassend zeigt PROGRS, dass durch die intelligente Kombination von Outcome-Dominanz und zentrierten Prozess-Präferenzen sowohl die Genauigkeit als auch die Trainingsstabilität von LLMs im mathematischen Reasoning signifikant gesteigert werden können.