🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Diese Arbeit zeigt, dass für kleine Sprachmodelle, die mittels RLVR auf mathematischen Aufgaben trainiert wurden, die Belohnung auf Prozess-Ebene die Belohnung ausschließlich auf Ergebnis-Ebene sowohl in der Genauigkeit als auch in der Treue des Reasoning-Traces signifikant übertrifft, während hybride Belohnungsstrukturen im Allgemeinen von höheren Prozess-Gewichtungen profitieren.

Ursprüngliche Autoren: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr jungen, eifrigen Schüler (ein kleines KI-Modell), wie man Mathe-Textaufgaben löst. Sie wollen, dass er die richtige Antwort findet, aber Sie wollen auch, dass er lernt, wie man denkt, und nicht nur rät.

Dieses Paper ist wie ein Lehrer, der zwei verschiedene Arten vergleicht, diesen Schüler zu bewerten: nur das Endergebnis zu prüfen gegenüber jeden einzelnen Schritt seiner Arbeit zu prüfen.

Hier ist die Aufschlüsselung ihres Experiments in einfachen Worten:

Das Setup: Der „kleine Gehirn“-Schüler

Die Forscher verwendeten ein sehr kleines KI-Modell (genannt Qwen2.5-0.5B). Denken Sie an dieses Modell als ein kluges, aber kleines Kind, das nicht über viel Gedächtnis oder viel Gehirnleistung verfügt. Weil es klein ist, kann es leicht verwirrt werden, wenn die Anweisungen nicht klar sind.

Sie gaben diesem Schüler 1.319 Matheaufgaben (aus einem Datensatz namens GSM8K). Sie trainierten den Schüler mit einer Methode namens „Reinforcement Learning“ (Bestärkendes Lernen), was im Grunde ein System von Belohnungen ist: „Gut gemacht!“ für richtige Antworten und „Versuch es noch einmal“ für falsche Antworten.

Die zwei Lehrstile (Belohnungsstrukturen)

Die Forscher testeten fünf verschiedene Wege, diese Belohnungen zu vergeben:

Der „Nur-Ergebnis“-Coach (Die Endnote):
- Wie es funktioniert: Der Lehrer schaut nur auf die endgültige Zahl im Kästchen. Wenn die Antwort richtig ist, bekommt der Schüler einen goldenen Stern. Wenn sie falsch ist, bekommt er gar nichts.
- Das Ergebnis: Der Schüler lernte, etwa 54 % der Zeit die richtige Antwort zu finden.
- Das Problem: Der Schüler fing an zu „schummeln“ oder zu raten. Er sprang direkt zur Antwort, übersprang Schritte oder erfand Logik, nur um den goldenen Stern zu bekommen. Seine Argumentation war chaotisch und oft falsch, selbst wenn die endgültige Zahl durch Glück richtig war.
Der „Nur-Prozess“-Coach (Der Schritt-für-Schritt-Bewertet):
- Wie es funktioniert: Der Lehrer prüft jeden einzelnen Schritt, den der Schüler aufschreibt. Hat er korrekt addiert? Hat er seine Variablen definiert? Wenn ein Schritt richtig ist, bekommt er einen Punkt. Wenn ein Schritt falsch ist, verliert er einen Punkt.
- Das Ergebnis: Der Schüler fand die richtige Antwort zu 64 % der Zeit.
- Der Vorteil: Sein Denken wurde viel logischer und fundierter. Er hat tatsächlich gelernt, wie man das Problem löst.
- Der Nebeneffekt: Der Schüler wurde etwas geschwätzig. Er schrieb manchmal zu viele Schritte oder wiederholte sich, wie ein Schüler, der so große Angst hat, einen Fehler zu machen, dass er einen ganzen Roman schreibt, nur um $2+2$ zu lösen.
Die „Hybrid“-Coaches (Mischung der Stile):
- Die Forscher versuchten, diese beiden Stile zu mischen. Sie gaben dem Schüler eine Punktzahl, die hauptsächlich auf den Schritten basierte, mit einem kleinen Gewicht auf der endgültigen Antwort (oder umgekehrt).
- Die Überraschung: Die beste Mischung war 90 % Fokus auf die Schritte, 10 % auf die endgültige Antwort. Dieser Schüler war fast so gut wie der „Nur-Prozess“-Schüler (61 % Genauigkeit), schrieb aber sauberere, prägnantere Antworten.
- Die Warnung: Als sie versuchten, eine Mischung zu verwenden, die 90 % Fokus auf die endgültige Antwort und nur 10 % auf die Schritte legte, war der Schüler tatsächlich schlechter als der „Nur-Ergebnis“-Schüler. Es scheint, dass wenn die Belohnung für das „Endergebnis“ zu laut ist, sie die „Schritt-für-Schritt“-Anweisungen verwirrt und nutzlos macht.

Was haben sie herausgefunden? (Die Analogie)

Denken Sie an die KI als einen Wanderer, der versucht, einen Berggipfel (die richtige Antwort) zu erreichen.

Nur-Ergebnis: Sie sagen dem Wanderer: „Wenn du den Gipfel erreichst, bekommst du einen Preis.“ Der Wanderer könnte eine Abkürzung nehmen, einen Abhang hinunterrutschen oder sich verlaufen, aber wenn er durch Glück auf den Gipfel stolpert, gewinnt er. Er lernt den Pfad nicht.
Nur-Prozess: Sie sagen dem Wanderer: „Jedes Mal, wenn du einen sicheren, korrekten Schritt auf dem Pfad machst, bekommst du einen Snack.“ Der Wanderer lernt den Pfad perfekt. Er macht vielleicht ein paar zusätzliche Schritte, um auf der sicheren Seite zu sein, aber er kommt zuverlässig an.
Der Hybrid: Sie geben Snacks für sichere Schritte, aber auch einen großen Preis für das Erreichen des Gipfels. Wenn der Preis im Vergleich zu den Snacks zu groß ist, ignoriert der Wanderer den Pfad und versucht zu fliegen oder zu springen, wobei er öfter scheitert.

Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass die Art und Weise, wie man bewertet, wichtiger ist, als man denkt.

Für kleine KI-Modelle reicht es nicht aus, einfach nur das Endergebnis zu belohnen. Dies erzeugt „Halluzinationen“ (falsche Logik), bei denen das Modell Schritte erfindet, nur um die richtige Zahl zu erhalten. Um ein Modell zu bekommen, das tatsächlich korrekt denkt, muss man den Prozess (die Schritte) stark belohnen.

Der „Nur-Prozess“-Ansatz machte das Modell signifikant intelligenter und genauer, was beweist, dass für kleine Gehirne das Aufzeigen des Rechenwegs genauso wichtig ist wie das Finden der richtigen Antwort.

Technisches Resümee: Belohnungsgranularität in RLVR für kleine Sprachmodelle

Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich als Paradigma zur Verbesserung des mathematischen Denkvermögens von Sprachmodellen etabliert, wobei der Fokus typischerweise auf ergebnisbasierten Belohnungen (Korrektheit der Endantwort) liegt. Die Auswirkungen von prozessbasierter Supervision (Schritt-für-Schritt-Belohnungen) sind jedoch noch unzureichend erforscht, insbesondere für kleine Sprachmodelle (SLMs) wie Qwen2.5-0.5B. Diese kleineren Modelle verfügen oft nicht über die interne Kapazität zur Selbstkorrektur, wenn sie lediglich spärliches, rein ergebnisorientiertes Feedback erhalten, was zu Denkprozess-Spuren führt, die selbst bei korrekter Endantwort logisch inkonsistent, halluziniert oder strukturell unzureichend sein können. Die zentrale Forschungsfrage ist, ob Prozessbelohnungen die Kohärenz und Validität von Denkprozess-Spuren verbessern und ob hybride Belohnungsstrukturen stabilere Denkprozesse liefern als jeder Ansatz allein.

Methodik

Die Autoren führten eine kontrollierte empirische Studie unter Verwendung von Qwen2.5-0.5B, einem kompakten Transformer-Modell, durch, das auf dem GSM8K-Datensatz (mathematische Textaufgaben für Grundschüler) mittels Group Relative Policy Optimization (GRPO) feinabgestimmt wurde.

Experimentelles Setup

Baseline: Ein vortrainiertes Modell, das in einem direkten Antwort-Setting (ohne Chain-of-Thought) evaluiert wurde und eine Genauigkeit von 33,13 % erreichte.
Belohnungsregime: Fünf verschiedene Belohnungsbedingungen wurden verglichen:
1. Nur-Prozess: Belohnungen werden jedem Zwischenschritt zugewiesen, sofern dieser mit der Grundwahrheit der Berechnung übereinstimmt (innerhalb einer numerischen Toleranz). Es wird eine Strafe angewendet, wenn die generierte Kette das 1,5-fache der Grundwahrheits-Schrittanzahl überschreitet.
2. Nur-Ergebnis: Binäre Belohnung basierend ausschließlich auf der Korrektheit der finalen numerischen Antwort.
3. Hybride Konfigurationen: Gewichtete Kombinationen aus Prozess- und Ergebnisbelohnungen ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) mit $\lambda \in \{0,9; 0,5; 0,1\}$ .
Evaluationsstrategie:
- Genauigkeit (Accuracy): Gemessen am vollständigen Testdatensatz von 1.319 Fragen.
- Denkprozess-Fidelität (Reasoning Fidelity): Evaluiert an einem geschichteten 45-Fragen-Segment (15 leicht, 15 mittel, 15 schwer) anhand von vier Metriken:
  - CoT-Pass@1: Erfolgsrate eines einzelnen Stichproben-Pfades.
  - Pfad-Validität (Trace Validity): Logische Gutartigkeit (Abwesenheit von Widersprüchen oder ungültigen Transformationen).
  - Abweichung der Kettenlänge (Chain Length Deviation): Differenz zwischen den generierten und den Grundwahrheits-Schrittzahlen.
  - Prozess-Schritt-Verhältnis (Process Step Ratio): Anteil der Schritte, die mit dem Grundwahrheits-Denkprozess übereinstimmen.
- Fehleranalyse: GPT-4o wurde als Richter verwendet, um Fehlermodi zu kategorisieren (z. B. fehlerhafte Ableitung, Rechenfehler, fehlende Schritte, Widersprüche).

Kernergebnisse

1. Genauigkeitsgewinne

Reine Prozess-Supervision erreichte die höchste Testgenauigkeit bei 63,73 %, was eine Verbesserung von +30,60 % gegenüber der Baseline darstellt. Dies übertraf die reine Ergebnis-Supervision (53,75 %, +20,62 % Verbesserung) deutlich.

Hybride Leistung: Die hybride Konfiguration mit hoher Prozessgewichtung ( $\lambda=0,9$ ) erreichte eine Genauigkeit von 61,10 %.
Anomalie: Die Konfiguration mit geringer Prozessgewichtung/hoher Ergebnisgewichtung ( $\lambda=0,1$ ) schnitt schlechter ab als die reine Ergebnis-Supervision (49,30 %), was darauf hindeutet, dass sich in dieser spezifischen Gewichtung widersprüchliche Optimierungssignale auf die Leistung negativ auswirken.

2. Denkprozess-Fidelität und Stabilität

Pfad-Validität: Das $\lambda=0,9$ hybride Modell erreichte die höchste Pfad-Validität (0,60), gefolgt von der reinen Ergebnis-Supervision (0,40) und der reinen Prozess-Supervision (0,22).
Kettenlänge: Reine Prozess-Modelle zeigten die größte Abweichung von den Grundwahrheits-Kettenlängen (6,49), was auf eine Tendenz zu ausschweifenden oder redundanten Denkprozessen hindeutet. Reine Ergebnis-Modelle erzeugten prägntere Pfade (Abweichung 3,64).
Prozess-Schritt-Verhältnis: Das $\lambda=0,9$ hybride Modell erreichte das höchste Verhältnis (0,84), was auf die beste Übereinstimmung mit den Zwischenschritten der Grundwahrheit hindeutet.

3. Qualitative und Fehleranalyse

Reine Prozess-Modelle: Generierten strukturell inkonsistente, aber arithmetisch fundierte Pfade. Sie führten häufig strukturelle Inkonsistenzen und Widersprüche ein, wahrscheinlich aufgrund des Anreizes, lange Ketten lokal plausibler Schritte zu produzieren.
Reine Ergebnis-Modelle: Produzierten prägnante Pfade, waren jedoch anfällig für Ableitungs- und Rechenfehler, was auf eine schwache Vermittlung der Zwischenschritte und eine Tendenz zum "Überspringen" zwischen Denkpunkten hindeutet.
Hybride Modelle: Zeigten den menschlichsten Denkfluss, indem sie eine Balance zwischen Schrittkontinuität und notwendiger Kürze hielten, und wiesen eine gleichmäßigere Verteilung der Fehlertypen mit weniger katastrophalen Ausfällen auf.

Bedeutung und Beiträge

Das Paper behauptet, dass die Belohnungsgranularität eine primäre Designentscheidung für RLVR ist und kein bloßes Implementierungsdetail. Die wichtigsten Beiträge sind:

Systematischer Vergleich: Bereitstellung eines kontrollierten Vergleichs von fünf Belohnungsbedingungen an einem kleinen Modell, das zeigt, dass dichte Prozesssignale informativere Führung bieten als spärliches Feedback der Endergebnisse für SLMs.
Jenseits der Genauigkeit: Feststellung, dass Genauigkeit allein nicht ausreicht; die Prozess-Supervision verbessert die Pfad-Fidelität und Schritt-Validität erheblich, während eine reine Ergebnis-Supervision zu "fluktuierendem" (flaky) Denken führen kann.
Hybride Dynamiken: Identifizierung dessen, dass hybride Belohnungen generell positiv mit der Prozessgewichtung korrelieren, spezifische Konfigurationen mit geringer Prozessgewichtung jedoch widersprüchliche Signale erzeugen können, die die Leistung beeinträchtigen.
Charakterisierung von Fehlermodi: Verwendung von LLM-as-a-judge, um distinkte Fehlerverteilungen aufzuzeigen: Prozess-Modelle leiden unter struktureller Inkonsistenz, während Ergebnis-Modelle unter Ableitungsfehlern leiden.

Die Autoren kommen zu dem Schluss, dass es essenziell ist, sowohl den Prozess als auch das Ergebnis des Denkens zu supervidieren, um Modelle zu entwickeln, die nicht nur korrekt antworten, sondern auch zuverlässig denken. Die Differenz von fast 10 Prozentpunkten in der Genauigkeit zwischen reiner Prozess- und reiner Ergebnis-Supervision unterstreicht die kritische Bedeutung der Belohnungsgranularität in kleinen Sprachmodellen.