🤖 AI

GRPO is Secretly a Process Reward Model

Dieser Artikel beweist theoretisch, dass Group Relative Policy Optimization (GRPO) mit einem Outcome-Reward-Modell einem Process-Reward-Modell entspricht, identifiziert einen Fehler in dessen Umgang mit unausgewogenen Schritten und schlägt eine einfache Modifikation ( $\lambda$ -GRPO) vor, die die Reasoning-Leistung und Trainingseffizienz erheblich verbessert, ohne explizite Process-Reward-Modelle zu erfordern.

Ursprüngliche Autoren: Michael Sullivan, Alexander Koller

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michael Sullivan, Alexander Koller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Geheime Geheimnis" im Rezept

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein komplexes Matheproblem zu lösen. Sie geben dem Roboter einen Prompt, und er versucht, die Lösung schrittweise aufzuschreiben.

Normalerweise gibt es zwei Möglichkeiten, den Roboter zu bewerten:

Die Endnote (Outcome Reward): Sie schauen nur auf das allerletzte Ergebnis. Hat er die richtige Antwort bekommen? Wenn ja, +10 Punkte. Wenn nein, 0 Punkte. Das ist wie ein Lehrer, der nur die Note der Abschlussprüfung betrachtet und ignoriert, wie der Schüler die Arbeit erledigt hat.
Die schrittweise Note (Process Reward): Sie bewerten jeden einzelnen Schritt. „Gute Arbeit beim Aufstellen der Gleichung", „Ups, hier ist das Vorzeichen falsch". Das ist schwieriger zu machen, weil man einen Menschen (oder eine intelligente KI) braucht, der jede Zeile überprüft.

Die Entdeckung des Papers:
Die Autoren haben herausgefunden, dass eine beliebte Trainingsmethode namens GRPO (Group Relative Policy Optimization) tatsächlich die zweite Sache (schrittweise Bewertung) aus Versehen macht, obwohl sie eigentlich nur die erste Sache (Endnote) machen soll.

Sie nennen dies ein „Process Reward Model" (PRM), aber sie sagen, GRPO sei „im Geheimen" eines. Es ist wie ein Koch, der glaubt, er backe nur einen Kuchen, aber tatsächlich verwendet er eine geheime Zutat, die den Kuchen perfekt aufgehen lässt, ohne dass er weiß, dass sie da ist.

Wie das „Geheimnis" funktioniert: Die Gruppenchat-Analogie

Um zu verstehen, wie GRPO schrittweise bewertet, stellen Sie sich einen Klassenraum voller Schüler (eine „Gruppe") vor, die alle dasselbe Rätsel lösen versuchen.

Das Setup: Der Lehrer stellt eine Frage. Fünf Schüler schreiben ihre Antworten auf.
Die Überlappung:
- Schüler A schreibt: „Zuerst addiere ich 2..."
- Schüler B schreibt: „Zuerst addiere ich 2..."
- Schüler C schreibt: „Zuerst addiere ich 2..."
- Schüler D schreibt: „Zuerst multipliziere ich mit 5..."
- Schüler E schreibt: „Zuerst multipliziere ich mit 5..."
Beachten Sie, dass die Schüler A, B und C denselben ersten Schritt teilen („Addiere 2"). Die Schüler D und E teilen einen anderen ersten Schritt.
Die geheime Bewertung:
- Wenn die endgültige Antwort der Gruppe gut ist, gibt der Lehrer der gesamten Gruppe eine hohe Punktzahl.
- Da A, B und C denselben ersten Schritt teilten, erkennt der Algorithmus: „Hey, dieser spezifische Schritt ('Addiere 2') scheint für diese drei Personen zu guten Ergebnissen zu führen."
- Es vergibt dann einen „Bonus" für diesen spezifischen Schritt an alle, die ihn verwendet haben.
- Umgekehrt erkennt der Algorithmus, wenn die Gruppe scheitert und D und E beide mit „Multipliziere mit 5" begonnen haben, dass dieser Schritt riskant ist, und bestraft ihn.

Das Ergebnis: Obwohl der Lehrer nur auf die endgültige Antwort geschaut hat, hat der Algorithmus effektiv herausgefunden, welche Schritte gut und welche schlecht waren, nur indem er sah, welche Schritte in erfolgreichen Gruppen gemeinsam auftraten.

Das Problem: Die „ungerechte Menge"

Die Autoren haben einen Fehler in diesem geheimen Mechanismus gefunden. Er funktioniert großartig, wenn die Menge ausgeglichen ist, bricht aber zusammen, wenn die Menge unausgewogen ist.

Die Analogie:
Stellen Sie sich ein Wahlsystem vor, bei dem gezählt wird, wie viele Menschen für eine bestimmte Idee gestimmt haben.

Szenario: 90 % der Klasse beginnen mit „Addiere 2", und nur 10 % beginnen mit „Multipliziere mit 5".
Der Fehler: Wenn die „Addiere 2"-Gruppe eine etwas niedrigere Punktzahl als der Durchschnitt erhält, bestraft der Algorithmus den Schritt „Addiere 2" 90-mal härter, als er den Schritt „Multipliziere mit 5" bestrafen würde, einfach weil so viele Menschen ihn anwenden.
Die Konsequenz: Der Roboter könnte den Pfad „Addiere 2" ganz aufgeben, selbst wenn es eigentlich ein guter Pfad war, nur weil die „Menge" zu groß war und eine etwas schlechte Punktzahl erhielt. Er bekommt Angst, neue Pfade zu erkunden oder an guten festzuhalten, wenn die Zahlen verzerrt sind.

Die Lösung: $\lambda$ -GRPO (Der „Fairness-Filter")

Die Autoren schlugen eine einfache Lösung namens $\lambda$ -GRPO vor.

Die Analogie:
Anstatt jede einzelne Stimme gleich zu zählen, fügen sie einen „Fairness-Filter" hinzu.

Wenn ein Schritt sehr beliebt ist (viele Schüler haben ihn gemacht), sagt der Filter: „Okay, lass uns die Punktzahl durch die Anzahl der Menschen teilen."
Wenn ein Schritt selten ist, sagt der Filter: „Okay, lass uns diesem einen mehr Gewicht geben."

Dies stellt sicher, dass ein Schritt nach seinem eigenen Wert beurteilt wird und nicht danach, wie viele Menschen ihn in dieser spezifischen Gruppe zufällig gemacht haben. Es verhindert, dass der Algorithmus von der Größe der Menge „eingeschüchtert" wird.

Die Ergebnisse: Schneller und intelligenter

Die Autoren testeten diese Lösung an echten Matheproblemen:

Bessere Leistung: Die Modelle, die die Lösung verwendeten ( $\lambda$ -GRPO), erzielten bei mathematischen Denkaufgaben bessere Ergebnisse als die Standardmodelle.
Schnelleres Lernen: Sie erreichten ihre Spitzenleistung in der Hälfte der Zeit (weniger Trainingsschritte).
Keine zusätzlichen Kosten: Sie mussten keine teuren Menschen einstellen, um jeden Schritt zu bewerten. Sie passten lediglich die Mathematik des bestehenden Algorithmus an.

Zusammenfassung

Das Paper enthüllt, dass eine beliebte KI-Trainingsmethode (GRPO) die ganze Zeit im Geheimen wie ein schrittweiser Bewerter agierte. Allerdings hatte sie einen Fehler, bei dem sie durch unausgewogene Gruppen verwirrt wurde. Die Autoren haben diesen Fehler mit einer einfachen mathematischen Anpassung ( $\lambda$ -GRPO) behoben, wodurch die KI Denkaufgaben schneller und besser lernt, ohne dass zusätzliche teure Werkzeuge benötigt werden.

Technische Zusammenfassung: GRPO ist im Geheimen ein Process Reward Model

Problemstellung

Reinforcement Learning (RL) für Large Language Models (LLMs) stützt sich häufig auf Outcome Reward Models (ORMs), die einer gesamten Trajektorie eine einzelne skalare Belohnung zuweisen. Während Process Reward Models (PRMs) eine feinere Kreditvergabe ermöglichen, indem sie Zwischenschritte belohnen, erfordert das Training expliziter neuronaler PRMs kostspielige Schritt-für-Schritt-Menschannotationen und ist anfällig für Reward Hacking. Folglich nutzen viele erfolgreiche RL-Anwendungen, insbesondere im Bereich des mathematischen Denkens, Group Relative Policy Optimization (GRPO), welches das Kritiker-Modell und die Generalized Advantage Estimation (GAE) herkömmlicher PPO-Verfahren eliminiert.

Es besteht jedoch eine kritische Lücke im Verständnis davon, wie GRPO schrittweise Signale verarbeitet. Obwohl GRPO typischerweise als Algorithmus auf Ergebnis-Ebene betrachtet wird, ist unklar, ob es implizit eine Kreditvergabe auf Prozessebene vornimmt. Falls eine solche implizite Zuweisung existiert, ist unbekannt, ob die Standard-GRPO-Zielfunktion inhärente Mängel aufweist, die Exploration und Exploitation negativ beeinflussen, wenn Prozessschritte unausgewogene Häufigkeiten oder Belohnungen aufweisen.

Methodik

Theoretische Äquivalenz

Die Autoren liefern einen theoretischen Beweis, dass Standard-GRPO, wenn es mit einem ORM ausgestattet ist, mathematisch äquivalent zu einem PRM-bewussten RL-Ziel ist, das mit einem nicht-trivialen, Monte-Carlo-basierten PRM ausgestattet ist.

Implizite Prozessschritte: Die Autoren definieren „Prozessmengen" ( $\lambda$ ) als Teilmengen von Trajektorien innerhalb einer Trainingsgruppe $G$ , die identische Präfixe teilen. Diese geteilten Präfixe definieren auf natürliche Weise Prozessschritte (Sub-Trajektorien).
Impliziter PRM-Aufbau: Sie konstruieren eine Funktion $f$ , die jede Trajektorie auf eine Sequenz von Prozessschritten abbildet. Die einem bestimmten Prozessschritt zugewiesene Belohnung ist der mittlere Ergebnisbelohnungswert aller Trajektorien in der Gruppe, die dieses spezifische Präfix teilen (eine Monte-Carlo-Schätzung).
Äquivalenzbeweis: Unter milden Annahmen (insbesondere unter Verwendung des token-level Policy-Gradient-Ziels und eines einzelnen Update-Schritts pro Batch) beweisen die Autoren, dass die Standard-GRPO-Verlustfunktion ( $L_{GRPO}$ ) identisch mit einer PRM-bewussten Verlustfunktion ( $L_{PRM}$ ) ist, bei der Vorteile relativ zu diesen impliziten schrittweisen Belohnungen berechnet werden.

Identifizierung eines Mangels

Die Analyse offenbart einen Defekt im Standard-GRPO-Ziel in Bezug auf unausgewogene Frequenzen von Prozessschritten.

In der Standardformulierung wird der Beitrag eines Prozessschritts zum Gesamtverlust durch die Anzahl der Trajektorien ( $|\lambda|$ ) skaliert, die diesen Schritt teilen.
Wenn ein Prozessschritt einen negativen Vorteil aufweist (d. h. seine mittlere Belohnung liegt unter dem Gruppenmittelwert), aber von vielen Trajektorien geteilt wird, wird die Strafe durch $|\lambda|$ verstärkt. Dies unterdrückt die Wahrscheinlichkeit der Generierung dieses Schritts unverhältnismäßig stark und behindert potenziell die Exploration von Trajektorien mit hohen Belohnungen, die zufällig ein Präfix mit niedriger Belohnung mit anderen Trajektorien teilen.
Umgekehrt wird, wenn ein Schritt einen positiven Vorteil aufweist, das Belohnungssignal verstärkt, was potenziell die Exploration alternativer Pfade behindert.

Vorgeschlagene Lösung: $\lambda$ -GRPO

Um diesen Mangel zu mildern, schlagen die Autoren $\lambda$ -GRPO vor, eine einfache Modifikation der GRPO-Verlustfunktion.

Mechanismus: Der Token-Level-Verlust für einen Token $y^{(i)}_t$ wird mit dem Kehrwert der Größe seiner Prozessmenge, $|\lambda(i,t)|^{-1}$ , skaliert.
Wirkung: Diese Normalisierung hebt den Frequenz-Skalierungsfaktor $|\lambda|$ auf, der im Standardziel enthalten ist. Folglich trägt jede Prozessmenge an einem gegebenen Index gleichmäßig zum Verlust bei, unabhängig davon, wie viele Trajektorien dieses Präfix teilen. Dies verhindert, dass der Algorithmus Schritte allein aufgrund ihrer Häufigkeit innerhalb der Gruppe übermäßig bestraft oder belohnt.

Wichtige Ergebnisse

Empirische Validierung des impliziten PRM

Die Autoren haben empirisch verifiziert, dass die „versteckte" PRM-Struktur in realen Szenarien nicht-trivial ist.

Unter Verwendung des OpenRS-Mathematik-Datensatzes analysierten sie die Baumstrukturen ( $B(G)$ ), die während des Trainings durch Trajektorienpräfixe gebildet werden.
Die Ergebnisse zeigten, dass bei Gruppengrößen von 6 und 36 über 99 % der generierten Gruppen nicht-triviale Prozessbelohnungen induzierten (d. h. Präfixe überlappten signifikant).
Mit fortschreitendem Training und Konvergenz der Modelle nahmen die Komplexität dieser Präfixstrukturen (Pfadtiefe) und der Anteil der Tokens, die an Zwischenschritten beteiligt sind, drastisch zu.

Leistung bei synthetischen Aufgaben

In einer synthetischen Binärbaum-Umgebung, die entwickelt wurde, um die „Anti-Exploration"-Hypothese zu testen:

Kämpfte Standard-GRPO damit, auf den Pfad mit maximaler Belohnung zu konvergieren, wenn dieser Pfad ein Präfix mit Pfaden geringerer Belohnung teilte (aufgrund des verstärkten negativen Vorteils).
Konvergierte $\lambda$ -GRPO konsistent häufiger auf den Zielpfad über verschiedene Konfigurationen von Präfixlänge und negativen Belohnungswerten hinweg.

Downstream-Reasoning-Benchmarks

Die Autoren fine-tunten die Modelle DeepSeek-R1-Distill-Qwen-1.5B und Llama-3.2-1B-Instruct auf dem OpenRS-Datensatz und evaluierten sie auf fünf Reasoning-Benchmarks (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

Genauigkeit: $\lambda$ -GRPO-Modelle schnitten bei 15 von 20 spezifischen Aufgaben-/Modellkonfigurationen besser ab als Standard-GRPO-Modelle.
Effizienz: $\lambda$ -GRPO-Modelle erreichten ihre maximale Validierungsgenauigkeit in weniger als der Hälfte der Trainings-Schritte, die für Standard-GRPO erforderlich waren.
Beschleunigung: Die Autoren berichten von einer etwaigen 2-fachen Trainingsbeschleunigung in Bezug auf Schritte bis zur Spitzenleistung, mit vernachlässigbarem Rechenaufwand für die Normalisierungsberechnung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Standard-GRPO-Algorithmus bereits eine reichhaltige, eingebaute PRM-Struktur besitzt, die sich aus Ergebnisebenen-Belohnungen und Trajektorien-Überlappungen ableitet. Die Bedeutung dieser Arbeit liegt in drei Hauptbereichen:

Theoretische Einsicht: Sie entmystifiziert GRPO und beweist, dass es nicht lediglich ein Algorithmus auf Ergebnis-Ebene ist, sondern einer, der implizit strukturierte, schrittweise Belohnungen durch Monte-Carlo-Schätzung optimiert.
Algorithmische Verbesserung: Sie identifiziert einen spezifischen mathematischen Mangel im Standardziel bezüglich Frequenz-Ungleichgewichte und bietet eine rechnerisch günstige Korrektur ( $\lambda$ -GRPO) an, die die Leistung erheblich verbessert.
Praktische Auswirkung: Sie zeigt, dass hochwertige schrittweise Kreditvergabe ohne die Kosten des Trainings expliziter neuronaler PRMs oder der Sammlung von schrittweisen menschlichen Annotationen erreicht werden kann. Durch die Nutzung der impliziten Struktur können Praktiker die Reasoning-Fähigkeiten und die Trainingseffizienz mit vernachlässigbaren zusätzlichen Kosten verbessern.

Die Autoren schließen, dass zukünftige Arbeiten diese impliziten schrittweisen Signale ausnutzen sollten, anstatt sich ausschließlich auf teure, explizite PRMs zu verlassen.