💻 computer science

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Dieses Paper stellt die gängige Lehrmeinung infrage, wonach feingliedrige Prozess-Belohnungsmodelle überlegen seien, indem es eine einheitliche Evaluierung über 14 Domänen hinweg präsentiert, die offenbart, dass generative Ergebnis-Belohnungsmodelle (gORM) die robustesten und konsistentesten Leistungen erbringen, während schrittweise generative Prozessmodelle unter einer Fehlerfortpflanzung aufgrund von Label-Rauschen leiden.

Ursprüngliche Autoren: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, knifflige Rätsel zu lösen. Sie wollen nicht nur, dass der Roboter die richtige Antwort findet; Sie wollen auch wissen, wie er dorthin gelangt ist. Hat er eine Abkürzung genommen? Hat er einen Fehler gemacht, ihn bemerkt und korrigiert? Oder hat er einfach nur geraten und Glück gehabt?

Um dem Roboter beim Lernen zu helfen, verwenden wir ein „Belohnungsmodell“ (Reward Model) – denken Sie an einen strengen Lehrer, der die Arbeit des Roboters bewertet. Lange Zeit waren die klügsten Lehrer in der Welt der Mathematik Prozess-Belohnungsmodelle (Process Reward Models, PRMs). Diese Lehrer bewerteten jeden einzelnen Schritt des Denkprozesses des Roboters. Wenn der Roboter in Schritt 3 einen winzigen Fehler machte, stoppte der Lehrer und sagte: „Spiel vorbei, das ist falsch!“ Die Idee war, dass das Bewerten jedes Schrittes wie das Arbeiten mit einer Lupe war; es schien der detaillierteste, hilfreichste Weg zu sein, um zu lernen.

Doch hier kommt die Wendung: Dieses Paper legt nahe, dass diese Lupe für die meisten realen Rätsel (wie Recht, Medizin oder Allgemeinwissen) den Lehrer sogar blind macht.

Das große Experiment: 14 verschiedene Welten

Die Forscher haben sich nicht nur auf Matheprobleme beschränkt. Sie testeten vier verschiedene Arten von „Lehrern“ in 14 verschiedenen Domänen (darunter Recht, Biologie, Geschichte und Psychologie). Sie wollten sehen, welcher Lehrer am besten geeignet ist, dem Roboter dabei zu helfen, aus einer Menge von Vermutungen die beste Lösung auszuwählen.

Die vier Lehrer waren:

Der Endantwort-Bewertungs-Lehrer (dORM): Er schaut nur auf das Endergebnis. „Hast du die richtige Antwort erhalten? Ja/Nein.“
Der Schritt-für-Schritt-Bewertungs-Lehrer (dPRM): Er prüft jeden Schritt. „Schritt 1 ist gut, Schritt 2 ist schlecht, STOPP.“
Der Chatbot-Endantwort-Bewertungs-Lehrer (gORM): Eine intelligente KI, die eine kurze Erklärung schreibt und zusätzlich ein abschließendes Urteil abgibt.
Der Chatbot-Schritt-für-Schritt-Bewertungs-Lehrer (gPRM): Eine intelligente KI, die für jeden einzelnen Schritt eine Erklärung schreibt und diese Schritt für Schritt bewertet.

Die überraschenden Ergebnisse

In der Welt der Mathematik gewinnen die Schritt-für-Schritt-Lehrer (PRMs) normalerweise. Aber als die Forscher zu den anderen 13 Domänen wechselten, drehten sich die Ergebnisse komplett um:

Der „Schritt-für-Schritt“-Chatbot (gPRM) war der schlechteste. Er hatte Schwierigkeiten, Schritt zu halten.
Der „Schritt-für-Schritt“-Lehrer im menschlichen Stil (dPRM) war nur okay. Er schnitt etwa so gut ab wie der einfache Endantwort-Bewertungs-Lehrer.
$\text{Der „Chatbot-Endantwort“-Lehrer (gORM) war der Champion.}$ Er war am robustesten und erzielte in jeder getesteten Domäne konsistente Verbesserungen.

Warum scheiterten die Schritt-für-Schritt-Lehrer?

Das Paper bietet zwei Hauptgründe an, die ziemlich clever sind.

1. Das „Aha!“-Moment-Problem
Stellen Sie sich vor, ein Roboter löst ein Rätsel. Er macht einen Fehler in Schritt 2, aber dann merkt er: „Oh nein, ich habe mich vertan!“ und korrigiert sich in Schritt 3, um schließlich die richtige Antwort zu erhalten. Das nennt man einen „Aha!“-Moment.

Das PRM-Problem: Die Schritt-für-Schritt-Lehrer sind darauf trainiert, zu denken, dass wenn ein Schritt falsch ist, das gesamte Vorgehen falsch ist. Sie sind wie ein Schiedsrichter, der sofort die Pfeife zieht, wenn ein Spieler stolpert, selbst wenn der Spieler wieder aufsteht und das entscheidende Tor schießt. Das Paper zeigt, dass diese Lehrer in den Multi-Domänen-Tests oft die „Aha!“-Erholungen übersehen, weil sie die Bewertung zu früh abbrechen.
Das Längen-Problem: Je länger die Gedankenkette des Roboters wird, desto wahrscheinlicher ist es, dass der Schritt-für-Schritt-Lehrer bei seiner eigenen Bewertung einen Fehler macht. Das Paper legt nahe, dass mit zunehmender Länge der Kette der Fehler im Score des Schritt-für-Schritt-Lehrers wächst, was ihn weniger zuverlässig macht.

2. Die „Rauschige Label“-Falle (Noisy Label Trap)
In der Mathematik haben wir perfekte menschliche Lehrer, die jeden Schritt perfekt bewerten können. Aber in den Bereichen Recht oder Medizin ist es zu teuer, Menschen einzustellen, die jeden einzelnen Schritt des Denkprozesses eines Roboters bewerten. Deshalb nutzen wir andere KIs, um die Schritte automatisch zu bewerten.

Das Problem: Diese automatischen Bewerter machen Fehler (Rauschen). Das Paper fand heraus, dass die Schritt-für-Schritt-Lehrer sehr empfindlich auf diese Fehler reagieren. Wenn der automatische Bewerter sagt „Schritt 3 ist falsch“, obwohl er eigentlich richtig ist, gerät der Schritt-für-Schritt-Lehrer in Verwirrung und scheitert.
Der Gewinner: Die Endantwort-Lehrer (insbesondere die Chatbot-Version, gORM) sind viel robuster. Sie können das kleine Rauschen in der Mitte ignorieren und sich darauf konzentrieren, ob das Endergebnis Sinn ergibt.

Der „Konsens-Filter“-Glitch

Es gibt noch einen weiteren Grund, warum der Schritt-für-Schritt-Chatbot (gPRM) versagte. Um ihn zu trainieren, verwendeten die Forscher eine Methode namens „Konsens-Filterung“ (consensus filtering). Sie baten die KI, ihre eigenen Schritte zu bewerten, aber wenn die Bewertung der KI nicht mit der „Ground Truth“ (der Lösung) übereinstimmte, warfen sie diese Daten weg.

Das Ergebnis: Dieser Prozess war versehentlich dazu da, alle langen, komplizierten „Aha!“-artigen Denkketten herauszufiltern. Er hinterließ den Lehrer nur mit kurzen, einfachen Beispielen zum Lernen. Als der Lehrer versuchte, ein langes, komplexes Rätsel in der realen Welt zu bewerten, war er völlig unvorbereitet. Das Paper zeigt, dass die Trainingsdaten für diesen Lehrer sehr anders waren als die Testdaten – so als würde man einen Schüler nur mit 5.-Klasse-Mathe unterrichten und ihn dann in 12.-Klasse-Analysis testen.

Das Fazit

Wenn Sie ein System bauen, das Robotern helfen soll, komplexe, reale Probleme (wie Rechtsfälle oder medizinische Beratung) durchzudenken, bewerten Sie nicht obsessiv jeden einzelnen Schritt.

Das Paper legt nahe, dass ein Generatives Outcome Reward Model (gORM) – eine intelligente KI, die ihre Argumentation erklärt und ein abschließendes „Ja/Nein“-Urteil über die gesamte Lösung abgibt – das zuverlässigste Werkzeug ist. Es ist robust, kommt besser mit langen Gedankenketten zurecht und lässt sich nicht von verrauschten Daten aus der Ruhe bringen.

Während die Schritt-für-Schritt-Lehrer (PRMs) großartig für die Mathematik sind, wo wir perfekte Labels und kurze Probleme haben, argumentiert das Paper, dass für die chaotische, lange und komplexe reale Welt der „Große-Bild“-Lehrer (gORM) derjenige ist, den man an seiner Seite haben möchte.

Technisches Resümee: Überdenken von Belohnungsmodellen für Multi-Domain Test-Time Scaling

Problemstellung

Test-Time Scaling (TTS) ermöglicht es Large Language Models (LLMs), ihre Zuverlässigkeit zu verbessern, indem mehrere Reasoning-Ketten (CoTs) generiert und der beste Kandidat mithilfe externer Verifizierer ausgewählt wird. Während Outcome Reward Models (ORMs) und Process Reward Models (PRMs) in mathematiknahen Domänen bereits Erfolg gezeigt haben, bleibt ihre Wirksamkeit in breiteren, hochsensiblen Bereichen (z. B. Recht, Medizin) weitgehend unerforscht. Zudem ist die Vergleichbarkeit von diskriminativen gegenüber generativen Verifizierer-Architekturen in diesen Multi-Domain-Settings unklar. Die bestehende Literatur geht oft davon aus, dass feingliedrige Prozessüberwachung (PRMs) universell überlegen ist, doch diese Annahme stützt sich stark auf mathematikspezifische Datensätze mit qualitativ hochwertigen, manuellen Annotationen.

Methodik

Die Autoren präsentieren die erste einheitliche, kontrollierte Evaluierung von vier Belohnungsmodell-Varianten über 14 diverse Domänen hinweg (einschließlich MMLU-Pro, GPQA-Diamond, MedQA und LEXam). Die vier Varianten sind:

dORM (Diskriminatives ORM): Ein Klassifikator, der ausschließlich auf Outcome-Labels (korrektes/inkorrektes Endergebnis) trainiert wurde.
dPRM (Diskriminatives PRM): Ein Klassifikator, der auf schrittweisen Prozess-Labels trainiert wurde und Scores aggregiert (typischerweise über das Minimum), um die Korrektheit eines Pfades zu bestimmen.
gORM (Generatives ORM): Ein LLM, das darauf feinjustiert wurde, eine Verifizierungs-CoT sowie ein binäres Urteil („Ja“/„Nein“) zu generieren, trainiert mittels Consensus Filtering, wobei das generierte Urteil mit dem Ground-Truth-Outcome übereinstimmt.
gPRM (Generatives PRM): Ein LLM, das darauf feinjustiert wurde, schrittweise Verifizierungs-Rationales und Prozess-Urteile zu generieren, ebenfalls trainiert mittels Consensus Filtering.

Experimentelles Setup:

Domänen: Mathematik (PRM800K, ProcessBench) und Multi-Domain/Spezialisierte Bereiche (MMLU-Pro, GPQA-Diamond, MedQA, LEXam).
Trainingsdaten: Mathematische Labels wurden menschlich annotiert; Multi-Domain-Prozess-Labels wurden automatisch durch LLMs generiert (was potenzielles Rauschen einführt).
Evaluierung: Die Modelle wurden als Verifizierer in einem Best-of-N (BoN) Selektionsrahmen eingesetzt, bei dem $N$ CoTs generiert werden und derjenige mit dem höchsten Belohnungsscore ausgewählt wird.
Analyse: Die Autoren führten eine theoretische Analyse der Fehlergrenzen in Bezug auf die CoT-Länge sowie eine empirische Analyse der Sensitivität gegenüber Label-Rauschen und durch Consensus Filtering induzierten Verteilungsverschiebungen durch.

Zentrale Beiträge

Einheitliche Multi-Domain-Evaluierung: Die Arbeit liefert den ersten kontrollierten Vergleich von dORM, dPRM, gORM und gPRM über 14 Domänen hinweg und bewegt sich damit über den mathematikzentrierten Fokus bisheriger Arbeiten hinaus.
Kontraintuitive Erkenntnisse: Die Studie stellt die konventionelle Weisheit infrage, dass PRMs immer überlegen sind. Sie stellt fest, dass in Multi-Domain-Settings:
- dORM auf Augenhöhe mit dPRM performt.
- gPRM nicht konkurrenzfähig ist und oft andere Varianten unterperformt.
- gORM am robustesten ist und in jedem getesteten Bereich signifikante und konsistente Gewinne erzielt.
Theoretische und empirische Analyse von Fehlermodi:
- CoT-Längen-Risiko: Die Autoren beweisen (Theorem 4.2 & 4.3), dass die untere Log-Fehlergrenze für PRMs linear mit der CoT-Länge ( $T$ ) wächst, während die Fehlergrenzen von ORMs unabhängig von $T$ bleiben. Empirisch sinkt die PRM-Performance, wenn CoTs länger werden, wobei sie insbesondere Schwierigkeiten hat, „Aha“-Momente (Trajektorien, die sich von frühen Fehlern erholen) zu erkennen.
- Label-Rauschen und Verteilungsverschiebung: In Multi-Domain-Settings führt die Abhängigkeit von LLM-basiertem Auto-Labeling zu Rauschen. Die Autoren zeigen, dass gPRM unter einer schweren Verteilungsverschiebung der CoT-Länge leidet, die durch Consensus Filtering verursacht wird, welches lange, komplexe Reasoning-Ketten ausschließt und so zu einem Mismatch zwischen Trainings- und Testverteilung führt.

Ergebnisse

Mathematik-Domäne: Die Ergebnisse stimmen mit bisheriger Arbeit überein: dPRM übertrifft dORM, und generative Modelle (gORM/gPRM) performen generell besser als diskriminative.
Multi-Domain & spezialisierte Domänen:
- dORM vs. dPRM: dORM erreicht eine vergleichbare Performance wie dPRM, was darauf hindeutet, dass eine Überwachung auf Outcome-Ebene ausreichend ist, wenn Prozess-Labels verrauscht oder die Domänen divers sind.
- gORM-Überlegenheit: gORM übertrifft konsistent alle anderen Varianten, einschließlich gPRM.
- gPRM-Versagen: gPRM kann nicht mithalten, primär aufgrund der Kumulierung von Fehlern bei der schrittweisen Bewertung und der Unfähigkeit, lange, selbstkorrigierende Reasoning-Trajektorien zu handhaben.
Robustheit: gORM zeigt im Vergleich zu PRM-Varianten eine überlegene Robustheit gegenüber Label-Rauschen und variierenden CoT-Längen.

Bedeutung und Behauptungen

Das Paper argumentiert, dass die Annahme „feingliedrige Überwachung ist immer besser“ in Multi-Domain-Settings nicht hält. Die Autoren behaupten, dass die generative Outcome-Verifizierung (gORM) die zuverlässigste Strategie für den Einsatz von TTS in diversen, hochsensiblen Domänen ist.

Die Autoren heben folgende zentrale Implikationen hervor:

Neubewertung von PRMs: Der schrittweise Aggregationsmechanismus in PRMs lässt Fehler mit zunehmender Reasoning-Länge kumulieren, was sie für Domänen ungeeignet macht, in denen langes, komplexes Reasoning (einschließlich Selbstkorrektur) häufig vorkommt.
Praktische Leitlinien: Die Autoren geben spezifische Empfehlungen:
- Nutzen Sie gORM für gemischte/sich ändernde Domänen, lange CoTs oder wenn Zuverlässigkeit oberste Priorität hat (z. B. Medizin/Recht).
- Nutzen Sie dORM/dPRM nur, wenn CoTs kurz sind, die Labels sauber sind und strikte Latenz- oder Rechenbudgets bestehen.
- Vermeiden Sie gPRM in Multi-Domain-Settings aufgrund der Sensitivität gegenüber Verteilungsverschiebungen der Länge und Label-Rauschen.

Die Arbeit kommt zu dem Schluss, dass für den Multi-Domain-Einsatz die generative Outcome-Verifizierung einen robusteren und konsistenteren Weg bietet als die prozessbasierte Überwachung, was den bisherigen Trend hin zu granularer Prozess-Annotation bei komplexen Reasoning-Aufgaben infrage stellt.