RewardBench 2: Advancing Reward Model Evaluation

1. Problemstellung

Reward Models (RMs) sind ein zentraler Bestandteil des Post-Trainings von Sprachmodellen (LLMs), insbesondere für Reinforcement Learning from Human Feedback (RLHF), Datenfilterung und Inference-Time-Scaling-Algorithmen (wie Best-of-N Sampling). Trotz ihrer weitverbreiteten Nutzung ist die Ökosystem-Evaluation von RMs noch in den Kinderschuhen.

Das Hauptproblem besteht darin, dass die bestehenden Benchmarks (wie das ursprüngliche RewardBench) oft nicht die tatsächliche Leistung von RMs in downstream-Aufgaben widerspiegeln.

• Diskrepanz: Einfachere direkte Ausrichtungsalgorithmen (Direct Alignment) funktionieren in vielen Fällen besser als komplexe RLHF-Methoden, was die Notwendigkeit einer besseren RM-Evaluation unterstreicht.
• Mängel bestehender Benchmarks: Viele aktuelle Benchmarks nutzen Prompts, die bereits in downstream-Evaluationen verwendet wurden, was zu Datenkontamination führen kann. Zudem basieren viele auf einfachen „Chosen vs. Rejected"-Paaren (2 Optionen), was die Unterscheidung zwischen starken Modellen und einer zufälligen Basislinie erschwert.
• Fehlende Korrelation: Es ist unklar, inwieweit die Genauigkeit (Accuracy) eines RMs auf Benchmarks mit seiner tatsächlichen Wirksamkeit bei der Verbesserung von RLHF oder Best-of-N Sampling korreliert.

2. Methodik: REWARDBENCH 2

Die Autoren stellen REWARDBENCH 2 vor, ein neues, herausforderndes Benchmark-System, das auf Genauigkeits-basierten Tests (Accuracy-based) statt auf subjektiven Präferenzen („Vibes") aufbaut.

Datensatz-Konstruktion:

• Quellen: Die Prompts stammen überwiegend aus der WildChat-Pipeline (echte, ungesichtete menschliche Anfragen), um eine Kontamination mit bestehenden downstream-Datensätzen zu vermeiden.
• Struktur: Anstatt nur zwei Antworten (Chosen/Rejected) zu vergleichen, nutzt REWARDBENCH 2 ein Best-of-4-Format: Eine korrekte Antwort („Chosen") und drei Ablenkungen („Rejected"). Dies senkt die zufällige Trefferquote von 50 % auf 25 % und erhöht die Diskriminierungskraft.
• Filterung: Es wurden strenge manuelle, programmatische und LLM-basierte Filter angewendet, um die Qualität und Domänenzugehörigkeit zu sichern.

Die 6 Domänen:
Das Benchmark deckt sechs Bereiche ab, wobei drei neue Domänen hinzugefügt wurden:

1. Factuality: Erkennung von Halluzinationen und faktischen Fehlern.
2. Precise Instruction Following: Befolgung strenger Constraints (z. B. „Antworte ohne den Buchstaben 'u'").
3. Math: Lösung mathematischer Probleme auf Open-Ended-Prompts.
4. Safety: Unterscheidung zwischen akzeptablen und schädlichen Antworten (Compliance vs. Refusal).
5. Focus: Unterscheidung zwischen relevanten und irrelevanteren Antworten auf allgemeine Fragen.
6. Ties (Neu): Testet die Kalibrierung des RMs bei Fragen mit mehreren gleichwertig korrekten Antworten (z. B. „Nenne eine Farbe des Regenbogens"). Hier wird nicht nur die Korrektheit, sondern auch die Konsistenz der Reward-Margins zwischen korrekten Antworten bewertet.

Auswertung:
Die Hauptmetrik ist die Genauigkeit (Accuracy) bei der Auswahl der besten Antwort aus vier Optionen. Für die „Ties"-Domäne wird ein gewichteter Score verwendet, der die Kalibrierung der Reward-Margins berücksichtigt.

3. Wichtige Beiträge und Erkenntnisse

A. Benchmark-Leistung und Herausforderung:

• REWARDBENCH 2 ist signifikant schwieriger als das ursprüngliche RewardBench. Führende Modelle, die auf RewardBench hohe Scores erzielen, erreichen auf REWARDBENCH 2 im Durchschnitt 20 Punkte weniger.
• In spezifischen Domänen wie „Precise Instruction Following" und „Math" liegen führende Modelle oft unter 40 % bzw. 70 % Genauigkeit.

B. Training von Reward Models:
Die Autoren trainierten eigene RMs, um die Beziehung zwischen Training und Evaluation zu verstehen:

• Base Model Einfluss: Die Leistung des RMs hängt stark vom zugrunde liegenden Basismodell ab. Modelle, die auf derselben Linie (Lineage) wie das Policy-Modell basieren, performen besser.
• Trainingsdaten: Eine Kombination aus Tulu- und Skywork-Präferenzdaten führt zu besseren Ergebnissen als die Nutzung nur einer Quelle.
• Epochen: Entgegen der gängigen Praxis (oft nur 1 Epoche), zeigte sich, dass das Training über mehrere Epochen (z. B. 2) in vielen Fällen die Leistung verbessert, ohne die downstream-Leistung zu beeinträchtigen.

C. Korrelation mit Downstream-Aufgaben:

• Best-of-N (BoN) Sampling: Es gibt eine starke Korrelation (Pearson-Korrelation von 0,87) zwischen den REWARDBENCH 2-Scores und der Leistung beim Best-of-N Sampling. Das Benchmark ist also ein guter Prädiktor für Inference-Time-Scaling.
• RLHF (PPO): Hier ist die Korrelation komplexer.
  • On-Policy vs. Off-Policy: Ein RM funktioniert nur dann gut im RLHF (PPO), wenn er aus derselben Modell-Linie (Lineage) stammt wie das Policy-Modell und mit passenden Trainingsdaten trainiert wurde.
  • Ein RM mit dem höchsten Benchmark-Score kann die RLHF-Leistung drastisch verschlechtern, wenn er „off-policy" ist (z. B. ein auf Llama-basiertes RM für ein Tulu-Policy-Modell).
  • Für „On-Policy"-Modelle saturiert die PPO-Leistung schnell bei guten RMs, sodass der genaue Benchmark-Score weniger entscheidend ist als die Passung der Architektur.

4. Ergebnisse und Signifikanz

Ergebnisse:

• Das Benchmark identifiziert Lücken in den Fähigkeiten aktueller RMs, insbesondere bei mathematischem Verständnis und präziser Instruktionsbefolgung.
• Es wurde empirisch nachgewiesen, dass RMs eine leichte Präferenz für die Ausgaben ihrer eigenen Basismodelle haben (Self-Preference), was die Notwendigkeit diverser Modell-Pools im Benchmark unterstreicht.
• Die Studie zeigt, dass ein hoher Benchmark-Score allein keine Garantie für ein erfolgreiches RLHF-Training ist; der Kontext (Lineage-Match) ist kritisch.

Signifikanz:

• Neuer Standard: REWARDBENCH 2 setzt einen neuen Standard für die Evaluation von RMs durch die Nutzung ungesichteter, menschlicher Prompts und eines anspruchsvolleren Best-of-4-Formats.
• Praktische Anleitung: Die Arbeit liefert entscheidende Erkenntnisse für die Praxis:
  1. Für Best-of-N Sampling kann man sich auf Benchmark-Scores verlassen, um das beste RM auszuwählen.
  2. Für RLHF (PPO) sollte man nicht einfach das RM mit dem höchsten Score wählen, sondern ein RM, das zur eigenen Policy-Architektur passt (gleiche Familie/Lineage) und mit passenden Daten trainiert wurde.
• Zukünftige Entwicklung: Die Autoren betonen, dass Evaluierungsframeworks mit der Evolution der RMs Schritt halten müssen, um kontextspezifische Einblicke zu liefern, anstatt nur globale Metriken zu bieten.

Zusammenfassend stellt REWARDBENCH 2 einen wichtigen Schritt hin zu einer robusteren, datenkontaminationsfreien und praxisrelevanten Evaluation von Reward Models dar, die sowohl die Genauigkeit als auch die Eignung für spezifische Trainings-Szenarien (On-Policy vs. Off-Policy) berücksichtigt.