💬 NLP

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

Die Arbeit stellt mit VerifyBench und VerifyBench-Hard zwei neue Benchmarks vor, die speziell entwickelt wurden, um referenzbasierte Belohnungssysteme für große Sprachmodelle zu bewerten und so eine kritische Lücke in der Evaluierung von Verifikationssystemen für das Reinforcement-Learning-Training zu schließen.

Ursprüngliche Autoren: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

Veröffentlicht 2026-02-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

VerifizBench: Der neue Prüfstand für die „Gehirne" der künstlichen Intelligenz

Stellen Sie sich vor, Sie unterrichten einen sehr klugen, aber manchmal etwas verwirrten Schüler (die Künstliche Intelligenz oder KI). Ihr Ziel ist es, dass er komplexe Rätsel löst, wie Mathematikaufgaben oder logische Schachzüge.

In der Vergangenheit haben wir diesen Schüler oft nach dem Prinzip „Gefällt mir / Gefällt mir nicht" trainiert. Wir haben ihm zwei Antworten gegeben und gefragt: „Welche gefällt dir besser?" Das war wie ein Geschmacksurteil – subjektiv und manchmal ungenau.

Aber die neuen, super-intelligenten KI-Modelle (wie OpenAIs o1 oder DeepSeek-R1) brauchen etwas Präziseres. Sie müssen lernen, ob eine Antwort faktisch richtig oder faktisch falsch ist. Dafür brauchen sie einen „Lehrer", der die Lösung im Buch nachschaut und sagt: „Ja, das ist korrekt" oder „Nein, das ist daneben".

Das Problem? Wir hatten bisher keinen guten Test, um zu prüfen, ob dieser „Lehrer" (das Belohnungssystem der KI) wirklich gut ist.

Hier kommt VerifyBench ins Spiel.

Was ist VerifyBench? (Die neue Schulprüfung)

Stellen Sie sich VerifyBench als eine neue, extrem schwierige Schulprüfung vor, die speziell dafür entwickelt wurde, diese „Lehrer-KIs" zu testen.

Der alte Test (Reward Benchmarks): Hier bekam der Lehrer zwei Antworten und musste sagen: „Antwort A ist besser als Antwort B." Das ist wie zu sagen: „Ich mag Pizza mehr als Pasta."
Der neue Test (VerifyBench): Hier bekommt der Lehrer eine Antwort und die korrekte Lösung aus dem Lehrbuch. Er muss entscheiden: „Ist diese Antwort richtig oder falsch?" Das ist wie eine Matheprüfung, bei der es nur Richtig oder Falsch gibt, keine „bessere" Lösung.

Die zwei Schwierigkeitsstufen

Die Forscher haben zwei Versionen dieser Prüfung erstellt:

VerifyBench (Die Standard-Prüfung):
Diese enthält eine Mischung aus verschiedenen Aufgaben (Mathe, Logik, Allgemeinwissen). Sie ist wie eine normale Klassenarbeit. Die Ergebnisse zeigen: Die großen KI-Modelle machen hier schon recht gut mit, fast wie gute Schüler.
VerifyBench-Hard (Die Olympiade):
Das ist die „Schwierigkeitsstufe: Unmöglich". Hier haben die Forscher nur die Aufgaben ausgewählt, bei denen sich die besten KI-Modelle im Internet gestritten haben. Wo eine KI sagt „Richtig" und eine andere „Falsch".
- Die Metapher: Stellen Sie sich vor, Sie geben eine Aufgabe, bei der selbst die besten Mathematik-Profis streiten. Wenn der „Lehrer" dann immer noch nicht weiß, was richtig ist, ist er nicht gut genug für den Job.
- Das Ergebnis: Hier scheitern fast alle aktuellen Systeme. Selbst die stärksten KIs machen viele Fehler. Das zeigt uns: Wir haben noch viel zu lernen, bevor diese KI-Systeme wirklich verlässlich sind.

Warum ist das wichtig? (Der Motor im Auto)

Warum sollten wir uns dafür interessieren?

Stellen Sie sich das Training einer KI wie das Trainieren eines Rennfahrers vor.

Der Rennfahrer ist das KI-Modell, das lernt.
Der Trainer ist das Belohnungssystem (Reward System).

Wenn der Trainer schreit: „Gut gemacht!", obwohl der Fahrer gegen die Wand gefahren ist (falsche Antwort), lernt der Fahrer, gegen die Wände zu fahren. Das nennt man „Reward Hacking" (Betrug beim Belohnungssystem).

VerifyBench ist wie ein Stresstest für den Trainer. Es prüft: „Kann dieser Trainer wirklich unterscheiden zwischen einem Sieg und einer Katastrophe?"

Was haben die Forscher herausgefunden?

Größe zählt (aber nicht alles): Große KI-Modelle sind gute Lehrer. Kleine, schnelle Modelle (die man auf einem Handy laufen lassen könnte) sind oft noch zu ungenau und machen zu viele Fehler.
Das Lösungsbuch ist entscheidend: Wenn man dem KI-Lehrer die korrekte Antwort nicht zeigt (wie bei den alten Tests), macht er viel mehr Fehler. Er braucht den „Spickzettel" (die Referenzantwort), um sicher zu urteilen.
Die Zukunft: Je besser wir diese „Lehrer" testen und verbessern, desto besser werden die KI-Modelle, die wir in Zukunft nutzen. Sie werden weniger Halluzinationen haben und logisch korrektere Ergebnisse liefern.

Fazit

VerifyBench ist wie ein neuer, strenger Prüfstuhl für die KI-Welt. Es füllt eine Lücke, die bisher niemand gemerkt hat: Wir wussten, wie man KI bewertet, wenn man vergleicht, aber nicht, wie man sie bewertet, wenn es um faktische Wahrheit geht.

Mit diesem neuen Werkzeug können Forscher jetzt gezielt daran arbeiten, die „Lehrer" der KI zu verbessern, damit unsere zukünftigen KI-Assistenten nicht nur kreativ, sondern auch zuverlässig und wahrheitsgetreu sind.

1. Problemstellung

In den letzten Jahren haben Large Reasoning Models (LRMs) wie OpenAI o1 und DeepSeek-R1 durch den Einsatz von Reinforcement Learning (RL) mit referenzbasierten Belohnungssystemen (Reference-Based Reward Systems) beeindruckende Fortschritte in komplexen Denkaufgaben erzielt. Im Gegensatz zu herkömmlichen RLHF-Ansätzen (Reinforcement Learning from Human Feedback), die oft auf paarweisen Präferenzvergleichen basieren, bewerten diese Systeme die Ausgaben eines Modells direkt gegen eine autoritative Ground-Truth-Referenz.

Ein kritisches Problem besteht jedoch darin, dass der aktuelle Forschungsstand keine geeigneten Benchmarks bietet, um diese referenzbasierten Verifizierungssysteme systematisch zu bewerten. Bestehende Benchmarks (z. B. RewardBench, RM-Bench) konzentrieren sich fast ausschließlich auf die Bewertung von Präferenzen zwischen zwei Antworten (welche ist besser?), anstatt die absolute Korrektheit einer einzelnen Antwort gegen eine Referenz zu prüfen. Diese Lücke erschwert die Entwicklung und Optimierung von Verifizierern, die für das Training von Reasoning-Modellen essenziell sind.

2. Methodik und Benchmark-Konstruktion

Die Autoren stellen VerifyBench und seine schwierigere Variante VerifyBench-Hard vor. Diese Benchmarks wurden entwickelt, um die Genauigkeit von referenzbasierten Belohnungssystemen objektiv zu messen.

Datenkonstruktion:

Quellen: Die Daten stammen aus 41 verschiedenen Open-Source-Datensätzen, die allgemeine, logische und mathematische Reasoning-Aufgaben abdecken.
Struktur: Jeder Eintrag besteht aus einer Frage ( $q$ ), einer Ground-Truth-Referenzantwort ($gt$), einer vom Modell generierten Antwort ( $r$ ) und einem binären Korrektheitslabel ( $y$ ).
Generierung: Es wurden 22 verschiedene Modelle (Open-Source und proprietär) eingesetzt, um Antworten zu generieren.
Annotation: Ein mehrstufiger Prozess mit automatischer Vorannotation durch LLMs und anschließender manueller Überprüfung durch mindestens zwei menschliche Annotatoren (plus Meta-Annotatoren bei Uneinigkeit) sichert die Qualität.

Unterscheidung der Benchmarks:

VerifyBench: Ein ausgewogener Datensatz mit 1.000 Fragen, wobei jede Frage genau eine korrekte und eine inkorrekte Antwort enthält. Er dient als Standardtest für die allgemeine Verifizierungsfähigkeit.
VerifyBench-Hard: Ein anspruchsvollerer Datensatz (945 Fragen), der speziell Fälle auswählt, bei denen führende Modelle in ihrer Bewertung stark voneinander abweichen (hohe Diskrepanz). Dies testet die Grenzen der aktuellen Verifizierungssysteme in mehrdeutigen oder schwierigen Szenarien.

Kategorien:
Die Antworten werden in vier Hauptkategorien unterteilt: Numerische Werte, Algebraische Ausdrücke, Multiple-Choice und Freitext (Strings).

3. Wichtige Beiträge

Neue Benchmark-Paradigmen: Einführung von VerifyBench als erster umfassender Benchmark, der sich auf die absolute Korrektheitsprüfung gegen eine Referenz konzentriert, anstatt auf relative Präferenzen.
Schwierigkeitsgrad-Erweiterung: Entwicklung von VerifyBench-Hard durch eine Diskrepanz-basierte Stichprobenziehung, um Modelle zu testen, die in Grenzfällen versagen.
Umfassende Evaluation: Durchführung einer detaillierten Analyse verschiedener Verifizierungsansätze, darunter regelbasierte Funktionen (z. B. math-verify), LLMs als Richter (LLM-as-a-Judge) und spezialisierte modellbasierte Verifizierer.
Korrelationsstudie: Nachweis, dass die Leistung eines Verifizierers auf VerifyBench direkt mit der Effektivität des RL-Trainings (z. B. GRPO) auf nachgelagerten Aufgaben korreliert.

4. Ergebnisse

Die Evaluation deckte signifikante Schwächen und Chancen auf:

Leistung auf VerifyBench: State-of-the-Art-Modelle (z. B. GPT-4o-mini, Qwen3-32B) erreichen auf dem Standard-Benchmark hohe Genauigkeiten (über 90–95 %). Dies zeigt, dass große Modelle als Verifizierer grundsätzlich gut funktionieren.
Herausforderungen bei VerifyBench-Hard: Die Leistung bricht auf dem schwierigen Datensatz drastisch ein. Die beste erreichte Genauigkeit liegt bei nur ca. 72–87 %, was eine Lücke von über 20 % im Vergleich zum Standard-Benchmark darstellt. Dies zeigt, dass aktuelle Systeme bei komplexen oder mehrdeutigen Fällen noch erheblichen Verbesserungsbedarf haben.
Größenabhängigkeit: Kleinere Modelle (< 3B Parameter) schneiden deutlich schlechter ab als große Modelle. Dies ist kritisch, da in RL-Trainings oft kleinere Modelle als effiziente Verifizierer eingesetzt werden sollen.
Rolle der Referenzantwort: Eine Ablationsstudie zeigte, dass das Fehlen der Referenzantwort im Prompt die Leistung von LLMs als Richter um 5–18 % verschlechtert. Referenzantworten sind also essenziell für eine zuverlässige Verifizierung.
Fehleranalyse: Häufige Fehlerquellen sind komplexe Zahlen, algebraische Gleichungen (wo äquivalente, aber anders formatierte Ausdrücke fälschlich als falsch markiert werden) und semantische Konsistenz bei Textantworten.
Korrelation mit RL: Modelle, die auf VerifyBench gut abschneiden, führen als Belohnungsfunktion im RL-Training zu signifikanten Verbesserungen bei mathematischen Aufgaben (MATH500, AMC23). Schlechte Verifizierer können die Leistung sogar verschlechtern.

5. Bedeutung und Ausblick

VerifyBench schließt eine kritische Lücke in der Evaluierung von Reward-Systemen für Reasoning-Modelle. Es bietet einen standardisierten Rahmen, um die Genauigkeit von Verifizierern zu messen, die für das Training von Modellen wie DeepSeek-R1 oder o1 notwendig sind.

Die Ergebnisse unterstreichen, dass:

Die Entwicklung robusterer Verifizierer, insbesondere für schwierige Fälle (Hard-Benchmark), eine Priorität für die Weiterentwicklung von Reasoning-Modellen ist.
Die Größe des Verifizierers einen direkten Einfluss auf die Effizienz und Qualität des RL-Trainings hat.
Referenzbasierte Verifizierung ein unverzichtbarer Bestandteil moderner Reasoning-Architekturen ist, deren Qualität durch solche Benchmarks messbar und verbesserbar gemacht wird.

Das Paper liefert somit nicht nur einen neuen Datensatz, sondern auch tiefe Einblicke in die Fehlermuster aktueller Systeme und einen Wegweiser für zukünftige Forschung im Bereich verifizierbarer Belohnungssysteme.