💻 computer science

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

Dieses Paper stellt OpenRM vor, ein werkzeugaugmentiertes Belohnungsmodell, das mittels Group Relative Policy Optimization trainiert wurde, um externe Evidenz zur präzisen Bewertung langgestreckter agentischer Aufgaben zu nutzen und dadurch die nachgelagerte LLM-Ausrichtung sowie die Evaluierungsleistung signifikant zu verbessern.

Ursprüngliche Autoren: Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen Bibliothekar (die KI), der großartig darin ist, lange, detaillierte Berichte zu schreiben. Aber manchmal erfindet dieser Bibliothekar Dinge oder gibt falsche Fakten an, weil er sich nur auf das verlässt, was in seinem eigenen Kopf steckt, anstatt die tatsächlichen Bücher in den Regalen zu überprüfen.

Um dies zu beheben, benötigen wir einen Richter, der die Berichte des Bibliothekars bewertet. In der Vergangenheit waren diese Richter wie Schüler, die die ganze Bibliothek auswendig lernen mussten. Wenn die Frage über eine spezifische, obskure Tatsache oder eine brandneue medizinische Entdeckung lautete, rät der Richter oft falsch, weil er nicht das richtige „Buch“ vor sich liegen hatte.

OPENREWARD ist eine neue Art von Richter, der sich nicht nur auf sein Gedächtnis verlässt. Es ist wie ein Detektiv mit einem magischen Telefon.

So funktioniert es, einfach erklärt:

1. Das Problem: Der „Gedächtnis-basierte“ Richter

Stellen Sie sich vor, Sie bitten einen Richter, zwei lange Reiseführer zu vergleichen. Ein Reiseführer sagt: „Besuchen Sie den Eiffelturm in Paris“, und der andere sagt: „Besuchen Sie den Eiffelturm in London.“

Alte Richter: Sie würden vielleicht einfach raten, basierend auf dem, was sie zu wissen glauben. Wenn sie müde sind oder die Frage knifflig ist, scheitern sie vielleicht daran, zu erkennen, dass es keinen Eiffelturm in London gibt.
Das Problem: Für lange, komplexe Antworten (wie medizinische Ratschläge oder wissenschaftliche Forschung) reicht Raten nicht aus. Man braucht Beweise.

2. Die Lösung: Der „Detektiv“-Richter (OPENREWARD)

OPENREWARD ist anders. Wenn es zwei Antworten sieht, wählt es nicht sofort eine aus. Stattdessen sagt es: „Warte, ich muss zuerst die Fakten prüfen.“

Das magische Telefon (Werkzeuge): Es hat ein Telefon, mit dem es sofort Wikipedia anrufen, nach wissenschaftlichen Arbeiten suchen oder medizinische Datenbanken abfragen kann.
Die Untersuchung: Es nutzt diese Werkzeuge aktiv, um Beweise zu sammeln. Es könnte nach „Balanced Winnow classifier“ oder „medizinischen Symptomen“ suchen, um zu sehen, was die realen Daten sagen.
Das Urteil: Erst nachdem es diese Beweise gesammelt hat, entscheidet es, welche Antwort besser ist. Es ist wie ein Richter, der sich weigert, ein Urteil zu fällen, bis er den eigentlichen Polizeibericht gelesen hat.

3. Wie wir den Detektiven gelehrt haben (Training)

Man kann einem Computer nicht einfach sagen: „Geh und sei ein Detektiv.“ Man muss ihm beibringen, wie er seine Werkzeuge benutzt, ohne sich ablenken zu lassen.

Die „fiktive“ Bibliothek: Die Forscher konnten nicht genügend reale Beispiele für „Gute Antwort vs. Schlechte Antwort“ für diese komplexen Aufgaben finden. Also bauten sie eine simulierte Bibliothek.
- Sie nahmen ein echtes Dokument (wie eine Wikipedia-Seite).
- Sie ließen eine KI eine Frage dazu formulieren.
- Dann ließen sie die KI zwei Antworten schreiben:
  1. Die gute Antwort: Die KI durfte das Dokument lesen.
  2. Die schlechte Antwort: Die KI durfte das Dokument nicht lesen (also musste sie raten oder halluzinieren).
Die Lektion: Sie zeigten dem Detektiv-Richter diese Paare (Gut vs. Schlecht) und lehrten ihn: „Wenn du dein Telefon benutzt, um die Fakten zu prüfen, bekommst du einen goldenen Stern. Wenn du nur rätst, bekommst du einen Punktabzug.“
Das Belohnungssystem: Der Richter lernte, dass er, um die beste Punktzahl zu erhalten, seine Werkzeuge korrekt nutzen muss, um die Wahrheit zu finden, anstatt eine schnelle Vermutung anzustellen.

4. Die Ergebnisse: Warum es wichtig ist

Die Forscher testeten diesen neuen Detektiv-Richter gegen andere berühmte Richter (wie GPT-4 oder spezialisierte KI-Richter).

Bessere Genauigkeit: OPENREWARD war viel besser darin, die Wahrheit in langen, komplexen Antworten zu erkennen, insbesondere in der Wissenschaft, Medizin und im allgemeinen Wissen.
Besserer Lehrer: Sie nutzten OPENREWARD auch, um andere KIs zu trainieren. Indem sie OPENREWARD nutzten, um die besten Antworten aus einem Haufen unordentlicher Daten auszuwählen, schufen sie ein „saubereres“ Lehrbuch für andere KIs. Die KIs, die mit diesen „sauberen“ Daten trainiert wurden, wurden intelligenter und zuverlässiger.

Zusammenfassende Analogie

Denken Sie an die alten KI-Richter als Schüler, die eine Prüfung ohne Lehrbücher ablegen dürfen. Sie müssen raten.
OPENREWARD ist ein Schüler, der erlaubt ist, die Bibliothek und das Internet während der Prüfung zu benutzen. Weil er die Antworten nachschlagen kann, erzielt er eine viel bessere Punktzahl und hilft der ganzen Klasse, besser zu lernen.

Das Paper behauptet, dass diese Methode die KI-Evaluierung für komplexe Aufgaben zuverlässiger macht und hilft, bessere KI-Modelle zu trainieren, kommt aber nicht dazu zu sagen, dass sie für reale klinische Diagnosen oder andere spezifische zukünftige Anwendungen über das in der Studie getestete Maß hinaus bereit ist.

Technisches Resümee: OPENREWARD

Problemstellung

Reward Models (RMs) sind entscheidend für das Alignment von Large Language Models (LLMs) sowohl während des Trainings als auch während der Inferenz und dienen als skalierbare Proxys für die menschliche Evaluierung. Bestehende RMs, ob sie als binäre Präferenzklassifikatoren trainiert wurden oder dem „LLM-as-a-Judge“-Paradigma folgen, haben jedoch erhebliche Schwierigkeiten mit offenen, wissensintensiven, langformigen Aufgaben. Die Evaluierung solcher Inhalte (z. B. medizinische Berichte, Reisepläne oder tiefgreifende Forschungsergebnisse) erfordert oft eine Fundierung in externen Informationen, die das interne parametrische Wissen des Modells übersteigen. Derzeitige Ansätze verlassen sich entweder auf das Prompting kommerzieller LLMs mit Suchmaschinen (was an Flexibilität mangelt) oder nutzen einfache Tool-Interaktionen zur Kurzform-Verifizierung, wodurch eine Lücke bei der effektiven Evaluierung komplexer, langformiger Antworten in Open-Domain-Settings entsteht.

Methodik

Das Paper schlägt OPENREWARD vor, ein tool-augmentiertes Reward-Modeling-Framework, das darauf ausgelegt ist, adaptiv zu argumentieren und externe Tools aufzurufen, um Beweise zu sammeln, bevor es ein Urteil fällt.

1. Agentic Reward Framework

OPENREWARD operiert als sequenzieller Entscheidungsprozess. Gegeben sei eine Abfrage $q$ und zwei Kandidatenantworten ( $x_1, x_2$ ):

Tool-Aufruf: Das Modell entscheidet iterativ, welches Tool aufgerufen werden soll (z. B. Wikipedia-Suche, arXiv-Suche, PubMed-Suche) basierend auf dem aktuellen Kontext.
Evidenz-Sammlung: Die ausgewählten Tools werden ausgeführt, um externe Ergebnisse ( $e_i$ ) abzurufen, die dem Kontext hinzugefügt werden, um das anschließende Reasoning zu leiten.
Abschließendes Urteil: Nachdem ausreichend Evidenz gesammelt wurde, wählt das Modell die bessere Antwort ( $y$ ) aus und liefert eine Erklärung.

2. Training mittels Reinforcement Learning (RL)

Um das Modell darauf zu trainieren, Tools effektiv zu nutzen und präzise Urteile zu fällen, verwenden die Autoren Group Relative Policy Optimization (GRPO).

Trainingssignal: Eine zusammengesetzte Reward-Funktion $R$ $R$ wird entworfen, um sowohl das intermediäre Verhalten als auch die Endergebnisse zu überwachen:
$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$
- $R_{EM}$ (Ergebnisgenauigkeit): Ein binärer Reward (1 oder 0), basierend darauf, ob das abschließende Urteil mit der Ground Truth übereinstimmt.
- $R_{tool}$ (Tool-Nutzung): Ein Reward von +1 für die korrekte Tool-Auswahl und 0 für falsche/irrelevante Aufrufe.
- Entscheidendes Design: Der Tool-Reward wird durch die finale Ergebnisgenauigkeit ( $\text{sign}(R_{EM})$ ) gesteuert (gated). Dies verhindert „Reward Hacking“, bei dem das Modell lernen könnte, Tools häufig aufzurufen, aber dennoch nicht in der Lage ist, korrekt zu antworten.
Optimierung: GRPO berechnet gruppenrelative Vorteile durch den Vergleich von Trajektorien innerhalb einer Gruppe, was die Entdeckung effektiver Multi-Step-Reasoning-Strategien durch Trial-and-Error fördert.

3. Kontrollierbare Datensynthese (OPENRM-LIB)

Um den Mangel an zuverlässigen Paar-Daten für Langform-Aufgaben zu beheben, führen die Autoren OPENRM-LIB ein, ein Framework für unüberwachte Datensynthese:

Zielgruppen-bewusste Abfragegenerierung: Ein starkes LLM generiert Abfragen aus Stichproben von Dokumenten (z. B. Wikipedia, arXiv).
Konstruktion von Positiv-/Negativ-Paaren:
- Positive Antwort: Generiert durch ein LLM mit Zugriff auf das Referenzdokument.
- Negative Antwort: Generiert durch dasselbe LLM ohne Zugriff auf das Referenzdokument.
Dieser kontrastive Aufbau stellt sicher, dass eine klare Qualitätslücke (fundiert vs. halluziniert/unvollständig) ohne manuelle Annotation besteht, wodurch über 27.000 hochwertige Trainingspaare entstehen.

Kernbeiträge

OPENREWARD Framework: Einführung eines tool-augmentierten RM, das in der Lage ist, autonom externe Evidenz abzurufen, um komplexe, langformige Antworten zu beurteilen, und damit die Einschränkungen statischen internen Wissens adressiert.
Kontrollierbare Datensynthese: Eine neuartige Strategie (OPENRM-LIB) zur unüberwachten Generierung von über 27K hochqualitativen Paar-Trainingsdaten, um Datenengpässe für die Langform-Evaluierung zu überwinden.
RLVR Trainingsstrategie: Eine zusammengesetzte Reward-Funktion unter Verwendung von GRPO, die sowohl die Genauigkeit der Tool-Auswahl als auch die Korrektheit des finalen Urteils gemeinsam optimiert und so Reward Hacking effektiv verhindert.
Empirische Validierung: Umfassende Evaluierung, die zeigt, dass OPENREWARD bestehende Baselines (einschließlich LLM-as-a-Judge und anderer trainierter RMs) über mehrere Domänen hinweg übertrifft.

Experimentelle Ergebnisse

Das Paper evaluiert OPENREWARD auf drei neu gesammelten In-Domain-Datensätzen (Wikipedia, Scientific, Medical) und zwei Out-of-Domain-Benchmarks (RewardBench, PandaLM).

In-Domain Performance: OPENREWARD (basierend auf Qwen-2.5-7B) erreicht eine durchschnittliche Genauigkeit von 91,33 % auf den neuen Datensätzen und übertrifft damit signifikant starke Baselines wie GPT-4o (62,80 %), Claude-Opus (63,23 %) und andere trainierte RMs (z. B. RM-R1 mit 54,32 %).
Out-of-Domain Generalisierung: Trotz des Trainings auf nur 27K Beispielen (im Vergleich zu 100K+ bei einigen Baselines) erreicht OPENREWARD eine durchschnittliche Genauigkeit von 78,54 % auf RewardBench und PandaLM und übertrifft damit Modelle, die auf deutlich größeren Datensätzen trainiert wurden. Die Autoren führen dies auf die Fähigkeit des Modells zurück, über abgerufene Evidenz zu argumentieren, statt lediglich Trainingsverteilungen auswendig zu lernen.
Ablationsstudien:
- Das Entfernen des Tool-Reward-Signals führt zu „trägem Suchen“ (Verlassen auf internes Wissen).
- Die Entkopplung von Tool-Rewards und finaler Genauigkeit führt zu „Reward Hacking“ (übermäßiges Suchen ohne korrekte Urteile).
- Das Gated-Reward-Design ist essenziell für die Balance zwischen Reasoning und Tool-Nutzung.
Downstream-Nutzen:
- Datenselektion: Die Verwendung von OPENREWARD zur Filterung von Trainingsdaten für DPO liefert eine höhere Selektionsgenauigkeit (75,18 %) im Vergleich zu RM-R1 (68,87 %).
- Modell-Alignment: LLMs, die mit OPENREWARD-selektierten Daten ausgerichtet wurden, zeigen konsistente Leistungssteigerungen (z. B. +4,57 % im Durchschnitt für das 7B-Modell) gegenüber Modellen, die mit existierenden RMs ausgerichtet wurden.

Bedeutung

Das Paper postuliert, dass tool-augmentiertes Reward Modeling einen bedeutenden Schritt für die zuverlässige Evaluierung und das Post-Training-Alignment von LLMs darstellt. Indem es RMs ermöglicht, als agentische Systeme zu agieren, die Ansprüche gegen externe Evidenz verifizieren, adressiert OPENREWARD die fundamentale Limitierung von Standard-RMs in wissensintensiven Szenarien. Die Arbeit zeigt, dass die Integration externer Tools mit Reinforcement Learning nicht nur die Genauigkeit des Reward Models selbst verbessert, sondern auch die Qualität des nachgelagerten LLM-Alignments steigert, was auf einen skalierbaren Pfad zu vertrauenswürdigeren KI-Systemen hindeutet.