💻 computer science

Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning

Die vorgestellte Arbeit schlägt einen adversarischen inversen Verstärkungslernansatz (AIRL) vor, der aus Experten-Demonstrationen direkt reasoning-Belohnungsfunktionen lernt, um Large Language Models sowohl durch Training als auch durch Inferenzzeit-Reranking in Bereichen wie Medizin und Mathematik über reine Nachahmung und ergebnisbasiertes Reinforcement Learning hinaus zu verbessern.

Ursprüngliche Autoren: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einem jungen Schüler beibringen, komplexe Matheaufgaben oder medizinische Diagnosen zu lösen. Bisher gab es im Bereich der künstlichen Intelligenz (KI) im Wesentlichen zwei Methoden, wie man das macht:

Der "Kuckuckskind"-Ansatz (Supervised Fine-Tuning): Du gibst dem Schüler einfach die fertigen Lösungen von einem Experten und sagst: "Lern das auswendig und schreib es genauso ab." Das funktioniert gut, solange die neuen Aufgaben genau so aussehen wie die alten. Aber sobald der Schüler auf eine Aufgabe stößt, die er noch nie gesehen hat, weiß er nicht mehr weiter, weil er nur nachgemalt hat, nicht verstanden hat.
Der "Richter"-Ansatz (Reinforcement Learning mit Ergebnis-Belohnung): Du lässt den Schüler raten und sagst am Ende nur: "Richtig" oder "Falsch". Das Problem hier ist: Wenn er falsch liegt, weiß er nicht, wo genau er den Fehler gemacht hat. War es der erste Gedanke? Der zweite? Oder war nur das Endergebnis falsch?

Die neue Idee aus dem Papier: Der "Coaching-Guru" durch Inverse Verstärkungslernen

Die Autoren aus Cambridge haben eine dritte, clevere Methode entwickelt. Sie nennen sie Adversarial Inverse Reinforcement Learning (AIRL).

Stell dir das so vor:
Anstatt dem Schüler nur die Lösungen zu zeigen (wie bei Methode 1) oder nur am Ende zu urteilen (wie bei Methode 2), schauen sie sich die Schritt-für-Schritt-Gedanken eines echten Experten an.

Die Aufgabe: Ein KI-Modell (der "Schüler") versucht, eine Lösung zu finden.
Der Trainer (Discriminator): Eine andere KI (der "Guru") schaut sich die Gedanken des Schülers und die Gedanken des Experten an.
Das Spiel: Der Guru versucht herauszufinden: "Ist dieser Gedankengang so schlau wie der des Experten?"
- Wenn der Schüler einen Schritt macht, der dem Experten ähnelt, gibt der Guru einen positiven Punkt (Belohnung).
- Wenn der Schüler einen Schritt macht, der "dumm" ist oder vom Pfad abkommt, gibt es einen negativen Punkt.

Das Geniale daran: Der Schüler lernt nicht nur, das Endergebnis zu kopieren, sondern lernt, wie man denkt. Er bekommt Feedback zu jedem einzelnen Schritt seines Denkprozesses.

Die drei magischen Werkzeuge dieser Methode

Das Papier zeigt, dass dieser "gelernte Denk-Guru" drei super nützliche Dinge kann:

Besserer Lehrer beim Training:
Wenn man den Schüler mit diesem neuen Belohnungssystem trainiert, wird er oft besser als wenn man ihn nur zum Auswendiglernen gezwungen hat. Er versteht die Logik hinter den Aufgaben besser.
- Analogie: Es ist wie der Unterschied zwischen jemandem, der eine Formel auswendig lernt, und jemandem, der versteht, warum die Formel funktioniert.
Der "Best-of-16"-Filter beim Testen:
Manchmal lässt man die KI 16 verschiedene Lösungen für eine Aufgabe generieren. Normalerweise wählt man zufällig eine aus. Mit diesem neuen System kann man alle 16 Lösungen durch den "Guru" laufen lassen und diejenige auswählen, die den besten Denkprozess hatte – auch wenn das Endergebnis noch nicht geprüft wurde.
- Ergebnis: Das Papier zeigt, dass man damit die Trefferquote um bis zu 17,4 Prozentpunkte steigern kann! Das ist, als würdest du aus 16 Versuchen plötzlich fast immer den richtigen finden, nur weil du den "schlauesten" Weg ausgesucht hast.
Der Fehler-Detektiv (Wo genau lief es schief?):
Da das System jeden Schritt bewertet, kann es genau sagen: "Hier, bei Schritt 3, hast du den falschen Weg eingeschlagen."
- Analogie: Stell dir vor, du fährst mit dem Auto und das Navi sagt nicht nur "Du bist falsch", sondern "Du hast an der zweiten Kreuzung links abgebogen, obwohl du geradeaus hättest sollen". Das hilft enorm, um Fehler zu finden und zu korrigieren.

Zusammenfassung für den Alltag

Die Forscher haben einen Weg gefunden, KI-Modelle nicht nur zu "füttern" mit Lösungen, sondern ihnen beizubringen, wie man logisch denkt. Sie nutzen die Spuren von Experten, um eine Art "internen Kompass" zu bauen. Dieser Kompass hilft der KI:

Beim Lernen, bessere Wege zu finden.
Beim Testen, die besten Antworten auszuwählen.
Und beim Überprüfen, genau zu erkennen, wo der Gedankengang ins Schleudern gerät.

Es ist ein großer Schritt weg von bloßem "Nachplappern" hin zu echtem, verständnisvollem "Verstehen" und "Schlussfolgern" bei künstlicher Intelligenz.

Titel und Kontext

Titel: Learning Reasoning Reward Models from Expert Demonstration via Inverse Reinforcement Learning (Lernen von Reasoning-Reward-Modellen aus Experten-Demonstrationen mittels Inversem Reinforcement Learning)
Veröffentlicht bei: ICLR 2026 Workshop on Logical Reasoning of Large Language Models
Autoren: Claudio Fanconi, Nicolás Astorga, Mihaela van der Schaar (University of Cambridge)

1. Problemstellung

Die aktuellen Methoden zur Verbesserung des logischen Schlussfolgerns (Reasoning) in Large Language Models (LLMs) stoßen auf zwei wesentliche Grenzen:

Supervised Fine-Tuning (SFT): Diese Methode ist rein imitativ. Das Modell lernt nur, die beobachteten Expertenpfade nachzuahmen. Sobald das Modell in einen Zustand gerät, der nicht in den Trainingsdaten vorkommt (off-demonstration states), fehlt ihm eine explizite Zielvorgabe, um alternative Zwischenschritte zu bewerten.
Reinforcement Learning (RL) mit Ergebnis-Rewards: Herkömmliches RL basiert oft auf einem finalen Verifizierer (z. B. ob die Antwort korrekt ist). Dies ignoriert den Prozess des Denkens. Zudem erfordert dies oft manuell erstellte, aufgabenspezifische Verifizierer, die schwer zu skalieren sind.

Es besteht eine Lücke zwischen reiner Imitation und reward-getriebener Optimierung. Es fehlt ein Ansatz, der Prozess-Rewards (Schritt-für-Schritt-Bewertungen) direkt aus Experten-Demonstrationen ableitet, ohne externe Verifizierer zu benötigen.

2. Methodik: Adversarial Inverse Reinforcement Learning (AIRL)

Die Autoren schlagen einen Framework vor, der das Problem des Reasoning als Inverse Reinforcement Learning (IRL) formuliert. Das Ziel ist es, eine Reward-Funktion $r_\phi$ zu lernen, die Expertenverhalten belohnt, während gleichzeitig die Policy $\pi_\theta$ optimiert wird.

Kernkomponenten:

Adversarialer Ansatz: Anstatt die Experten-Tokens direkt zu kopieren (wie bei SFT), wird ein Diskriminator (Reward-Modell) $D_\phi$ trainiert, um Experten-Traces von denen der Policy zu unterscheiden.
Label-Definition ohne externe Verifizierer:
- Positiv ( $D_{pos}$ ): Experten-Traces + Policy-Traces, die die gleiche finale Antwort wie der Experte haben.
- Negativ ( $D_{neg}$ ): Policy-Traces mit falscher Antwort + synthetisch korrumpierte Experten-Traces (z. B. vertauschte Zahlen oder falsche logische Schritte).
- Dies zwingt den Diskriminator, die Qualität des Denkprozesses zu bewerten, nicht nur die Quelle oder den Stil.
Granularität der Rewards: Die Methode wird mit verschiedenen Auflösungen getestet:
- Sparse: Nur am Ende des Traces (wie bei Outcome-RL).
- Interval: Alle $k$ Tokens.
- Dense: Bei jedem Token (Prozess-Level).
- Backfilling: Für sparse/interval-Masken werden die Rewards auf die dazwischenliegenden Tokens aufgefüllt, um ein dichtes Signal für das Training zu erhalten.
Training-Loop:
1. Der Diskriminator wird trainiert, um Experten von der Policy zu unterscheiden (unter Berücksichtigung der Antwort-Konsistenz).
2. Der implizite Reward wird aus den Logits des Diskriminators abgeleitet: $v_\phi(y_t) = \log D_\phi(y_t) - \log(1 - D_\phi(y_t))$ .
3. Die Policy wird mittels GRPO (Group Relative Policy Optimization) aktualisiert, wobei die Rewards innerhalb einer Gruppe normalisiert werden, um die Varianz zu reduzieren.
4. Stabilitätsmaßnahmen: Replay-Buffers und mehrere Diskriminator-Updates pro Policy-Update verhindern Mode-Collapse und Reward-Hacking.

3. Wichtige Beiträge

Anpassung von AIRL für LLMs: Der erste Ansatz, der adversariales IRL nutzt, um Reasoning-Rewards direkt aus Experten-Demonstrationen zu lernen, ohne externe Verifizierer.
Dualer Nutzen des gelernten Rewards:
- Als Trainings-Signal: Zur Optimierung der Policy auf generierten Traces.
- Als Inference-Time Reranker: Zur Auswahl der besten Antwort aus einer Menge von Kandidaten (Best-of-N).
Fehlerlokalisierung: Die dichten Rewards ermöglichen es, genau den Schritt zu identifizieren, an dem ein Reasoning-Pfad von der korrekten Lösung abweicht.

4. Ergebnisse

Die Methode wurde auf drei Benchmarks evaluiert: GSM8K (Mathematik), MEDREASON (medizinisches Reasoning) und MMLU-PRO (wissenschaftliches Reasoning).

Training (D1):
- Die aus AIRL gelernten Rewards übertreffen in den meisten Szenarien (8 von 9 Kombinationen aus Backbone und Datensatz) das reine SFT.
- Granularität: Sparse-Rewards sind oft stabiler und robuster. Dichte Rewards bieten feinere Kontrolle, können aber instabiler sein und zu Mode-Collapse führen, wenn das Modell nicht sorgfältig reguliert wird.
- Beispiel: Auf GSM8K mit Qwen2.5-7B erreichte die Sparse-Variante 85,8% (vs. 70,1% bei SFT).
Inference-Time Reranking (D2):
- Der gelernte Reward fungiert als starker Reranker. Unter einem festen Sampling-Budget (z. B. Best-of-16) wurden signifikante Verbesserungen erzielt.
- Maximaler Gewinn: Bis zu +17,4 Prozentpunkte auf GSM8K (Qwen2.5-7B mit Dense-Reward).
- Die Kombination aus Reward-Reranking und Majority Voting zeigte die besten Ergebnisse.
Generalisierung und Fehlerlokalisierung (D3):
- Transfer: Die gelernten Rewards funktionieren gut über verschiedene Aufgaben und Backbone-Modelle hinweg (z. B. ein auf MEDREASON trainierter Reward hilft auch bei GSM8K).
- Diagnose: Dichte Rewards zeigen eine klare Trennung zwischen korrekten und falschen Schritten. In Fallstudien sank der Reward exakt an dem Token, an dem der logische Fehler auftrat (z. B. eine falsche mathematische Berechnung oder eine falsche medizinische Schlussfolgerung), selbst wenn der Rest des Traces korrekt war.

5. Bedeutung und Fazit

Das Paper zeigt, dass es möglich ist, ein wiederverwendbares Reasoning-Reward-Modell allein aus Experten-Demonstrationen zu extrahieren, ohne auf manuell konstruierte Verifizierer angewiesen zu sein.

Brückenschlag: Es verbindet die Vorteile von Imitation (SFT) mit denen von Reward-Optimierung (RL).
Interpretierbarkeit: Im Gegensatz zu reinen Ergebnis-Rewards bietet der dichte Prozess-Reward Einblicke in wo und warum das Modell scheitert.
Praktische Relevanz: Die Methode verbessert sowohl das Training als auch die Testzeit-Performance (durch Reranking) und bietet Werkzeuge zur Diagnose von Reasoning-Fehlern.

Einschränkungen: Es besteht ein Trade-off zwischen der Dichte des Rewards und der Trainingsstabilität (dichte Rewards sind anfälliger für Instabilität). Zudem ist der Rechenaufwand für den adversarialen Loop höher als bei reinem SFT.

Zusammenfassend demonstriert dieser Ansatz, dass Inverse Reinforcement Learning ein leistungsfähiges Werkzeug ist, um LLMs nicht nur das Was (die Antwort), sondern auch das Wie (den korrekten Denkprozess) beizubringen.