🤖 AI

rePIRL: Learn PRM with Inverse RL for LLM Reasoning

Dieses Paper führt rePIRL ein, ein von Inverse Reinforcement Learning inspiriertes Framework, das einen dualen Lernprozess nutzt, um effektive Process Reward Models für das LLM-Reasoning mit minimalen Annahmen über Experten-Policies zu trainieren, wobei es im Vergleich zu bestehenden Methoden eine überlegene Leistung und Generalisierbarkeit über Mathematik- und Coding-Aufgaben hinweg demonstriert.

Ursprüngliche Autoren: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Schüler (einer KI) bei, wie man ein sehr schwieriges mathematisches Problem löst oder einen komplexen Computercode schreibt.

Der alte Weg: Das „Abschlussnoten“-Problem
Traditionell geben wir diesen KI-Schülern erst am Ende Feedback. Wir schauen uns die endgültige Antwort an und sagen: „Richtig!“ oder „Falsch!“

Das Problem: Wenn der Schüler die Antwort falsch beantwortet, weiß er nicht, wo er einen Fehler gemacht hat. War es ein Fehler in Schritt 1? Schritt 10? Oder war nur die abschließende Berechnung daneben? Es ist, als würde ein Lehrer eine Prüfung zurückgeben, auf der ein großes rotes „Ungenügend“ steht, aber ohne Kommentare zu den einzelnen Fragen. Der Schüler muss raten, was schiefgelaufen ist, was das Lernen langsam und ineffizient macht.

Die bestehenden „Schritt-für-Schritt“-Lösungen
Einige Forscher versuchten, dies zu beheben, indem sie Feedback zu jedem einzelnen Schritt gaben. Diese Methoden hatten jedoch einen großen Haken:

Der „Menschlicher Tutor“-Haken: Sie benötigten einen menschlichen Experten (oder eine superintelligente KI), der jeden einzelnen Schritt der Arbeit des Schülers liest und bewertet. Dies ist unglaublich teuer und zeitaufwendig.
Der „Magische Rate“-Haken: Andere Methoden versuchten, die Qualität eines Schritts basierend auf dem Vertrauen der KI einzuschätzen, was jedoch oft dazu führte, dass die KI übermäßig selbstbewusst wurde und dieselben Fehler wiederholt machte (ein Problem, das das Paper als „Entropie-Kollaps“ bezeichnet).

Die neue Lösung: rePIRL (Die „Reverse-Engineer“-Methode)
Das Paper stellt rePIRL vor, eine neue Art, die KI zu lehren. Anstatt einen Menschen zu bitten, jeden Schritt zu bewerten, nutzt rePIRL einen cleveren Trick, der vom Inversen Reinforcement Learning inspiriert ist.

Hier ist die Analogie:
Stellen Sie sich vor, Sie wollen einem Roboter beibringen, perfekt zu laufen. Sie haben kein Handbuch, in dem steht: „Hebe den linken Fuß 5 cm an, dann den rechten Fuß 5 cm an.“ Stattdessen haben Sie ein Video von einem Profisportler, der perfekt läuft.

Wie rePIRL funktioniert:
1. Den Profi beobachten: Die KI beobachtet den „Experten“ (den Profisportler), wie er die Aufgabe perfekt ausführt. Sie muss nicht wissen, warum der Profi es so gemacht hat; sie sieht einfach nur den erfolgreichen Pfad.
2. Die Regeln rückwärts entwickeln: Die KI versucht herauszufinden, welches „versteckte Regelwerk“ der Experte befolgt hat. Sie fragt: „Welche Menge an Regeln würde dazu führen, dass dieser spezifische Pfad wie der bestmögliche Pfad aussieht?“
3. Der duale Tanz: Die KI übt dann die Aufgabe.
  - Wenn sie etwas Ähnliches wie der Experte tut, sagt das „Regelwerk“ (das Process Reward Model): „Gut gemacht!“
  - Wenn sie vom Pfad abweicht, sagt das Regelwerk: „Versuch es noch einmal.“
  - Die KI wird besser in der Aufgabe, und das Regelwerk wird besser darin, die Schritte zu beurteilen. Sie verbessern sich gegenseitig in einer Schleife.

Warum ist das besonders?

Keine menschlichen Bewerter nötig: Es lernt die „Regeln“ allein durch das Beobachten des erfolgreichen Pfades des Experten. Es benötigt keinen Menschen, der aufschreibt: „Schritt 3 war gut, Schritt 4 war schlecht.“
Kein „Magisches Raten“: Es verlässt sich nicht auf das Vertrauen der KI, wodurch es die „Übervertrauens-Falle“ vermeidet.
Es funktioniert überall: Das Paper hat rePIRL bei schwierigen mathematischen Problemen (wie der AIME-Kompetition) und Programmierherausforderungen (wie LeetCode) getestet. In diesen Tests lösten KIs, die mit rePIRL trainiert wurden, mehr Probleme und machten weniger Fehler als KIs, die mit den alten „Nur Abschlussnoten“-Methoden oder den teuren „Menschlichen Bewerter“-Methoden trainiert wurden.

Im Paper erwähnte reale Anwendungen
Die Autoren zeigen, dass die KI, sobald sie diese „Schritt-für-Schritt-Regeln“ gelernt hat, auf drei spezifische Arten eingesetzt werden kann:

Training „on the fly“: Man kann die gelernten Regeln nutzen, um ein neues KI-Modell für ein neues Set von Problemen zu trainieren, ohne endgültige Antworten zu benötigen (nur den Pfad des Experten).
Die besten Antworten auswählen: Wenn die KI 10 verschiedene Lösungen für ein Problem generiert, kann das „Regelwerk“ die Schritte aller 10 Lösungen betrachten und diejenige auswählen, die den besten Pfad verfolgt hat, noch bevor geprüft wird, ob die endgültige Antwort richtig ist.
Schwierige Probleme bewältigen: Bei sehr schwierigen Problemen, bei denen die KI normalerweise sofort scheitert, hilft das Schritt-für-Schritt-Feedback dabei, schneller zu lernen, als wenn man auf ein finales „Falsch“-Signal warten müsste.

Zusammenfassend
rePIRL ist wie ein Coach, der das „Geheimrezept“ eines Champions lernt, indem er ihm einfach nur beim Gewinnen zusieht. Anstatt bis zum Ende des Spiels zu warten, um zu sagen: „Du hast verloren“, nutzt der Coach dieses Geheimrezept, um dem Team sofortiges Feedback zu jeder einzelnen Bewegung zu geben, was ihnen hilft, schneller, kostengünstiger und besser zu lernen – ohne dass ein Mensch jeden einzelnen Spielzug bewerten muss.

Technisches Resümee: rePIRL: Lernen von PRMs mittels Inverse Reinforcement Learning für LLM-Reasoning

Problemstellung

In der Argumentation von Large Language Models (LLMs) werden Process Reward Models (PRMs) eingesetzt, um auf Token-Ebene zwischenzeitliche Belohnungen bereitzustellen, mit dem Ziel, die Trainingseffizienz zu verbessern, die Varianz zu reduzieren und Reward Hacking zu verhindern. Bestehende Methoden zum Erlernen effektiver PRMs stehen jedoch vor erheblichen Einschränkungen:

Offline-Methoden: Überwachte Ansätze (z. B. Uesato et al., 2022; Lightman et al., 2023) und DPO-ähnliche Arbeiten erfordern Zugriff auf Token-Ebene-Annotationen oder Präferenz-Labels aus Experten-Trajektorien, was kostspielig in der Beschaffung ist. Auf Monte Carlo Tree Search (MCTS) basierende Methoden (z. B. Wang et al., 2024) erfordern das Ausführen einer Experten-Policy zur Generierung von Trajektorien, was rechenintensiv und nicht praktikabel ist, wenn die Experten-Policy nicht verfügbar ist.
Online-Methoden: Ansätze wie PRIME (Cui et al., 2025a) stützen sich auf starke Annahmen bezüglich der Belohnungsfunktionen und des unter dem Training stehenden Policy-Modells. Intrinsische Belohnungsmethoden (z. B. Zhao et al., 2025b) nutzen Modell-Entropie oder Konfidenz als Belohnung, leiden aber unter „Entropy Collapse“, bei dem die Leistung in späteren Trainingsphasen aufgrund übermäßiger Mode-Seeking-Verhaltens abnimmt.

Die zentrale Herausforderung besteht darin, ein effektives PRM mit minimalen Annahmen zu erlernen: insbesondere ohne die Notwendigkeit von Annotationen auf Token-Ebene, Präferenz-Labels, den Zugriff auf die Experten-Policy oder starke Annahmen über die Form der Belohnungsfunktion.

Methodik: rePIRL-Framework

Die Autoren schlagen rePIRL vor, ein vom Inverse Reinforcement Learning (IRL) inspiriertes Framework, das PRMs allein aus Experten-Trajektorien lernt. Die Methode modelliert mehrstufiges LLM-Reasoning als ein Token-Ebene-Markov-Entscheidungsprozess (MDP) und verwendet einen dualen Lernprozess, der die Policy und das PRM abwechselnd aktualisiert.

1. Theoretische Grundlage

Konstruktion des Objekts: In Anlehnung an das klassische IRL-Framework definieren die Autoren eine verborgene Variable $o_t \in \{0, 1\}$ , die angibt, ob eine Aktion aus der Experten-Policy gesampelt wurde. Sie modellieren die Wahrscheinlichkeit, dass eine Aktion aus einer Experten-Policy gesampelt wurde, mittels einer Energy-basierten Funktion: $p(o_t=1|s_t, a_t) \propto \exp(r_\phi(s_t, a_t))$ .
Likelihood-Maximierung: Die Belohnungsfunktion $r_\phi$ wird gelernt, indem die Likelihood von Experten-Trajektorien maximiert wird. Dies führt zu einem Objektiv, das eine Partitionsfunktion $z(\phi)$ beinhaltet, welche für LLMs aufgrund der riesigen Zustands- und Aktionsräume unpraktikabel ist.
Handhabbarkeit durch Sampling: Um die Unpraktikabilität der Partitionsfunktion zu lösen, wenden die Autoren einen Gradienten-Trick und Importance Sampling an. Anstatt aus der optimalen Policy zu sampeln (die unbekannt ist), sampeln sie Trajektorien $\bar{\tau}$ aus der aktuellen Policy $\pi_\theta$ . Der Gradient wird unter Verwendung von Importance-Gewichten $w = \exp(r_\phi(\bar{\tau})) / \pi_\theta(\bar{\tau})$ approximiert.
Policy-Optimierung: Um Modellkollaps (deterministische Policies) zu verhindern, wird die Policy unter Verwendung eines Maximum Entropy RL-Objektivs (Haarnoja et al., 2018) aktualisiert, welches die Maximierung der Belohnung mit Entropie-Regularisierung ausbalanciert. Dies wird mit Algorithmen wie RLOO, PPO oder GRPO gelöst.

2. Lernalgorithmus

Die Trainingsschleife wechselt zwischen der Aktualisierung des PRM und der Policy ab:

Rollout: Generierung von Policy-Rollouts und Abruf von Experten-Demonstrationen.
Belohnungsberechnung: Berechnung von Outcome-Belohnungen und Durchschnittlicher Prozess-Belohnungen.
PRM-Update: Aktualisierung des Belohnungsmodells unter Verwendung einer Verlustfunktion, die Experten-Trajektorien gegen Policy-Rollouts kontrastiert, gewichtet durch Importance-Sampling-Scores. Entscheidend ist, dass die Autoren durchschnittliche Prozess-Belohnungen anstelle von kumulativen Belohnungen verwenden, um Reward Hacking zu mildern.
Policy-Update: Aktualisierung des Policy-Modells unter Verwendung der gelernten Prozess-Belohnungen kombiniert mit Outcome-Belohnungen (falls verfügbar), unter Anwendung von Maximum-Entropy-Objektiven.

3. Vereinheitlichung bestehender Methoden

Ein wesentlicher theoretischer Beitrag ist der Nachweis, dass rePIRL verschiedene bestehende PRM-Lernmethoden (DPO, DQO, Math-Shepherd, PRIME) unter einem einzigen Framework vereinheitlichen kann, indem spezifische zusätzliche Annahmen eingeführt werden. Dies positioniert rePIRL als die allgemeinste Methode, die die wenigsten Annahmen erfordert.

Zentrale Beiträge

Neuartiges Framework: Einführung von rePIRL, einem vom IRL inspirierten Framework zum Lernen von PRMs aus Experten-Trajektorien ohne Annotationen auf Token-Ebene, Präferenz-Labels oder Zugriff auf die Experten-Policy.
Vereinheitlichte Theorie: Eine theoretische Analyse, die zeigt, dass rePIRL verschiedene State-of-the-Art Offline- und Online-PRM-Methoden (einschließlich DPO, DQO, PRIME und MCTS-basierter Ansätze) unter einem einzigen Lernframework vereinheitlicht und deren zugrunde liegende Annahmen klärt.
Skalierbarer Algorithmus: Entwicklung eines skalierbaren Lernalgorithmus, der auf LLMs zugeschnitten ist und Importance Sampling nutzt, um unpraktikable Partitionsfunktionen zu handhaben, sowie Maximum Entropy RL, um die Trainingsstabilität zu gewährleisten.
Empirische Validierung: Umfassende Evaluierung auf Mathematik- und Coding-Benchmarks, die eine überlegene Leistung gegenüber den Baselines demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten rePIRL unter Verwendung von Qwen2.5-3B-Instruct und Qwen3-4B-Base auf sieben Standard-Benchmarks (AIME-2024, AMC, Math-500, MinervaMath, OlympiadBench, Leetcode, LiveCodeBench).

Leistung: rePIRL erreichte State-of-the-Art-Ergebnisse unter den 3B- und 4B-Skala-Modellen. Beispielsweise erreichte es auf Qwen3-4B-Base eine durchschnittliche Genauigkeit von 41,6 % auf Mathematik-Benchmarks und 39,8 % auf Coding-Benchmarks, womit es starke Baselines wie PRIME, MCTS und vanilla RLOO übertraf.
Vergleich: Es zeigte absolute Verbesserungen von 3,2 % (Mathematik) und 4,3 % (Coding) gegenüber vanilla RLOO mit Qwen3-4B-Base.
Anwendungen:
- Test-Time Training: Wenn ausschließlich auf PRM-Signalen ohne Outcome-Belohnungen trainiert wurde, erreichte rePIRL die Leistung von Modellen, die mit verifizierbaren Outcome-Belohnungen trainiert wurden.
- Test-Time Scaling: Die Nutzung des PRM als Verifizierer zur Auswahl besserer Rollouts lieferte monotone Leistungssteigerungen und übertraf Majority Voting.
- Schwierige Probleme: Das PRM lieferte informative frühe Signale für schwierige Probleme, bei denen Outcome-Belohnungen spärlich waren, was zu einer schnelleren Konvergenz im Vergleich zu Outcome-only-Training führte.
Effizienz: rePIRL führte lediglich einen etwa 1,4-fachen Trainingszeit-Overhead im Vergleich zu Outcome-basiertem RL (z. B. RLOO) ein, während es gleichzeitig auf separate Value-Netzwerke verzichtete.

Bedeutung und Behauptungen

Das Paper beansprucht, die erste Arbeit zu sein, die Inverse Reinforcement Learning für das LLM-Reasoning generalisiert, sowie die erste, die bestehende PRM-Lernmethoden in einem einzigen Framework vereinheitlicht.

Minimale Annahmen: Die Autoren betonen, dass rePIRL unter den minimal notwendigen Annahmen operiert, was es generalisierbarer macht als Methoden, die Token-Ebene-Annotationen oder spezifischen Zugriff auf Experten-Policies erfordern.
Stabilität: Das Framework adressiert das Problem des Entropy Collapse, das bei intrinsischen Belohnungsmethoden häufig auftritt, indem es Maximum Entropy RL nutzt und so stabile Trainingsdynamiken gewährleistet.
Nutzen: Das trainierte PRM wird als wiederverwendbares, eigenständiges Modul präsentiert, das Downstream-Anwendungen wie Test-Time Training und Scaling begünstigt, insbesondere in Szenarien, in denen Outcome-Belohnungen nicht verfügbar oder spärlich sind.

Die Autoren kommen zu dem Schluss, dass rePIRL zwar eine vereinheitlichte theoretische Perspektive und praktischen Nutzen bietet, zukünftige Arbeiten jedoch die Kombination mit intrinsischen Belohnungsmethoden, systematische Vergleiche von Online-RL-Heuristiken und die Skalierung auf Agentic Tasks und größere Modelle untersuchen könnten.