💬 NLP

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

Dieser Beitrag stellt POISE vor, eine Reinforcement-Learning-Methode, die einen auf den internen Zuständen eines Policy-Modells trainierten, leichten Probe nutzt, um Wertbaselines mit vernachlässigbarem Aufwand zu schätzen und dadurch eine stabile und effiziente Policy-Optimierung ohne den rechenintensiven Overhead separater Kritiker oder mehrerer Rollouts erreicht.

Ursprüngliche Autoren: Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber sehr teuren Schüler (ein Large Language Model), wie man komplexe mathematische Probleme löst. Sie möchten, dass er besser wird, und setzen daher eine Methode namens Reinforcement Learning (Bestärkendes Lernen) ein. Bei dieser Methode versucht der Schüler, ein Problem zu lösen, und Sie geben ihm eine Punktzahl (eine Belohnung), wenn er die Antwort richtig hat.

Um ihn effektiv zu unterrichten, müssen Sie ihm nicht nur sagen, was er richtig gemacht hat, sondern auch, wie viel besser er im Vergleich zu seiner üblichen Leistung abgeschnitten hat. Dieser „Unterschied" wird als Advantage (Vorteil) bezeichnet. Um dies zu berechnen, benötigen Sie eine Baseline – eine Schätzung dessen, was der Schüler bei diesem spezifischen Problem typischerweise erreichen würde.

Das Problem: Die Kosten des Raten

Derzeit gibt es zwei Hauptmethoden, um diese Baseline zu erhalten, und beide sind teuer:

Die „Riesige Nachhilfe"-Methode (PPO): Sie stellen einen zweiten, ebenso großen und teuren KI-Modell ein, der lediglich als Kritiker fungiert. Dieser Kritiker beobachtet die Arbeit des Schülers und schätzt die Punktzahl. Dies verdoppelt Ihre Rechenkosten, da Sie zwei riesige Modelle gleichzeitig ausführen.
Die „Durchschnitt der Gruppe"-Methode (GRPO): Sie bitten den Schüler, dasselbe Problem 8 Mal hintereinander zu lösen. Anschließend mitteln Sie diese 8 Punktzahlen, um eine Baseline zu erhalten. Dies verschwendet viel Zeit und Geld, da Sie 7 zusätzliche Antworten generieren müssen, nur um eine Baseline zu bekommen, wodurch weniger Raum bleibt, um neue Probleme zu versuchen.

Die Lösung: POISE (Die eigene Intuition des Schülers)

Die Autoren dieses Papiers schlagen eine neue Methode namens POISE (Policy Optimization with Internal State Value Estimation) vor.

Hier ist die Kernidee: Der Schüler weiß bereits, bevor er die Lösung fertiggestellt hat, wie schwierig das Problem ist.

Wenn ein großes KI-Modell denkt, generiert es eine Spur von „inneren Gedanken" (versteckte Zustände), während es von der Frage zur Antwort gelangt. Das Papier argumentiert, dass diese inneren Gedanken ein verstecktes Signal enthalten, das darüber Aufschluss gibt, wie wahrscheinlich der Erfolg des Modells ist. Es ist, als hätte der Schüler ein Bauchgefühl: „Ich habe bei diesem Schritt Schwierigkeiten; ich werde es wahrscheinlich nicht richtig hinbekommen" oder „Das fühlt sich einfach an; ich bin zuversichtlich."

POISE funktioniert wie folgt:

Der leichte Sonden-Ansatz: Anstatt einen zweiten riesigen KI-Modell einzustellen, wird eine winzige, günstige „Sonde" (wie ein einfacher Taschenrechner) an das Gehirn des Schülers angebracht.
Das Lesen der Signale: Diese Sonde betrachtet die inneren Gedanken (versteckte Zustände) des Schülers und seine „Unsicherheit" (Entropie), während er denkt.
Die Vorhersage: Die Sonde sagt die Punktzahl basierend auf diesen internen Signalen voraus.
Der Fairness-Trick (Cross-Rollout): Um sicherzustellen, dass der Schüler nicht schummelt, indem er seine eigene Antwort betrachtet, um die Punktzahl zu erraten, verwendet das System einen cleveren Trick. Es bittet den Schüler, das Problem zweimal zu lösen. Um den ersten Versuch zu benoten, betrachtet die Sonde die inneren Gedanken des zweiten Versuchs, und umgekehrt. Dies stellt sicher, dass die Baseline fair und unvoreingenommen ist.

Warum dies eine große Sache ist

Es ist billiger: Sie benötigen kein zweites riesiges KI-Modell. Sie verwenden lediglich die winzige Sonde auf den Signalen, die der Schüler bereits generiert.
Es ist schneller: Sie müssen nicht 8 Antworten generieren, um eine Baseline zu erhalten. Sie benötigen nur 2 (eine zum Lösen, eine zur Hilfe bei der Benotung). Dies setzt Ihr Rechenbudget frei, um viele verschiedene Probleme zu versuchen, was dem Schüler hilft, schneller zu lernen.
Es ist stabil: Da Sie mehr verschiedene Probleme ausprobieren können, ist der Lernprozess weniger „verrauscht" und stabiler.

Die Ergebnisse

Die Forscher testeten dies an mathematischen Denkaufgaben (wie Olympiade-Mathematik). Sie stellten fest, dass:

POISE genauso gut abschnitt wie die fortschrittlichsten Methoden (wie DAPO), die teure Kritiker oder große Gruppen von Antworten verwenden.
Es weniger Rechenleistung benötigte und das Training schneller abschloss.
Das „Bauchgefühl" genau war: Die winzige Sonde sagte die Erfolgsrate fast genauso gut voraus wie ein vollwertiges KI-Kritiker-Modell.
Es funktioniert auch anderswo: Sie testeten es auf Programmier- und Werkzeugnutzungsaufgaben, und es funktionierte dort ebenfalls gut, was beweist, dass die internen Signale des Schülers ein universeller Indikator für Erfolg sind.

Zusammenfassung

POISE ist wie die Erkenntnis, dass Ihr Schüler keinen zweiten Lehrer braucht, der ihm sagt, wie gut er abschneidet. Indem Sie einfach auf seinen inneren „Denkprozess" hören, können Sie sofort wissen, ob er auf dem richtigen Weg ist. Dies spart Geld, spart Zeit und macht den Lernprozess reibungsloser, alles ohne Kompromisse bei der Leistung.

Technische Zusammenfassung: POISE (Policy Optimization with Internal State Value Estimation)

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist ein zentraler Treiber zur Verbesserung von Large Reasoning Models (LRMs) bei komplexen Aufgaben wie mathematischem Schlussfolgern. Eine stabile und effiziente RLVR hängt jedoch stark von einer genauen Basisschätzung ab, um die Varianz der Policy-Gradienten zu reduzieren. Bestehende Ansätze verursachen erhebliche Rechenkosten:

PPO (Proximal Policy Optimization): Erfordert das Training eines separaten, auf LLM-Skala angelegten Kritiker-Modells, das bei jedem Update die vollständig generierte Sequenz verarbeitet, was den Speicherbedarf und die Optimierungskomplexität etwa verdoppelt.
GRPO (Group Relative Policy Optimization): Vermeidet einen separaten Kritiker, indem Baselines aus dem mittleren Reward einer Gruppe von gesampelten Rollouts pro Prompt geschätzt werden. Dies „tauscht Parameter gegen Samples" und erfordert mehrere Rollouts pro Prompt, um eine stabile Baseline zu gewährleisten. Unter einem festen Rechenbudget reduziert dies die Vielfalt der Prompts in einem Batch und erhöht die Gradientenvarianz. Darüber hinaus wird erhebliche Rechenleistung für „degenerierte" Prompts verschwendet, bei denen alle Rollouts identische Belohnungen erhalten (null Advantage).

Die Kernfrage, die diese Arbeit adressiert, lautet: Kann eine effektive Baseline aus den bereits während des Policy-Trainings durchgeführten Berechnungen extrahiert werden, wodurch der Bedarf an zusätzlichen Ressourcen entfällt?

Methodik: POISE

Die Autoren schlagen POISE (Policy Optimization with Internal State Value Estimation) vor, eine Methode, die die eigenen internen Repräsentationen des Policy-Modells nutzt, um die Wertfunktion $V^\pi(x)$ zu vernachlässigbaren Kosten zu schätzen.

1. Schätzung des Werts aus internen Zuständen

Anstatt einen separaten Kritiker zu trainieren, trainiert POISE einen leichten Proben, um den erwarteten verifizierbaren Reward direkt aus den versteckten Zuständen des Policy-Modells und den während des Forward-Passes gesammelten Token-Statistiken vorherzusagen.

Eingangsmerkmale: Der Proben nutzt drei komplementäre Signale:
1. Prompt-Level-Features: Versteckte Zustände der letzten Prompt-Token, die die Repräsentation des Modells für den Prompt und die erwartete Schwierigkeit erfassen.
2. Trajektorien-Level-Features: Versteckte Zustände am Ende der Denk-Trajektorie, die wertrelevante Informationen offenbaren, die im Prompt allein nicht vorhanden sind.
3. Token-Level-Entropiestatistiken: Leichte Unsicherheitsmerkmale.
Trainingsziel: Der Proben wird trainiert, den Prompt-Level-Wert $V^\pi(x)$ vorherzusagen. Um zu verhindern, dass das Ziel Informationen über den spezifischen zu bewertenden Rollout durchsickert, verwenden die Autoren ein Leave-One-Out Monte-Carlo-Ziel. Für einen Prompt $x$ mit $K$ gesampelten Rollouts ist das Ziel für Rollout $i$ der durchschnittliche Reward der anderen $K-1$ Rollouts.

2. Kreuz-Rollout-Konstruktion für Unverzerrtheit

Eine kritische theoretische Herausforderung besteht darin, sicherzustellen, dass die Baseline bedingt unabhängig von der Aktion (der gesampelten Antwort) bleibt, um die Unverzerrtheit des Policy-Gradienten zu bewahren. Wenn die Baseline von demselben Rollout abhängt, den sie bewertet, führt dies zu einer Verzerrung.

Lösung: POISE verwendet eine Kreuz-Rollout-Konstruktion. Für jeden Prompt werden zwei unabhängige Rollouts, $y^{(1)}$ $y^{(1)}$ und $y^{(2)}$ $y^{(2)}$ , gesampelt.
- Die Baseline für $y^{(1)}$ wird unter Verwendung der internen Zustände von $y^{(2)}$ vorhergesagt.
- Die Baseline für $y^{(2)}$ wird unter Verwendung der internen Zustände von $y^{(1)}$ vorhergesagt.
Dies stellt sicher, dass die Baseline, die zur Aktualisierung eines bestimmten Rollouts verwendet wird, von einer unabhängigen Stichprobe abgeleitet ist, und erfüllt die Bedingung $E[b(x) \nabla \log \pi(y|x)] = 0$ .

3. Integration in die Policy-Optimierung

POISE integriert diesen Schätzer in einen PPO-artigen Optimierungszyklus:

Online-Training: Der Wertschätzer wird gemeinsam mit der Policy auf einem gleitenden Puffer kürzlich durchlaufener Trajektorien trainiert. Da die Merkmale aus dem Forward-Pass extrahiert werden, der ohnehin für Policy-Updates erforderlich ist, sind die Rechenkosten vernachlässigbar.
Advantage-Berechnung: Advantages werden als $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$ berechnet, wobei $b^{(i)}(x)$ die Kreuz-Rollout-Baseline ist.
Effizienz: Im Gegensatz zu GRPO, das eine große Gruppe (z. B. 8 Rollouts) zur Schätzung einer Baseline benötigt, erfordert POISE nur ein Paar von Rollouts. Dies ermöglicht es, das feste Rechenbudget auf eine größere Anzahl unterschiedlicher Prompts pro Batch zu verteilen, was theoretisch die Gradientenvarianz reduziert.

Hauptbeiträge

Neuartige Baseline-Schätzung: Einführung einer Methode, um Baselines aus den internen Zuständen des Policy-Modells abzuleiten, wodurch der Bedarf an einem separaten LLM-skalierten Kritiker oder großen Rollout-Gruppen entfällt.
Theoretische Unverzerrtheit: Vorschlag einer Kreuz-Rollout-Architektur, die die für unverzerrte Policy-Gradienten erforderliche bedingte Unabhängigkeit garantiert, während gleichzeitig trajektorienkonditionierte Merkmale genutzt werden.
Rechen-Effizienz: Demonstration, dass ein leichter Proben (lineare Regression) eine Wertschätzungsleistung erreichen kann, die der eines separaten Kritikers entspricht oder diese übertrifft, bei deutlich geringerem Rechenaufwand.
Generalisierbarkeit: Nachweis, dass die internen Zustandssignale über verschiedene Domänen (Mathematik, Codierung, Tool-Aufrufe, Instruktionsbefolgung) und Modellgrößen hinweg generalisieren.

Experimentelle Ergebnisse

Die Methode wurde an Qwen3-4B und DeepSeek-R1-Distill-Qwen-1.5B über olympiade-Level-Benchmarks für mathematisches Schlussfolgern (AMC, AIME, HMMT, BRUMO) evaluiert.

Leistung: POISE erzielt eine Leistung, die mit DAPO (ein state-of-the-art GRPO-basierter Algorithmus) vergleichbar ist.
- Bei Qwen3-4B erreichte POISE einen durchschnittlichen Avg@32-Score von 0,500, was DAPOs 0,508 nahekommt, und übertraf diesen bei spezifischen Benchmarks wie AMC23 und HMMT25.
- Bei DeepSeek-R1-Distill-Qwen-1.5B verbesserte POISE den durchschnittlichen Score auf 0,303 im Vergleich zu DAPOs 0,296.
Trainings-Effizienz: POISE erfordert deutlich weniger Wandzeit. Bei DeepSeek-R1-Distill-Qwen-1.5B dauerte es 18 Stunden mit POISE, um eine vergleichbare Leistung zu erreichen, gegenüber 24 Stunden mit DAPO auf einer einzelnen B200-GPU. Bei Qwen3-4B betrug die Zeit 36 Stunden gegenüber 49 Stunden.
Stabilität: Die Gradientennormen bei POISE waren durchgängig niedriger als bei DAPO, was auf eine reduzierte Gradientenvarianz und eine stabilere Optimierung hindeutet.
Qualität der Wertschätzung: Der interne Zustands-Proben erreichte eine Pearson-Korrelation von 0,870 mit empirischen Belohnungen und übertraf einen separat trainierten LLM-skalierten Kritiker (0,676) bei derselben Aufgabe.
Generalisierung: Der Schätzer behielt eine hohe Leistung bei Codierung, Tool-Aufrufen und Instruktionsbefolgung bei und übertraf in diesen Domänen oft separate Kritiker.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass POISE einen rechen-effizienten Weg zu einer stabilen und skalierbaren RLVR für Large Reasoning Models bietet. Durch die Nutzung der eigenen internen Repräsentationen des Modells:

Eliminiert die Methode den Speicher- und Rechen-Overhead des Trainings eines separaten Kritiker-Modells.
Beseitigt die Sampling-Ineffizienz von gruppenrelativen Baselines (GRPO) und ermöglicht eine höhere Prompt-Vielfalt innerhalb eines festen Budgets.
Vermeidet die Verschwendung von Rechenleistung auf degenerierte Prompts, die einen null Advantage liefern.
Zeigt, dass interne Zustände, die bisher primär als Diagnosewerkzeuge dienten, als praktische, hochpräzise Optimierungssignale für Reinforcement Learning dienen können.

Die Autoren schließen, dass POISE eine stabilere und effizientere Policy-Optimierung ohne den Bedarf an gruppenrelativen Baselines oder auxiliary-Wertmodellen ermöglicht und somit eine viable Alternative für das Training von Large Reasoning Models unter Ressourcenbeschränkungen darstellt.