💻 computer science

PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization

Das Papier schlägt PAIR vor, ein prefix-bewusstes internes Belohnungsmodell, das einen eingefrorenen Hidden-State-Probe mit einem leichten attention-basierten Kopf kombiniert, um dichte, kostengünstige schrittweise Belohnungen für die Optimierung von Agenten über mehrere Runden hinweg zu generieren und dabei die Einschränkungen sparsamer Ergebnisbelohnungen sowie die Verschlechterung von Proben unter Prefix-Kontamination effektiv zu überwinden.

Ursprüngliche Autoren: Wonjoong Kim, Yeonjun In, Sangwu Park, Dongha Lee, Chanyoung Park

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wonjoong Kim, Yeonjun In, Sangwu Park, Dongha Lee, Chanyoung Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter-Assistenten, ein komplexes Rätsel zu lösen, wie etwa die Buchung eines Fluges, die Reservierung eines Hotels und die Bestellung eines Abendessens, alles in einem einzigen Durchgang. Der Roboter muss viele Schritte unternehmen, dabei Entscheidungen treffen und Werkzeuge einsetzen.

Das große Problem bei den aktuellen Lehrmethoden besteht darin, dass der Roboter erst am allerEnde des gesamten Prozesses ein „Gut gemacht!" oder „Versuch es noch einmal" erhält. Wenn der Roboter Schritt 1 vermasselt, merkt er das erst, wenn er Schritt 10 abgeschlossen hat und die gesamte Aufgabe scheitert. Es ist, als würde man ein Videospiel spielen, bei dem man erst am Ende einen „Game Over"-Bildschirm erhält, ohne den geringsten Hinweis darauf, welcher Sprung verpasst wurde.

Dieser Artikel stellt eine neue Methode vor, um diese Roboter zu unterrichten, die PAIR (Prefix-Aware Internal Reward Model) genannt wird. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Der „verwirrte Detektiv"

Um dem Roboter während des Prozesses (schrittweise) Feedback zu geben, versuchten Forscher, in das Gehirn des Roboters (seine internen Computerzustände) zu schauen, um zu sehen, ob er das Richtige tut.

Sie fanden zwei Arten von „Gehirnsignalen":

Der „Erzähler" (Versteckte Zustände): Dieses Signal prüft, ob der aktuelle Schritt mit dem, was zuvor geschah, Sinn ergibt. Es ist wie ein Detektiv, dem nur daran liegt, ob der aktuelle Hinweis in die Geschichte passt, die er bereits geschrieben hat.
- Der Fehler: Wenn der Roboter früher einen Fehler gemacht hat (die Geschichte kontaminiert), gerät der „Erzähler" in Verwirrung. Er denkt: „Oh, dieser neue Schritt passt perfekt zur falschen Geschichte, also muss er gut sein!" Er belohnt den Roboter versehentlich dafür, einen falschen Weg fortzusetzen.
Der „Strukturelle Architekt" (Aufmerksamkeitsmuster): Dieses Signal betrachtet, wie der Roboter seine Aufmerksamkeit fokussiert. Es interessiert sich nicht für die Geschichte, sondern für die Struktur. Schaut der Roboter auf die richtigen Werkzeuge? Ignoriert er das irrelevante Rauschen?
- Die Stärke: Selbst wenn die Geschichte durcheinandergebracht ist, kann dieses Signal immer noch erkennen, ob der Roboter die richtigen Dinge betrachtet. Es ist robust.
- Die Schwäche: Bei einer perfekten, sauberen Geschichte ist es nicht so scharf wie der „Erzähler".

Die Lösung: Der „Zweistufige Trainer" (PAIR)

Die Autoren erkannten, dass keines der Signale für sich allein perfekt ist. Der „Erzähler" ist großartig, wenn alles gut läuft, versagt aber, wenn Fehler auftreten. Der „Architekt" ist beständig, aber bei sauberen Aufgaben weniger präzise.

Daher entwickelten sie PAIR, einen zweistufigen Trainer:

Stufe 1: Der Glaubens-Check. Der Trainer fragt zuerst den „Erzähler" (die versteckte Zustands-Sonde): „Passt dieser Schritt zur aktuellen Geschichte?" Dies ergibt eine schnelle, erste Bewertung.
Stufe 2: Der Realitäts-Check. Der Trainer fragt dann den „Architekten" (die Aufmerksamkeits-Sonde): „Warte, wenn man betrachtet, wie du dich fokussierst, löst du tatsächlich das Problem oder folgst du nur einer kaputten Geschichte?"

Wie sie zusammenarbeiten:

Wenn die Geschichte sauber ist: Der „Architekt" stimmt dem „Erzähler" zu. Der Trainer akzeptiert die Bewertung.
Wenn die Geschichte kaputt ist (kontaminiert): Der „Erzähler" sagt: „Das sieht gut aus, weil es zum Fehler passt!" Aber der „Architekt" sagt: „Nein, du schaust auf die falschen Dinge!" Der Trainer hört dem „Architekten" zu und korrigiert die Bewertung und sagt dem Roboter: „Eigentlich war dieser Schritt schlecht, auch wenn er sich richtig angefühlt hat."

Warum das eine große Sache ist

Vor PAIR musste man, um schrittweises Feedback zu erhalten, eine von drei teuren Maßnahmen ergreifen:

Das gesamte Spiel 100-mal ausführen, um zu sehen, was funktioniert (sehr langsam und verschwenderisch).
Einen Menschen oder eine superintelligente KI rufen, um jeden einzelnen Schritt zu beurteilen (sehr teuer und langsam).
Die exakte Antwort im Voraus kennen, um die Schritte zu benoten (bei vielen realen Aufgaben unmöglich).

PAIR verändert das Spiel, weil:

Es kostenlos ist: Es nutzt die eigenen Gehirnsignale des Roboters. Es muss niemanden anderen rufen oder zusätzliche Simulationen ausführen.
Es ist sofort: Es geschieht im Handumdrehen, während der Roboter nachdenkt.
Es ist ehrlich: Es fängt Fehler auf, selbst wenn der Roboter selbstbewusst einem falschen Weg folgt.

Das Ergebnis

Als sie dies an Robotern testeten, die reale Werkzeuge nutzen sollten (wie das Buchen von Flügen oder das Durchsuchen von Datenbanken), half PAIR ihnen, viel schneller zu lernen und mehr Probleme zu lösen als jede andere Methode. Es ist, als würde man einem Schüler einen Lehrer geben, der einen Fehler während des Schreibens des Aufsatzes erkennt, anstatt bis zum Ende des Aufsatzes zu warten, um zu sagen: „Sie haben durchgefallen."

Kurz gesagt ist PAIR ein intelligenter, interner „Lügendetektor" für KI-Agenten, der ihnen hilft, ihre eigenen Fehler in Echtzeit zu korrigieren, ohne teure externe Hilfe zu benötigen.

Technische Zusammenfassung: PAIR (Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization)

1. Problemstellung

Aktuelle Large Language Models (LLMs) haben Schwierigkeiten mit komplexen, mehrstufigen Agentenaufgaben, die Sequenzen von Aktionen (z. B. API-Aufrufe, Tool-Invokationen) und Umgebungsfeedback erfordern. Obwohl Group Relative Policy Optimization (GRPO) aufgrund seiner Einfachheit und Effizienz ein führendes Reinforcement-Learning (RL)-Algorithmus für diese Aufgaben ist, leidet er unter spärlichen Ergebnissignalen (sparse outcome rewards). Im Standard-GRPO wird ein einzelner skalärer Reward erst bei Abschluss der Trajektorie zugewiesen, was eine Zuordnung von Krediten über Zwischenschritte hinweg erschwert. Diese Spärlichkeit führt zu einer langsamen Konvergenz und einer geringen Probeneffizienz.

Bestehende Versuche, Rewards zu verdichten, stoßen auf erhebliche Einschränkungen:

Vollständige Rollouts: Die Rückwärtspropagierung von Ergebnissignalen erfordert das vollständige Durchlaufen von Trajektorien, was zu verschwenderischen Rollouts aus bereits gescheiterten Pfaden führt.
Externe Richter: Die Verwendung externer LLMs (z. B. GPT-4) zur Bewertung jedes einzelnen Schritts verursacht hohe API-Kosten und Latenzzeiten, was es für groß angelegtes Online-RL unpraktisch macht.
Intrinsische Rewards: Methoden, die auf Ground-Truth-Antworten basieren (z. B. teacher-forced Log-Wahrscheinlichkeiten), erfordern Laufzeitzugriff auf Gold-Labels, die oft nicht verfügbar oder betrieblich kostspielig sind.
Externe Reward-Modelle: Separat trainierte Process Reward Models (PRMs) führen zu einem Overhead bei Training und Wartung.

Die Kernherausforderung, die diese Arbeit adressiert, lautet: Können wir dichte, schrittweise Reward-Signale ausschließlich unter Verwendung der internen Zustände des Agenten generieren, ohne externe Modelle, Ground-Truth-Abhängigkeiten oder vollständige Trajektorien-Rollouts?

2. Methodik

2.1 Empirische Motivation: Das Scheitern naiver Probing-Methoden

Die Autoren untersuchen zunächst, ob interne Korrektheits-Probes (die trainiert wurden, um die Korrektheit eines Schritts aus den versteckten Zuständen vorherzusagen), als Rewards dienen können. Sie führen das Konzept der Prefix-Kontamination ein, bei der ein Agent einen fehlerhaften Zwischenschritt generiert und damit das Prefix für nachfolgende Schritte korrumpiert.

Durch systematische Analysen am Qwen-2.5-7B-Instruct-Backbone decken sie drei kritische Erkenntnisse auf:

Degradation der versteckten Zustände: Probes für versteckte Zustände (z. B. Last-Token, Mean-Pooled) verschlechtern sich unter Prefix-Kontamination erheblich. Sie verfolgen Glaubens-Konsistenz (Kohärenz mit dem korrumpierten Prefix) anstelle von fundierter Korrektheit (tatsächlicher Nutzen der Aufgabe). Folglich belohnen sie oft fehlerverfestigende Turns und bestrafen Reparatur-Turns.
Robustheit der Aufmerksamkeit: Aufmerksamkeitsbasierte Merkmale bleiben gegenüber Kontamination relativ robust. Sie erfassen strukturelle Verhaltensmuster (z. B. ob das Modell auf aufgabenrelevante Token achtet) anstelle von semantischer Kohärenz mit dem Prefix.
Komplementarität: Versteckte Zustände funktionieren bei sauberen Prefixen hervorragend, versagen jedoch bei kontaminierten; Aufmerksamkeitsmerkmale sind robust, schneiden bei sauberen Prefixen jedoch schlechter ab. Eine naive Verkettung beider Signale scheitert, da das invertierte Signal des versteckten Zustands das korrekte Signal der Aufmerksamkeit auslöscht.

2.2 Vorgeschlagene Methode: PAIR

Um die komplementäre Natur dieser Signale zu nutzen, schlagen die Autoren PAIR (Prefix-Aware Internal Reward Model) vor, eine zweistufige Architektur:

Stufe 1: Glaubens-Konsistenz-Schätzer (Eingefroren): Ein vortrainierter logistischer Regressions-Probe bildet Merkmale der versteckten Zustände (speziell den Last-Token-versteckten Zustand) auf einen Glaubens-Konsistenz-Score ( $s_{bc}$ ) ab. Dieser Probe wird auf sauberen Daten trainiert und während des RL-Trainings eingefroren. Er erfasst die Fähigkeit des Standard-Probes, Korrektheit zu erkennen, wenn das Prefix sauber ist.
Stufe 2: Aufmerksamkeitsbasierte Korrektur: Ein leichter logistischer Regressions-Kopf nimmt die Aufmerksamkeitsmerkmale (Statistiken wie Spitzenmagnitude, Streuung, Prefix-Verhältnis und Selbst-Verhältnis) in Verbindung mit $s_{bc}$ $s_{b c}$ als Eingabe. Er sagt einen finalen Score ( $s_{final}$ $s_{f ina l}$ ) voraus.
- Mechanismus: Bei sauberen Prefixen lernt der Korrektur-Kopf, $s_{final} \approx s_{bc}$ auszugeben. Bei kontaminierten Prefixen erkennen die Aufmerksamkeitsmerkmale strukturelle Anomalien, und der Kopf lernt, $s_{final}$ von dem verzerrten $s_{bc}$ weg in Richtung fundamentierter Korrektheit anzupassen.
Reward-Integration: Der finale Score wird über eine temperatur-geschnittene Sigmoid-Funktion transformiert und mit einem momentumbasierten Reward-Mechanismus kombiniert. Dies setzt den Score des aktuellen Schritts gegen den laufenden Mittelwert der Trajektorie in Beziehung, um gruppenspezifische Varianz wiederherzustellen, was für die GRPO-Vorteilsschätzung (advantage estimation) essenziell ist.

3. Hauptbeiträge

Empirische Entdeckung: Die Arbeit bietet die erste systematische Studie, die nachweist, dass interne Korrektheits-Probes unter Prefix-Kontamination in mehrstufigen Settings versagen und spezifisch Glaubens-Konsistenz anstelle fundamentierter Korrektheit verfolgen.
Mechanistische Einsicht: Es wird festgestellt, dass versteckte Zustände Glaubens-Konsistenz kodieren, während Aufmerksamkeitsmuster strukturelles Routing-Verhalten kodieren. Diese Signale sind komplementär, was erklärt, warum eine einfache Verkettung scheitert, und leitet das Design adaptiver Architekturen.
Methodische Innovation: PAIR wird als zweistufiges Modell vorgeschlagen, das Signale aus versteckten Zuständen und Aufmerksamkeit adaptiv kombiniert. Es erhält hohe Leistung bei sauberen Trajektorien, korrigiert jedoch Verzerrungen unter Kontamination.
Praktische Effizienz: PAIR arbeitet ohne externe LLM-Aufrufe, Laufzeit-Zugriff auf Ground-Truth oder das Training separater Reward-Modelle. Es verursacht vernachlässigbare Inferenzkosten (Probe-Level), indem es Aktivierungen wiederverwendet, die bereits während des Forward-Passes der Policy berechnet wurden.

4. Experimentelle Ergebnisse

Die Autoren bewerten PAIR an zwei mehrstufigen Agenten-Benchmarks: GTA (General Tool Agents) und ToolBench, wobei Qwen-2.5-7B-Instruct als Policy-Modell verwendet wird.

Schrittweise Vorhersage: PAIR erzielt unter allen internen Probing-Baselines die höchste AUROC (0,9217 auf GTA, 0,8129 auf ToolBench) und übertrifft Probes für versteckte Zustände, Aufmerksamkeits-Probes und unüberwachte Methoden (z. B. Lookback Lens, Head Entropy).
RL-Leistung: Beim GRPO-Training erzielt PAIR auf beiden Datensätzen die höchsten Erfolgsraten (0,2489 auf GTA, 0,4498 auf ToolBench) und übertrifft die zweitbeste Baseline (LLM-as-a-Judge) auf ToolBench und erreicht sie auf GTA.
Cross-Domain-Transfer: Wenn auf GTA trainiert und auf HotpotQA evaluiert (ohne Feinabstimmung), rangiert PAIR unter 16 Methoden an erster Stelle und zeigt eine überlegene Übertragbarkeit im Vergleich zu rollout-basierten oder ground-truth-abhängigen Methoden.
Effizienz: PAIR arbeitet auf Probe-Level-Latenz (~0,2 ms/Schritt), was etwa 2.500-mal schneller ist als LLM-as-a-Judge-API-Aufrufe und um Größenordnungen schneller als Tree-Search-Methoden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PAIR die vier primären Einschränkungen bestehender dichter Reward-Mechanismen gleichzeitig adressiert:

Keine vollständigen Rollouts: Rewards werden pro Schritt berechnet, ohne auf den Abschluss der Trajektorie warten zu müssen.
Keine externen Aufrufe: Es verlässt sich ausschließlich auf die internen Repräsentationen des Agenten und eliminiert API-Kosten und Latenz.
Keine Ground-Truth-Abhängigkeit: Der Probe wird offline trainiert und zur Laufzeit angewendet, ohne Gold-Antworten für jeden Schritt zu benötigen.
Kein separates Reward-Modell: Es erfordert kein Training eines separaten, groß angelegten Reward-Netzwerks.

Die Autoren positionieren PAIR als praktische Lösung zur Ermöglichung dichter, schrittweiser Reward-Signale im mehrstufigen Agenten-RL-Training. Durch die Behebung des Versagens von Probes für versteckte Zustände unter Prefix-Kontamination mittels einer adaptiven, aufmerksamkeitskorrigierten Architektur macht PAIR die Analyse interner Zustände zu einer viable und effizienten Alternative zu externen Reward-Quellen für die Optimierung komplexer Agentenverhalten.