💬 NLP

RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents

Das Papier schlägt RICE-PO vor, ein kritisches Optimierungsframework ohne Kritiker, das Retrieval-Interaktionen in lokalisierte Lernsignale umwandelt, indem es hochunsichere ausführbare Aktionen als Anker verwendet, um Kredit für latente Denk-Schritte zu vergeben, und damit das Training interaktiver Reasoning-Agenten auf Benchmarks wie BRIGHT und BEIR verbessert.

Ursprüngliche Autoren: Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Hamed Zamani, Hong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem intelligenten Roboter bei, wie er die perfekte Antwort auf eine sehr knifflige Frage findet. Der Roboter gibt nicht einfach nur eine Suchanfrage ein und hofft auf das Beste. Stattdessen verhält er sich wie ein Detektiv: Er sucht, liest, was er findet, überlegt, was fehlt, formuliert eine neue Suchanfrage und sucht erneut. Er wiederholt dies in einer Schleife, bis er die Antwort findet.

Das große Problem, das die Arbeit behandelt, ist wie man dem Roboter beibringt, welche seiner Schritte tatsächlich gut waren.

Das Problem: Die „Black Box" des Denkens

In diesem Detektivspiel hat der Roboter zwei Arten von Aktionen:

Die „Tun"-Aktionen (ausführbar): Dies sind die tatsächlichen Suchanfragen, die er eingibt. Die Suchmaschine kann dem Roboter sofort sagen: „Gute Arbeit! Diese Anfrage hat 10 großartige Artikel gefunden", oder: „Schlechte Arbeit! Diese Anfrage hat nichts gefunden." Das ist leicht zu messen.
Die „Denk"-Aktionen (latent): Dies sind die inneren Gedanken, die der Roboter bevor er die Anfrage eingibt, hat. Er könnte denken: „Ich muss das Jahr suchen, in dem dies geschah", oder: „Ich sollte den Hintergrund des Autors prüfen." Die Suchmaschine kann diese Gedanken nicht sehen. Sie sieht nur die endgültige Anfrage.

Das Dilemma der Kreditvergabe:
Wenn der Roboter schließlich den perfekten Artikel findet, wie wissen wir dann, welcher Gedanke zu diesem Erfolg geführt hat?

Hat der Gedanke „Prüfe den Autor" den Erfolg verursacht?
Oder hatte der Roboter einfach Glück mit der endgültigen Anfrage, und die früheren Gedanken waren tatsächlich falsch?

Wenn wir dem Roboter einfach nur einen „Goldstern" für das Endergebnis geben und ihm sagen: „Großartige Arbeit bei jedem einzelnen Gedanken, den du hattest", könnte der Roboter die falschen Lehren daraus ziehen. Er könnte denken: „Oh, ich lag falsch, aber ich habe trotzdem einen Goldstern bekommen, also werde ich es weiterhin so machen." Dies wird als Fehlverteilung von Krediten bezeichnet.

Die Lösung: RICE-PO (Der „intelligente Trainer")

Die Autoren schlagen eine neue Trainingsmethode namens RICE-PO vor. Anstatt nur das Endergebnis zu betrachten, agiert diese Methode wie ein intelligenter Trainer, der die Übungseinheiten des Roboter beobachtet und Feedback in dem Moment gibt.

So funktioniert RICE-PO, anhand einer einfachen Analogie:

1. Die „wackeligen Momente" finden (Unsicherheitsanker)

Der Trainer beobachtet nicht jede einzelne Sekunde. Stattdessen sucht er nach Momenten, in denen der Roboter unsicher zu sein scheint.

Analogie: Stellen Sie sich vor, der Roboter muss zwischen zwei Suchanfragen entscheiden. Eine lautet „Geschichte von Kyoto", die andere „Technologie der erneuerbaren Energien". Wenn der Roboter sehr zuversichtlich ist, wählt er einfach eine aus. Aber wenn er verwirrt ist und viele verschiedene, seltsame Optionen generiert, sagt der Trainer: „Okay, dies ist ein kritischer Moment. Lassen Sie uns innehalten und dies analysieren."
In der Arbeit: Sie verwenden „Entropie" (ein Maß für Verwirrung), um diese hochriskanten Momente auszuwählen.

2. Die „Was-wäre-wenn"-Simulation (Lokale kontrafaktische Szenarien)

Sobald der Trainer einen „wackeligen Moment" identifiziert hat, wartet er nicht einfach, bis der Roboter fertig ist. Er führt eine schnelle Simulation durch.

Analogie: Der Trainer sagt: „Okay, Sie dachten gerade an 'Kyoto'. Aber was wäre, wenn Sie in genau diesem Moment stattdessen an 'Tokio' gedacht hätten? Lassen Sie uns so tun, als hätten Sie das getan, sehen, welche Suchanfrage Sie geschrieben hätten, und prüfen, ob diese Anfrage bessere Ergebnisse gefunden hätte."
In der Arbeit: Sie generieren mehrere „Was-wäre-wenn"-Zweige aus demselben Verlauf, um zu sehen, ob die Änderung des Gedankens tatsächlich das Suchergebnis verändert.

3. Der „Stabilitätscheck" (Gated Propagation)

Dies ist der wichtigste Teil. Der Trainer stellt zwei Fragen, bevor er dem Gedanken Kredit gibt:

Frage A (Einfluss): Hat der Gedanke die Suchanfrage tatsächlich verändert? (Wenn der Roboter an „Kyoto" vs. „Tokio" dachte, aber exakt dieselbe Anfrage schrieb, spielte der Gedanke keine Rolle. Kein Kredit.)
Frage B (Stabilität): Hat der Vorteil dieses Gedankens bis zum Ende angehalten? (Manchmal führt ein Gedanke zu einer großartigen Suchanfrage, aber dann macht der Roboter im nächsten Schritt einen schrecklichen Fehler, der alles ruiniert. Wenn das Endergebnis schlecht ist, weil des nächsten Schritts, sollten wir dem ersten Gedanken keinen Kredit geben.)
In der Arbeit: Sie messen die „residuale Stabilität". Wenn die lokale Belohnung (aus der unmittelbaren Suche) auch nach zukünftigen Schritten konsistent bleibt, sagt der Trainer: „Ja, dieser Gedanke war der Held. Geben Sie ihm Kredit!" Wenn die zukünftigen Schritte ihn zunichtemachen, sagt der Trainer: „Nein, geben Sie diesem Gedanken noch keinen Kredit."

Das Ergebnis

Durch die Anwendung dieser Methode lernt der Roboter viel schneller.

Alter Weg: „Sie haben die Antwort richtig! Gute Arbeit bei allem." (Der Roboter ist verwirrt darüber, was tatsächlich funktioniert hat.)
RICE-PO-Weg: „Sie waren hier verwirrt, aber Ihr spezifischer Gedanke führte zu einer besseren Suchanfrage, und dieser Vorteil hielt bis zum Ende an. Dieser spezifische Gedanke war großartig. Machen Sie das wieder."

Warum das wichtig ist

Die Arbeit testete dies an zwei großen Datensätzen (BRIGHT und BEIR), die wie riesige Bibliotheken mit kniffligen Fragen sind.

Sie stellten fest, dass RICE-PO dem Roboter half (selbst kleineren, günstigeren Robotern), bessere Antworten zu finden als frühere Methoden.
Es bewies, dass man keine super-teure „Richter"-KI benötigt, um dem Roboter zu sagen, was zu tun ist. Die Struktur des Suchprozesses selbst (die Tatsache, dass Anfragen testbar sind) liefert alle Rückmeldungen, die der Roboter benötigt.

Kurz gesagt: RICE-PO ist eine Methode, um KI-Agenten beizubringen, aus ihrem eigenen Suchverlauf zu lernen, indem sie sorgfältig prüfen, ob ihre Gedanken tatsächlich ihren Erfolg verursacht haben, anstatt nur basierend auf der Endpunktzahl zu raten.

Technische Zusammenfassung: RICE-PO

Problemstellung

Die Arbeit adressiert die Herausforderung der Kreditvergabe beim Training von Sprachagenten für retrieval-intensive Reasoning-Aufgaben. Im Gegensatz zur traditionellen One-Shot-Retrieval beteiligen sich moderne Agenten an iterativen Schleifen, in denen sie über Beweise reasoning betreiben, Abfragen neu formulieren und erneut suchen. In diesem Prozess besteht eine fundamentale Asymmetrie:

Ausführbare Aktionen: Generierte Zusammenfassungen oder Abfragen können direkt an einen Retriever übergeben und mit Standardmetriken (z. B. NDCG@10) bewertet werden.
Latente Reasoning-Aktionen: Interne Reasoning-Schritte (z. B. Gedankenverläufe) sind nicht direkt ausführbar oder messbar. Sie beeinflussen die Retrieval nur indirekt, indem sie nachfolgende ausführbare Aktionen formen.

Bestehende Reinforcement-Learning-Methoden (RL) verlassen sich häufig auf Ergebnis-basierte Belohnungen (den finalen Retrieval-Score), die der gesamten Trajektorie zugewiesen werden. Dieser Ansatz ist unzuverlässig, da ein erfolgreicher Endergebnis oft auf späteren Recovery-Schritten statt auf dem initialen Reasoning beruhen kann, was zu einer Fehlverteilung des Credits führt. Darüber hinaus verlassen sich viele Methoden auf gelernte Kritiker oder Prozess-Belohnungsmodelle, die rechenintensiv und schwer zu trainieren sind. Das Kernproblem besteht darin, wie latenten Reasoning-Schritten ohne externe Richter oder exhaustive Rollouts Credit zugewiesen werden kann, wobei nur die innerhalb der Retrieval-Schleife verfügbaren Interaktionssignale genutzt werden.

Methodik: RICE-PO

Die Autoren schlagen RICE-PO (Retrieval-Interaction Credit Estimation for Policy Optimization) vor, ein kritikerfreies Framework, das Retrieval-Interaktionen in lokalisierte Lernsignale umwandelt. Die Methode basiert auf der Prämisse, dass ausführbare Zusammenfassungen direktes Feedback liefern, das unter spezifischen Bedingungen selektiv auf vorangegangene latente Reasoning-Abschnitte propagiert werden kann.

Das Framework besteht aus drei Hauptphasen:

1. Unsicherheitsgesteuerte Anker-Selektion

Anstatt jeden Schritt zu bewerten, identifiziert der Agent kritische Entscheidungspunkte, an denen die Kreditvergabe am dringendsten benötigt wird.

Mechanismus: Das System berechnet die Token-Level-Entropie ausführbarer Zusammenfassungsaktionen über mehrere gesampelte Trajektorien.
Selektion: Es wählt die Top- $K$ Zusammenfassungsaktionen mit der höchsten Entropie (hohe Unsicherheit) aus. Diese dienen als „Anker" für lokale kontrafaktische Schätzungen und konzentrieren die Rechenressourcen auf mehrdeutige Entscheidungspunkte, an denen die Wahl der Policy das Ergebnis signifikant beeinflusst.

2. Lokale kontrafaktische Verzweigung

Für jeden ausgewählten Ankerpunkt konstruiert die Methode lokale Verzweigungen, um den Einfluss der Reasoning-Aktion auf das Retrieval-Ergebnis zu schätzen.

Verzweigungskonstruktion: Aus demselben Interaktionsverlauf generiert der Agent $K$ alternative Reasoning-Abschnitte ( $z_t$ ) und die entsprechenden Zusammenfassungsaktionen ( $s_t$ ).
Einflussschätzung: Es wird die Varianz der Retrieval-Belohnungen ( $\hat{\sigma}^2_t$ ) über diese Verzweigungen berechnet. Eine hohe Varianz zeigt an, dass die latente Reasoning-Aktion die Qualität der nachfolgenden ausführbaren Zusammenfassung stark beeinflusst.
Residual-Stabilitätsschätzung: Die Verzweigungen werden bis zur vollen Trajektorientiefe erweitert, um die finale Belohnung zu berechnen. Die Varianz des Residualeffekts ( $\text{ResVar}_t = \text{Var}(R_T - r_t)$ ) wird ermittelt. Eine niedrige Varianz zeigt an, dass spätere Interaktionsschritte den lokalen Belohnungsunterschied, der durch das aktuelle Reasoning-Zusammenfassungs-Paar etabliert wurde, nicht umkehren.

3. Gated Credit-Propagation

Credit wird von der Zusammenfassung auf den Reasoning-Abschnitt nur propagiert, wenn das Signal als zuverlässig eingestuft wird.

Gating-Bedingungen: Die Propagation erfolgt, wenn:
1. Der Einfluss hoch ist: $\hat{\sigma}^2_t \geq \tau_{var}$ (die Reasoning-Wahl verändert den Retrieval-Score der Zusammenfassung signifikant).
2. Die Residual-Stabilität hoch ist: $\text{ResVar}_t \leq \tau_{res}$ (der lokale Belohnungsunterschied über zukünftige Schritte hinweg bestehen bleibt).
Vorteilberechnung:
- Ausführbare Tokens: Erhalten einen schrittweisen Vorteil ( $A^{sum}_t$ ) basierend auf den lokalen kontrafaktischen Retrieval-Scores.
- Reasoning-Tokens: Erhalten einen gated Vorteil ( $A^{think}_t$ ). Wenn die Gating-Bedingungen erfüllt sind, erben sie den Zusammenfassungs-Vorteil; andernfalls behalten sie den Standard-Vorteil auf Trajektorien-Ebene.
Optimierung: Diese Token-Level-Vorteile werden in einem PPO-artigen, abgeschnittenen Zielwert zur Aktualisierung der Policy verwendet, wodurch die Notwendigkeit eines gelernten Kritikers oder eines externen Belohnungsmodells entfällt.

Hauptbeiträge

Beobachtbarkeitsbewusste Kreditvergabe: Die Arbeit führt eine Perspektive ein, die zwischen ausführbaren und latenten Aktionen in der Retrieval unterscheidet und zeigt, dass ausführbare Zusammenfassungen als direkte Feedback-Anker dienen können, während latentes Reasoning eine selektive Rückwärtspropagation erfordert.
Kritikerfreies Framework: RICE-PO nutzt die Asymmetrie von Retrieval-Agenten aus, um feingranulare Überwachung ohne gelernte Kritiker, Prozess-Belohnungsmodelle oder menschliche Annotationen abzuleiten. Es verwendet unsicherheitsgetriggerte kontrafaktische Evaluierung und Residual-Stabilitäts-Gating, um die Zuverlässigkeit des Credits sicherzustellen.
Empirische Validierung: Umfangreiche Experimente zeigen konsistente Verbesserungen gegenüber prompt-basierten Agenten und gruppenbasierten RL-Baselines (GRPO, GiGPO, HGPO, Tree-GRPO) bei reasoning-intensiven und allgemeinen Retrieval-Aufgaben.

Experimentelle Ergebnisse

Die Methode wurde auf BRIGHT (12 reasoning-intensive Aufgaben) und BEIR (5 allgemeine Retrieval-Datensätze) unter Verwendung von NDCG@10 als Metrik evaluiert.

BRIGHT-Leistung:
- Mit einem 1,5B-Backbone (DeepSeek-R1-Distill-Qwen-1,5B) erreichte RICE-PO einen Durchschnittswert von 27,49 und übertraf GRPO (24,98) sowie die State-of-the-Art-Prompting-Baseline Diver (37,20 im Durchschnitt mit einem 14B-Modell, wobei RICE-PO mit 1,5B die 1,5B GRPO-Baseline signifikant übertraf).
- Mit einem 4B-Backbone (Qwen3-4B-Thinking-2507) erreichte RICE-PO den besten Durchschnittswert von 37,76 und übertraf GRPO, GiGPO, HGPO und Tree-GRPO um Margen zwischen 1,15 und 1,45 Punkten.
- Die Ergebnisse zeigen, dass das Lernen aus Interaktionssignalen es kleineren Modellen ermöglicht, mit größeren Modellen, die sich ausschließlich auf feste Prompts oder ergebnisbasierte Belohnungen verlassen, mitzuhalten oder diese zu übertreffen.
BEIR-Leistung:
- RICE-PO erzielte die besten Durchschnittswerte auf BEIR-Datensätzen sowohl für 1,5B (65,66) als auch für 3B (65,68) Backbones und übertraf alle RL-Baselines sowie starke Reranking-Modelle.
- Obwohl die Gewinne geringer waren als bei BRIGHT (aufgrund der geringeren Reasoning-Intensität von BEIR), deutet die Konsistenz darauf hin, dass sich die Methode über Multi-Step-Reasoning-Szenarien hinaus verallgemeinert.
Ablationsstudien:
- Gating-Mechanismus: Die dynamische Gating der Credit-Propagation basierend auf Einfluss und Residual-Stabilität übertraf Strategien, die immer propagieren oder sich ausschließlich auf finale Belohnungen verlassen.
- Triggering: Entropie-basiertes Triggering für die Anker-Selektion erzielte signifikante Gewinne gegenüber zufälligem Triggering bei den meisten Aufgaben.
- Signal-Kombination: Die Kombination von „Einfluss" (lokale Sensitivität) und „Effekt" (Downstream-Stabilität) erwies sich als überlegen gegenüber der Verwendung eines einzelnen Signals.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Struktur der Agent-Umwelt-Interaktion selbst eine nützliche Überwachung für das Training von reasoning-basierten Retrieval-Agenten bieten kann. Indem Retrieval-Interaktionen als Quelle lokalisierter Lernsignale behandelt werden, anstatt sich ausschließlich auf spärliche, ergebnisbasierte Belohnungen zu verlassen, ermöglicht RICE-PO ein effizienteres und zuverlässigeres Training von Reasoning-Agenten.

Die Autoren betonen, dass dieser Ansatz eine praktische Alternative zum Training teurer Kritiker oder zur Abhängigkeit von größeren Modellen bietet. Die Arbeit unterstreicht die Bedeutung der Gestaltung von Lernalgorithmen, die mit der spezifischen Struktur von Multi-Step-Sprachsystem-Interaktionen übereinstimmen, insbesondere der Unterscheidung zwischen beobachtbaren ausführbaren Aktionen und latenten Reasoning-Prozessen. Die Ergebnisse deuten darauf hin, dass die effektive Nutzung von Interaktionssignalen der Schlüssel zur Verbesserung reasoning-intensiver Retrieval ist, selbst bei kleineren Sprachmodellen.