🤖 AI

Critic-R: Improving Agentic Search using Instruction-tuned Retrievers with Natural Language Introspective Feedback

Das Papier schlägt Critic-R vor, ein Framework, das die agentische Suche verbessert, indem es ein Kritiker-Modell einführt, um introspektives Feedback in natürlicher Sprache bereitzustellen, was eine iterative Abfrageverfeinerung und eine automatische Optimierung des Retrieval-Modells ohne die Notwendigkeit manueller Relevanzannotationen ermöglicht.

Ursprüngliche Autoren: Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Rätsel zu lösen, wie zum Beispiel den Namen der Alma Mater eines Filmregisseurs herauszufinden. Sie haben einen brillanten Detektiv (den KI-Reasoning-Agenten), der weiß, wie man denkt, aber er kann die Welt außerhalb seines eigenen Geistes nicht sehen. Um das Rätsel zu lösen, muss er eine Bibliothekarin (das Retrieval-Modell) bitten, Bücher (Dokumente) aus einer riesigen Bibliothek zu holen.

Auf dem alten Weg der Dinge fragte der Detektiv die Bibliothekarin nach einem Buch, erhielt das, was ihm überreicht wurde, und versuchte dann sofort, das Rätsel zu lösen. Wenn das Buch das falsche war, rät der Detektiv oft trotzdem einfach weiter oder bleibt stecken. Die Bibliothekarin wurde als „Black Box“ behandelt – man konnte sie nicht wirklich verbessern, man musste einfach nur hoffen, dass sie es richtig machte.

Das Paper stellt ein neues System namens Critic-R vor, das diese Dynamik verändert, indem es einen dritten Charakter hinzufügt: Den Kritiker.

Die drei Charaktere

Der Detektiv (Der Reasoner): Die intelligente KI, die versucht, die Frage zu beantworten. Er denkt: „Ich muss zuerst den Regisseur finden“, und fragt die Bibliothekarin.
Die Bibliothekarin (Der Retriever): Das System, das die Bibliothek durchsucht und die obersten paar Bücher überreicht.
Der Kritiker (Die Neuzugang): Ein separater, scharfäugiger Editor, der den gesamten Prozess beobachtet. Der Kritiker sieht sich nicht nur die Bücher an; er sieht sich auch an, was der Detektiv über die Bücher sagt.

Wie es funktioniert: Die Zwei-Teile-Strategie

Das Paper schlägt zwei Hauptwege vor, um diesen Kritiker zu nutzen, um das System intelligenter zu machen. Denken Sie an „Fehler sofort beheben“ und „Für die Zukunft trainieren“.

1. Critic-R-Zero: Der „Noch mal versuchen“-Knopf (Inferenzzeit)

Stellen Sie sich vor, der Detektiv fragt die Bibliothekarin nach einem Buch über „Christopher Nolan“. Die Bibliothekarin überreicht ein Buch über die Handlung des Films, aber es erwähnt nicht seine Schule.

Ohne Kritiker: Der Detektiv könnte verwirrt werden und eine falsche Antwort geben.
Mit Critic-R-Zero: Der Kritiker sieht die internen Gedanken des Detektivs („Ich brauche die Biografie des Regisseurs, aber dieses Buch enthält nur die Handlung“) und sagt: „Stopp! Dieses Buch ist nicht hilfreich. Versuchen wir es noch einmal.“

Der Kritiker schreibt dann die Anfrage für die Bibliothekarin um und macht sie spezifischer: „Finde die Biografie von Christopher Nolan, nicht die Handlung des Films.“ Die Bibliothekarin versucht es erneut, findet das richtige Buch, und der Detektiv kann schließlich das Rätsel lösen.

Dies geschieht sofort, während die KI arbeitet. Es ist wie ein Coach, der neben dem Spieler steht und ruft: „Das war ein schlechter Pass, versuch es aus einem anderen Winkel!“, ohne dabei das eigentliche Training des Spielers zu verändern.

2. Critic-Embed: Das „Trainingslager“ (Retriever Fine-Tuning)

Die „Noch mal versuchen“-Methode ist großartig, aber sie kostet jedes Mal, wenn man eine Frage stellt, zusätzliche Zeit und Rechenleistung. Um die Bibliothekarin dauerhaft besser zu machen, nutzen die Autoren diese „Noch mal versuchen“-Sitzungen, um ein Trainingslager zu erstellen.

Jedes Mal, wenn der Kritiker sagt: „Dieses Buch war schlecht, versuche es noch einmal“, speichert das System diesen Moment.
Es speichert das „schlechte Buch“ als ein Negativ-Beispiel (Nimm das nicht!).
Es speichert das „gute Buch“, das schließlich funktionierte, als ein Positiv-Beispiel (Nimm dieses!).

Die Autoren nehmen dann diese gespeicherten Beispiele und trainieren die Bibliothekarin, damit sie die richtigen Bücher schon beim ersten Mal auswählt, ohne dass ein Mensch jedes einzelne Buch bewerten muss. Die Bibliothekarin lernt aus ihren eigenen Fehlern und Erfolgen und wird so zu einer viel besseren Sucherin.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dieses System an sehr schwierigen Fragen, die das Verknüpfen von Informationen über viele verschiedene Dokumente hinweg erfordern (wie zum Beispiel: „Wer führte Regie bei dem Film, der den Preis für den Schauspieler gewann, der in diesem anderen Film mitspielte?“).

Der Detektiv + Der Kritiker (Zero): Selbst mit einer standardmäßigen, ungetrainierten Bibliothekarin machte das Hinzufügen der „Noch mal versuchen“-Schleife des Kritikers die Antworten viel genauer. Es korrigierte Fehler im laufenden Betrieb.
Die trainierte Bibliothekarin (Embed): Die Bibliothekarin, die unter Verwendung des Feedbacks des Kritikers trainiert wurde, wurde so gut, dass sie selbst ohne die „Noch mal versuchen“-Schleife andere fortschrittliche Systeme übertraf.
Das vollständige Team (Critic-R): Als sie die super-trainierte Bibliothekarin mit der „Noch mal versuchen“-Schleife des Kritikers kombinierten, erhielten sie die besten Ergebnisse von allen. Es war, als hätte man eine erstklassige Bibliothekarin, die dennoch ein Sicherheitsnetz hatte, um verbleibende Fehler abzufangen.

Das Fazit

Das Paper argumentiert, dass in der KI-Suche die Bibliothekarin (Retriever) oft das schwächste Glied ist, nicht der Detektiv (Reasoner). Durch das Hinzufügen eines Kritikers, der die Arbeit überprüft und Feedback gibt, kann man Fehler sofort beheben und die Bibliothekarin trainieren, um beim nächsten Mal besser zu sein.

Wichtige Einschränkungen, die erwähnt wurden:
Das Paper merkt an, dass dieses System darauf angewiesen ist, dass der Detektiv klug genug ist, um zu erkennen, wenn er falsche Informationen hat. Wenn der Detektiv zu simpel oder verwirrt ist, erhält der Kritiker keine guten Signale, mit denen er arbeiten kann. Zudem wurden die Tests an einer statischen Bibliothek (Wikipedia) durchgeführt; die Autoren haben dies noch nicht für eine chaotische Echtzeit-Internetsuche getestet.

Technisches Resümee: Critic-R

Problemstellung

Agentische Suchsysteme, die internes Denken mit iterativen Abrufaktionen verknüpfen, haben sich als Standard für die Lösung komplexer Multi-Hop-Anfragen etabliert. Eine kritische Engstelle besteht jedoch fort: Während agentische Modelle oft mittels Reinforcement Learning optimiert werden, werden die von ihnen genutzten Retrieval-Modelle häufig als unveränderliche Black-Box-Komponenten behandelt. Bestehende Ansätze, die versuchen, Retriever und Agenten gemeinsam zu optimieren, erfordern oft aufwendiges Co-Training, Goldstandard-Passagenannotationen oder die Möglichkeit, das Reasoning-Modell selbst neu zu trainieren. Diese Anforderungen schränken die praktische Anwendbarkeit ein, insbesondere wenn das Reasoning-Modell fixiert ist, der Retriever extern bereitgestellt wird oder qualitativ hochwertige Relevanz-Labels fehlen. Die Autoren argumenten, dass eine suboptimale Informationsbeschaffung nicht allein durch die Umformulierung von Suchanfragen kompensiert werden kann, was die Notwendigkeit eines Frameworks unterstreicht, das die Feedbackschleife zwischen Agent und Retriever explizit schließt, ohne auf manuelle Supervision angewiesen zu zu sein.

Methodik

Die Autoren schlagen Critic-R vor, ein Framework, das ein dediziertes Critic-Modell einführt, um den introspektiven Reasoning-Trace des Agenten nach dessen Konsum von abgerufenen Evidenzen zu bewerten. Das Framework operiert durch zwei komplementäre Mechanismen:

1. Critic-R-Zero (Verfeinerung zur Inferenzzeit)

Diese Komponente operiert vollständig zur Inferenzzeit, ohne Gradienten-Updates oder das Retraining der zugrunde liegenden Modelle zu erfordern.

Mechanismus: Wenn ein Agent eine Suche durchführt, werden die abgerufenen Dokumente spekulativ an den Reasoner übergeben, um einen introspektiven Reasoning-Trace zu generieren. Ein separates Critic-Modell ( $M_C$ ) analysiert diesen Trace, um zu bestimmen, ob der abgerufene Kontext den Informationsbedarf des Agenten ausreichend erfüllt.
Feedbackschleife: Wenn der Critic die Evidenz als unzureichend erachtet (negatives Feedback), nutzt er die explizite Unzufriedenheit des Agenten in dessen Reasoning-Trace, um die Suchanfrage und die Retrieval-Instruktion neu zu formulieren. Diese verfeinerte Anfrage löst einen neuen Retrieval-Versuch aus.
Terminierung: Diese Schleife wiederholt sich bis zu einem vordefinierten Budget ( $K$ ) oder bis der Critic bestätigt, dass die Evidenz zufriedenstellend ist. Die final ausgewählten Dokumente werden in den Reasoning-Verlauf übernommen.
Datenerfassung: Dieser Prozess generiert auf natürliche Weise „positive“ Dokumente (die den Agenten zufriedenstellen) und „Hard Negative“-Dokumente (die während erfolgloser Verfeinerungsversuche abgelehnt wurden), welche für Trainingszwecke gesammelt werden.

2. Critic-Embed (Retriever-Feinabstimmung)

Um die Rechenkosten der iterativen Verfeinerung zu amortisieren und die Qualität des Retrievals dauerhaft zu verbessern, nutzen die Autoren die durch Critic-R-Zero generierten Trajektorien als Quelle für automatische Supervision.

Trainingssignal: Als vom Critic als nützlich verifiziert Dokumente werden als positive Beispiele ( $D^+$ ) behandelt, während während der Verfeinerung abgelehnte Dokumente als Hard Intra-Trajectory Negatives ( $D^-$ ) gelten.
Kontrastives Lernen: Der Retriever wird unter Verwendung einer InfoNCE-Objective mit diesen automatisch konstruierten kontrastiven Paaren feinabgestimmt. Entscheidend ist, dass dieser Prozess keine manuellen Relevanz-Annotationen (Gold-Passagen) erfordert.
Einschränkung: Um die Label-Qualität sicherzustellen, werden nur jene Trajektorien für das Training beibehalten, bei denen die finale Vorhersage gemäß der Downstream-Task-Metrik korrekt ist.

3. Einheitliches System

Das vollständige Critic-R-System kombiniert beide Mechanismen: Der Critic-Embed-Retriever bietet ein domänenspezifisches, hochwertiges initiales Retrieval, während die Critic-R-Zero-Schleife als Sicherheitsnetz zur Inferenzzeit dient, um komplexe Edge-Case-Fehler abzufangen.

Zentrale Beiträge

Schließung der Feedbackschleife: Die Arbeit führt ein Framework ein, das die Feedbackschleife zwischen Reasoning-Agenten und Retrievern sowohl während der Inferenz als auch während des Trainings explizit schließt und damit die Annahme infrage stellt, dass Reasoning-Agenten Retrieval-Fehler allein kompensieren können.
Inferenzzeit-Skalierung für Retrieval: Critic-R-Zero demonstriert, dass die Zuweisung zusätzlicher Rechenkapazität zur Inferenzzeit für die iterative Verfeinerung von Queries und Instruktionen die Retrieval-Fehler signifikant mindern kann, ohne den Reasoning-Agenten oder den Retriever zu modifizieren.
Automatische Supervision für Retriever: Critic-Embed präsentiert eine neuartige Methode zur Feinabstimmung von Dense Retrievern mittels Intra-Trajectory-Kontrastivem Lernen aus Agent-Critic-Interaktionen, wodurch die Notwendigkeit teurer Gold-Passage-Annotationen entfällt.
Modulares Design: Das Framework ist orthogonal zum Trainingsziel des Reasoning-Agenten konzipiert, was es ermöglicht, es auf beliebige Agenten (z. B. Search-R1) und Retriever anzuwenden.

Experimentelle Ergebnisse

Das Framework wurde auf vier anspruchsvollen Multi-Hop-QA-Benchmarks evaluiert: HotpotQA, 2WikiMultihopQA, MuSiQue und Bamboogle.

Inferenzzeit-Verfeinerung (RQ1): Unter Verwendung eines fixierten Retrievers verbesserte Critic-R-Zero die Antwortgenauigkeit über verschiedene Agenten-Skalierungen hinweg (3B bis 14B) signifikant. Die Methode erzielte eine gesamte relative Verbesserung von 12,4 % bei den Exact Match (EM) und F1-Scores. Die Autoren merken an, dass eine Skalierung der Größe des Critic-Modells (14B auf 72B) nicht strikt eine bessere Leistung garantiert, wobei ein 32B Critic oft optimal für schwierigere Datensätze zu sein scheint.
Retriever-Feinabstimmung (RQ2): Der auf Critic-R-Zero-Trajektorien trainierte Critic-Embed-Retriever übertraf sowohl handelsübliche Dense Retriever (Stella-400M) als auch mit Search-Agenten end-to-end ko-trainierte Retriever (Agentic-R). Er erreichte eine bis zu 7,5 % höhere relative Gesamtleistung, was zeigt, dass die gesammelten Trajektorien transferierbare Supervision-Signale enthalten.
Kombiniertes System (RQ3): Die Integration des trainierten Critic-Embed-Retrievers mit der Critic-R-Zero-Inferenzschleife lieferte die stärksten Ergebnisse mit einer relativen Gesamtverbesserung von 10,9 %. Die Autoren beobachten, dass die beiden Komponenten komplementär statt redundant sind und unterschiedliche Arten von Retrieval-Fehlern adressieren.
Rolle des introspektiven Feedbacks (RQ4): Eine Ablationsstudie, bei der das introspektive Feedback des Agenten ( $T_{i+1}$ ) aus dem Input des Critics entfernt wurde, führte zu einem signifikanten Leistungsabfall des trainierten Retrievers. Dies bestätigt, dass der interne Reasoning-Trace des Agenten eine primäre Quelle des Supervision-Signals ist und nicht bloß ein marginaler Input.

Bedeutung und Behauptungen

Das Paper behauptet, dass die explizite Modellierung und Optimierung der Retrieval-Qualität innerhalb der agentischen Schleife ein mächtiger Weg zu robusterem agentischem Suchen ist. Die Bedeutung von Critic-R liegt in der Fähigkeit:

Die Retrieval-Qualität und die nachgelagerte Antwortgenauigkeit zu verbessern, ohne manuelle Relevanz-Annotationen zu benötigen.
Effektiv in Szenarien zu funktionieren, in denen das Reasoning-Modell nicht neu trainiert werden kann oder der Retriever eine fixierte externe Komponente ist.
Einen skalierbaren, modularen Ansatz zu bieten, bei dem sich die Verfeinerung zur Inferenzzeit und das Offline-Retriever-Training gegenseitig verstärken.

Die Autoren kommen zu dem Schluss, dass das Framework zwar erhebliches Potenzial zeigt, sein Erfolg jedoch von der Fähigkeit des Reasoning-Agenten abhängt, akkurates introspektives Feedback zu liefern, und dass seine Wirksamkeit in hochdynamischen Umgebungen (z. B. Echtzeit-Websuche) noch zu evaluieren bleibt.