🤖 AI

Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents

Dieser Beitrag stellt „Reinforced Agent" vor, ein Inferenzzeit-Framework, das einen spezialisierten Prüfer einsetzt, um Tool-Aufrufe vor der Ausführung zu bewerten, wodurch eine Echtzeit-Fehlerkorrektur ermöglicht wird und durch neue Hilfslichkeit-Schädlichkeits-Metriken gezeigt wird, dass die Trennung von Ausführung und Prüfung systematische Leistungssteigerungen durch Modellauswahl und Prompt-Optimierung ohne Nachtraining des Basis-Agenten erlaubt.

Ursprüngliche Autoren: Anh Ta, Junjie Zhu, Shahin Shayandeh

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anh Ta, Junjie Zhu, Shahin Shayandeh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, schnellen Roboterassistenten (den Tool-Calling Agent), dessen Aufgabe es ist, Aufgaben für Sie zu erledigen, wie etwa das Prüfen des Wetters, das Buchen eines Flugs oder das Stellen eines Weckers. Dieser Roboter ist großartig, macht aber manchmal Fehler: Er könnte das falsche Werkzeug auswählen, falsche Einheiten verwenden (etwa Celsius statt Fahrenheit) oder versuchen, etwas zu tun, das gar kein Werkzeug erfordert.

Normalerweise erfahren wir, dass der Roboter einen Fehler gemacht hat, nachträglich. Wir sehen den Fehler, korrigieren die Anweisungen des Roboters und hoffen, dass es beim nächsten Mal nicht wieder passiert. Das ist wie ein Lehrer, der einen Test nachdem der Schüler den Klassenraum bereits verlassen hat, korrigiert. Der Schaden ist bereits angerichtet, und der Schüler kann seine Antwort nicht sofort ändern.

Diese Arbeit stellt eine neue Arbeitsweise vor: The Reinforced Agent.

Die Kernidee: Der „Redakteur" im Raum

Anstatt bis zum Ende zu warten, setzen die Forscher einen zweiten, spezialisierten Roboter (den Reviewer Agent) bevor der erste Roboter etwas tut, in den Raum.

Stellen Sie sich das wie einen Filmredakteur vor, der neben einem Regisseur sitzt.

Der Regisseur (Tool Agent) sagt: „Ich werde diese Szene schneiden!"
Der Redakteur (Reviewer Agent) hält ihn auf und sagt: „Warten Sie! Sie schneiden die falsche Szene. Außerdem verwenden Sie den falschen Kamerawinkel. Lassen Sie uns das korrigieren, bevor wir auf 'Aufnahme' drücken."
Der Regisseur korrigiert den Plan.
Dann findet die Aktion statt.

Dies geschieht in Echtzeit, unmittelbar bevor das Werkzeug tatsächlich verwendet wird. Wenn der Plan gut ist, sagt der Redakteur „Los!" und das Werkzeug wird ausgeführt. Wenn der Plan schlecht ist, gibt der Redakteur Feedback, und der Regisseur versucht es sofort erneut.

Der große Kompromiss: Hilfreich vs. Schädlich

Die Forscher erkannten, dass das Vorhandensein eines Redakteurs nicht immer perfekt ist. Manchmal ist der Redakteur zu wählerisch und sagt dem Regisseur, er solle einen guten Plan ändern, was ihn verschlechtert. Oder der Redakteur übersieht einen Fehler.

Um dies zu messen, erfanden sie zwei einfache Scores:

Hilfreichkeit: Wie oft hat der Redakteur einen echten Fehler erkannt und behoben?
Schädlichkeit: Wie oft hat der Redakteur einen Plan verworfen, der eigentlich bereits korrekt war?

Sie stellten fest, dass die Art des „Gehirns", das für den Redakteur verwendet wird, sehr wichtig ist. Sie testeten ein Standard-Smart-Modell (GPT-4o) und ein „Reasoning"-Modell (o3-mini), das sorgfältiger nachdenkt.

Das Reasoning-Modell war wie ein sehr sorgfältiger, logischer Redakteur. Es erkannte viele Fehler, ohne gute Pläne zu ruinieren. Für jede 3 korrigierten Fehler verursachte es nur 1 neuen Fehler (ein Verhältnis von 3:1).
Das Standard-Modell war etwas eiliger. Es korrigierte weniger Fehler und beschädigte versehentlich mehr gute Pläne (ein Verhältnis von 2:1).

Die Ergebnisse: Bessere Genauigkeit, aber langsamere Geschwindigkeit

Als sie dieses System an zwei verschiedenen Aufgabentypen testeten:

Ein-Turn-Aufgaben (wie einmaliges Fragen: „Wie ist das Wetter?"): Das System wurde signifikant besser darin zu erkennen, wenn kein Werkzeug benötigt wurde (Verbesserung um 5,5 %).
Multi-Turn-Aufgaben (wie ein langes Gespräch über die Buchung einer Reise mit vielen Schritten): Das System verbesserte sich um 7,1 %.

Der Haken (Latenz):
Da das System pausieren, den Redakteur um eine Meinung bitten und dann auf eine Antwort warten muss, dauert es länger.

Bei einer einfachen, einmaligen Aufgabe wurde der Prozess 6-mal langsamer.
Bei einem langen, komplexen Gespräch war die Verlangsamung weniger spürbar (etwa 2,4-mal langsamer), da die Zeit des „Redakteurs" über viele Schritte des Gesprächs verteilt wird.

Das Geheimrezept: Auto-Optimierung

Die Forscher stellten auch fest, dass das manuelle Schreiben der Anweisungen des Redakteurs (des „Prompts") schwierig ist. Sie verwendeten ein System namens GEPA, um die Anweisungen des Redakteurs automatisch neu zu schreiben. Das System analysierte Fälle, in denen der Redakteur versagt hatte, ermittelte den Grund und schrieb eine bessere Regel. Dies verbesserte die Leistung des Redakteurs automatisch um weitere 1,5 % bis 2,8 %, ohne dass der Hauptroboter neu trainiert werden musste.

Zusammenfassung

Die Arbeit zeigt, dass wir durch das Hinzufügen eines „zweiten Paares Augen", das die Arbeit vor ihrer Erledigung prüft, KI-Agenten deutlich genauer machen können.

Vorteile: Weniger Fehler, keine Notwendigkeit, die Haupt-KI neu zu trainieren, und der „Redakteur" kann unabhängig aktualisiert werden.
Nachteile: Es dauert länger, ein Ergebnis zu erhalten.
Beste Anwendung: Es ist perfekt für komplexe, wichtige Aufgaben, bei denen Genauigkeit wichtiger ist als Geschwindigkeit (wie das Buchen eines Flugs oder die Verwaltung einer Datenbank), aber es könnte für einfache, sofortige Fragen zu langsam sein.

Die Arbeit behauptet nicht, dass dies für medizinische Diagnosen oder klinische Anwendungen funktioniert; sie konzentriert sich streng auf die Verbesserung der Interaktion von KI-Agenten mit Software-Tools und APIs.

1. Problemstellung

Tool-aufrufende Large Language Models (LLMs) stehen vor systematischen Herausforderungen bei der Auswahl der richtigen Tools, dem Erstellen genauer Parameter und der Erkennung, wann kein Tool relevant ist. Aktuelle Evaluierungsmethoden sind weitgehend post-hoc (nach der Ausführung), was bedeutet, dass Fehler zu spät identifiziert werden, um sie in Echtzeit korrigieren zu können.

Bestehende Lösungen fallen in zwei Kategorien, die beide erhebliche Einschränkungen aufweisen:

Trainingsbasierte Ansätze (z. B. GRPO): Erfordern massive Rechenressourcen und langsame Bereitstellungszyklen.
Selbstkorrektur zur Inferenzzeit (z. B. Self-Refine, Reflexion): Obwohl sie trainingsfrei sind, haben sie Schwierigkeiten mit der Zustandswiederherstellung. Wenn ein Agent eine zerstörende Aktion ausführt (z. B. das Löschen eines Weckers), kann er den Zustand nicht einfach wiederherstellen, ohne ein unpraktisch großes Kontextfenster zu benötigen, um alternative Verläufe aufrechtzuerhalten.

Das Kernproblem ist das Fehlen eines Mechanismus, um Tool-Aufrufe proaktiv vor der Ausführung zu bewerten und zu korrigieren, ohne dass ein Nachtraining oder ein komplexes Zustandsmanagement erforderlich ist.

2. Methodik: Architektur des Reinforced Agent

Die Autoren schlagen eine Du-Agenten-Architektur vor, die Ausführung von Überprüfung trennt. Dieses System führt einen spezialisierten Reviewer-Agenten ein, der innerhalb der Inferenzschleife operiert.

Kernarbeitsablauf

Vorläufiger Aufruf: Der primäre Tool-aufrufende Agent generiert einen Tool-Aufruf.
Überprüfungsschleife: Bevor der Aufruf ausgeführt wird, bewertet ihn der Reviewer-Agent.
- Werden Fehler erkannt, liefert der Reviewer Feedback (z. B. „Verwenden Sie Fahrenheit für US-Städte").
- Der Tool-aufrufende Agent passt den Aufruf basierend auf diesem Feedback an.
- Diese Schleife wiederholt sich bis zu $N$ -mal oder bis der Aufruf genehmigt wird.
Ausführung: Nur genehmigte Tool-Aufrufe werden an die Ausführungsumgebung gesendet.

Bewertete Feedback-Mechanismen

Das Paper vergleicht drei Kollaborationsstrategien:

Progressives Feedback ( $r_N$ ): Iterative Verfeinerung, bei der der Reviewer Feedback über Systemnachrichten gibt und der Agent den Aufruf überarbeitet.
Best-of-N-Auswahl ( $s_N$ ): Der Agent generiert $N$ Kandidaten; ein Selektor wählt den besten aus.
Best-of-N-Bewertung ( $g_N$ ): Der Agent generiert $N$ Kandidaten; ein Bewerter weist numerische Scores und Begründungen zu, um den besten auszuwählen.

Automatisierte Prompt-Optimierung (APO)

Um den arbeitsintensiven Charakter des manuellen Prompt-Engineerings zu adressieren, nutzen die Autoren GEPA (Genetic-Pareto prompt evolution). Dieses System verfeinert automatisch den Prompt des Reviewers, indem es Fälle beobachtet, in denen der Reviewer falsche Urteile gefällt hat, und iteriert, um robustere Anweisungen zu erzeugen, ohne den Prompt des Basis-Agenten zu ändern.

3. Hauptbeiträge und Metriken

Das Paper stellt ein neuartiges Framework zur Messung der Trade-offs beim Hinzufügen eines Reviewer-Agenten vor.

Nützlichkeit-Schädlichkeit-Metriken

Um zu quantifizieren, ob ein Reviewer einen Netto-Nutzen bietet, definieren die Autoren:

Nützlichkeit (Helpfulness): Der Prozentsatz der Fehler des Basis-Agenten, die der Reviewer erfolgreich korrigiert.
Schädlichkeit (Harmfulness): Der Prozentsatz der korrekten Antworten des Basis-Agenten, die der Reviewer fälschlicherweise markiert und verschlechtert.
Nutzen-Risiko-Verhältnis: Das Verhältnis von Nützlichkeit zu Schädlichkeit.

Diese Metrik zeigt, dass ein Reviewer nur dann wertvoll ist, wenn er deutlich mehr Fehler korrigiert, als er verursacht.

Modellauswahl

Die Studie vergleicht Standard-Sprachmodelle (GPT-4o) mit Reasoning-Modellen (o3-mini, GPT-5 mini). Die Hypothese lautet, dass Reasoning-Modelle aufgrund ihrer systematischen Verifikationsfähigkeiten eine höhere Nützlichkeit und eine geringere Schädlichkeit aufweisen werden.

4. Experimentelle Ergebnisse

Der Ansatz wurde an zwei Benchmarks evaluiert: BFCL (einmalig, zustandslos) und $\tau^2$ -Bench (mehrfach, zustandsbehaftet mit Domänenrichtlinien).

Leistungssteigerungen

BFCL (Einzelner Durchlauf):
- Erzielte eine Verbesserung von +5,5 % bei der Irrelevanz-Erkennung (84,9 % $\to$ 90,4 %).
- Erzielte eine Verbesserung von +1,6 % im Relevance-Suite.
- Reasoning-Modelle: Der o3-mini-Reviewer erreichte ein Nutzen-Risiko-Verhältnis von 3,1:1 (36,8 % Nützlichkeit vs. 11,7 % Schädlichkeit) und übertraf damit GPT-4o (2,1:1).
$\tau^2$ -Bench (Mehrere Durchläufe):
- Erzielte eine durchschnittliche Verbesserung von +7,1 % über alle Domänen hinweg (Airline, Retail, Telecom) (48,7 % $\to$ 55,8 %).
- Progressives Feedback schnitt in zustandsbehafteten Szenarien deutlich besser ab als Best-of-N-Auswahlstrategien.
- Das System reduzierte Verstöße gegen Richtlinienbeschränkungen (z. B. Prüfung der Sitzverfügbarkeit vor der Buchung) effektiv um 13 %.

Auswirkungen der Optimierung

GEPA-Optimierung: Die automatisierte Prompt-Optimierung brachte auf BFCL eine zusätzliche Steigerung von +1,5 % bis +2,8 %, insbesondere in komplexen parallelen Tool-Aufruf-Szenarien, bei denen manuelle Prompts subtile Nichtübereinstimmungen nicht erkannten.

Latenzanalyse

Einzelner Durchlauf: Die Latenz erhöhte sich um den Faktor 6,2 (1,27 s $\to$ 7,87 s), da der Overhead des Reviewers einen einzelnen Inferenzaufruf dominiert.
Mehrere Durchläufe: Die Latenz erhöhte sich um den Faktor 2,4 (158,7 s $\to$ 384,3 s). Der Overhead wird über ca. 40 Durchläufe pro Episode amortisiert, was ihn für komplexe Workflows praktikabler macht.

5. Bedeutung und Fazit

Diese Arbeit zeigt, dass die Trennung von Ausführung und Überprüfung eine hochwirksame Strategie zur Verbesserung von Tool-aufrufenden Agenten ohne Nachtraining ist.

Proaktive Fehlerminderung: Durch die Überprüfung von Aufrufen vor der Ausführung verhindert das System zerstörende Zustandsänderungen und löst das bei der Selbstkorrektur inhärente Problem der Zustandswiederherstellung.
Modulare Verbesserung: Organisationen können die Zuverlässigkeit von Agenten verbessern, indem sie bessere Reviewer-Modelle einsetzen oder Reviewer-Prompts optimieren (via GEPA), ohne das Training oder die Architektur des Basis-Agenten zu berühren.
Reasoning-Modelle als Reviewer: Die Studie liefert empirische Belege dafür, dass Reasoning-Modelle (wie o3-mini) überlegene Reviewer sind, da sie in der Lage sind, Beschränkungen systematisch zu verifizieren, was zu einem hohen Nutzen-Risiko-Verhältnis führt.
Bereitstellungsfähigkeit: Obwohl die Latenz steigt, ist der Trade-off für genauigkeitskritische, mehrstufige Workflows akzeptabel. Zukünftige Arbeiten schlagen vor, den Reviewer in kleinere, schnellere Modelle zu destillieren, um eine Echtzeit-Bereitstellung zu ermöglichen.

Zusammenfassend verschiebt „Reinforced Agent" das Paradigma von der post-hoc-Wiederherstellung hin zur proaktiven Bewertung und bietet einen praktischen, trainingsfreien Weg zu zuverlässigeren autonomen Agenten.