💻 computer science

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

Dieses Paper stellt die Critic Experience Bank vor, ein trainingsfreies, selbstentwickelndes Framework, das die Konfidenzschätzung auf Schrittebene für LLM-Agenten durch die Nutzung von Hindsight-Feedback zur Befüllung eines Gedächtnisspeichers vergangener Erfahrungen verbessert und dadurch die Kalibrierungs- und Ranking-Leistung signifikant steigert, ohne dass Ground-Truth-Labels erforderlich sind.

Ursprüngliche Autoren: Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein hochriskantes Videospiel, in dem Ihr Charakter ein KI-Agent ist. In diesem Spiel verändert jede einzelne Bewegung, die Sie machen – das Klicken auf eine Schaltfläche, das Tippen eines Befehls oder das Tippen auf einen Bildschirm – die Welt um Sie herum. Wenn Sie einen falschen Schritt machen, könnten Sie in einem Sackgassen-Raum stecken bleiben, eine entscheidende Datei löschen oder Ihren Charakter auf eine wilde Verfolgungsjagd schicken, die Ihre gesamte Zeit verschwendet. Das Beängstigende daran? Sie werden erst wissen, dass Sie Mist gebaut haben, wenn Sie es bereits getan haben.

Lange Zeit versuchten KI-Experten, dies zu lösen, indem sie die KI fragten: „Wie sicher bist du dir, dass dieser Zug gut ist?“, kurz bevor sie handelt. Die Arbeit legt jedoch nahe, dass dieser Ansatz so ist, als würde man einen Reisenden fragen: „Bist du sicher, dass dieser Pfad zum Schatz führt?“, ohne ihn jemals eine Karte betrachten zu lassen, auf der zu sehen ist, wohin andere Reisende zuvor gegangen sind. Die KI könnte sich sicher fühlen, weil der Pfad gerade sehr ansprechend aussieht, aber sie hat keine Ahnung, ob dieser Pfad basierend auf vergangenen Erfahrungen zu einer Klippe führt.

Das Problem: Der „amnesische“ Kritiker

Die Autoren argumentieren, dass standardmäßige Konfidenzprüfungen für diese interaktiven Agenten fehlerhaft sind. Es handelt sich um „Response-Level“-Checks, was bedeutet, dass sie nur den Text bewerten, den die KI gleich ausgeben wird, und dabei die chaotische Realität ignorieren, die erst nach der Ausführung der Aktion eintritt.

Denken Sie an einen Koch, der die Suppe probiert, bevor er sie serviert, aber kein Gedächtnis dafür hat, ob er beim letzten Mal Salz hinzugefügt hat und der Kunde es liebte oder sie ausgespuckt hat. Die Arbeit zeigt, dass, wenn man diese standardmäßigen „Geschmackstests“ auf komplexe Aufgaben wie die Navigation auf Websites oder die Steuerung von Telefonen anwendet, das Vertrauen der KI völlig unzuverlässig ist. Sie ist oft falsch, wenn sie richtig sein sollte, und richtig, wenn sie falsch sein sollte.

Die Lösung: Die „Critic Experience Bank“ (CEB)

Um dies zu beheben, entwickelten die Forscher etwas, das sie die Critic Experience Bank (CEB) nennen.

Stellen Sie sich vor, die KI besitzt ein magisches, sich selbst aktualisierendes Tagebuch. So funktioniert es:

Die Aktion: Der KI-Agent versucht etwas zu tun (wie auf einen „Kaufen“-Button zu klicken).
Die Vermutung: Vor dem Klicken schaut eine „Critic“-KI (ein kluger Richter) auf die Situation und rät: „Ich bin mir zu 80 % sicher, dass dies ein guter Zug ist.“
Der Realitätscheck: Der Agent klickt tatsächlich. Die Welt verändert sich. Hat er den Artikel gekauft? Oder ist die Seite abgestürzt?
Die Einsicht im Nachhinein: Nachdem die gesamte Mission abgeschlossen ist, blickt eine „Hindsight-KI“ auf die gesamte Reise zurück. Sie sagt: „Hey, dieser ‚Kaufen‘-Klick hat tatsächlich funktioniert!“ oder „Nein, das war eine Falle.“
Das Gedächtnis: Dieses Ergebnis wird als kleine Notiz in die Experience Bank geschrieben: „In einer Situation wie dieser war die Aktion jene produktiv (oder nicht).“

Wenn die KI nun das nächste Mal vor einer ähnlichen Situation steht, rät die Critic-KI nicht einfach nur. Sie öfft das Tagebuch, findet die ähnlichsten Notizen aus der Vergangenheit und sagt: „Oh, ich sehe! Letztes Mal, als wir so etwas gemacht haben, hat es funktioniert. Aber das Mal davor war es ein Fehlschlag. Also bin ich mir diesmal nur zu 60 % sicher.“

Das Magische daran ist, dass das Gehirn der Critic-KI selbst niemals verändert wird (ihre „Weights“ bleiben eingefroren). Sie muss nicht neu trainiert werden. Sie wird einfach klüger, indem sie das eigene Tagebuch aus vergangenen Erfolgen und Misserfolgen liest.

Was die Arbeit ausschließt

Die Autoren sind sich sehr klar darüber, was hier nicht funktioniert. Sie argumentieren explizit gegen:

Die KI einfach nur dazu aufzufordern, „tiefer nachzudenken“ (Chain of Thought): Obwohl es hilft, die KI ihre Argumentation erklären zu lassen, reicht dies nicht aus, wenn die KI keinen Datensatz darüber hat, was nach ähnlichen Aktionen tatsächlich passiert ist.
Das Betrachten von „Token Uncertainty“: Dies ist eine technische Art zu sagen: „Wie wackelig ist die interne Mathematik der KI?“ Die Arbeit fand heraus, dass dies für diese Aufgaben ungeeignet ist. Es ist, als würde man das Geschick eines Fahrers anhand des Zitterns seiner Hände am Lenkrad beurteilen, anstatt zu ignorieren, ob er tatsächlich das Ziel getroffen hat.
Das Training neuer Modelle: Man muss keine neuen KIs über Wochen hinweg von Grund auf neu lehren. Diese Methode funktioniert mit der KI, die man bereits hat, indem man ihr lediglich einen Speicherbank zur Verfügung stellt.

Die Ergebnisse: Wie sicher sind wir uns?

Die Forscher testeten dies in drei völlig unterschiedlichen „Spielen“: der Navigation auf Websites (Mind2Web), der Steuerung von Mobiltelefonen (AMEX) und dem Tippen von Befehlen in einem Computerterminal (InterCode-Bash). Sie nutzten drei verschiedene KI-Gehirne, um die Agenten anzutreiben.

Die Ergebnisse legen nahe, dass CEB eine massive Verbesserung darstellt.

Kalibrierung: In der Welt der KI bedeutet „Kalibrierung“, ob die Konfidenzzahl mit der Realität übereinstimmt. Wenn die KI sagt „90 % sicher“, sollte sie in 90 % der Fälle richtig liegen. Die Arbeit maß dies mit einem Score namens ECE (Expected Calibration Error). Je niedriger, desto besser.
Die Zahlen: CEB reduzierte den Fehler im Vergleich zur besten existierenden Methode, die kein Training erforderte, um bis zu 54 %. Beispielsweise sank bei der Verwendung eines spezifischen KI-Modells (GPT-5.4) auf dem Mind2Web-Datensatz der Fehler von 0,319 auf 0,176.
Ranking: Es wurde auch besser darin, gute von schlechten Zügen zu unterscheiden (gemessen durch AUC, wobei höher besser ist), und erreichte Werte wie 0,704 auf Mind2Web, womit es alle anderen Methoden schlug.

Die Forscher simulierten auch ein Szenario, in dem ein Mensch (oder ein perfekter „Oracle“) nur die Entscheidungen der KI mit der geringsten Konfidenz überprüft. Als die KI CEB verwendete, stieg die Erfolgsrate der gesamten Aufgabe signifikant an. Zum Beispiel, auf Mind2Web, wenn die KI es erlaubte, ihre 3 schlechtesten Vermutungen zur Überprüfung abzugeben, stieg die Erfolgsrate von einem Basiswert von 2,1 % auf 23,7 %, was dem perfekten „Oracle“-Wert von 34,9 % viel näher kommt.

Der „Selbstentwicklungs“-Aspekt

Einer der faszinierendsten Teile ist, dass die Bank leer beginnt. Während die KI mehr Aufgaben erledigt, füllt sich die Bank und die KI wird immer besser darin, ihre eigenen Züge zu beurteilen. Die Arbeit legt nahe, dass die KI immer zuverlässiger in ihrer Einschätzung wird, je mehr Erfahrung sie sammelt. Es ist ein System, das aus seiner eigenen Geschichte lernt, ohne jemals zu brauchen, dass ein Mensch seine Hausaufgaben korrigiert.

Kurz gesagt: Die Arbeit legt nahe, dass, wenn man möchte, dass ein KI-Agent in der realen Welt sicher und zuverlässig ist, man ihn nicht nur fragen sollte, wie sicher er sich ist. Man sollte ihm ein Tagebuch seiner vergangenen Fehler und Siege geben, damit er lernen kann, seinem Bauchgefühl nur dann zu vertrauen, wenn er Beweise dafür hat.

Technisches Resümee: Critic Experience Bank (CEB)

Problemformulierung

Large Language Model (LLM) Agenten operieren zunehmend in externen Umgebungen (Web, Mobile GUIs, Shells), in denen Aktionen den Zustand verändern, von dem alle nachfolgenden Entscheidungen abhängen. In diesen Settings kann ein einziger fehlerhafter Schritt das Interaktionsbudget verschwenden oder irreversible Nebenwirkungen auslösen, lange bevor ein endgültiger Aufgabenfehler beobachtet wird. Folglich ist der Erfolg der Endaufgabe ein unzureichendes Zuverlässigkeitssignal für den Einsatz.

Die zentrale Herausforderung, die hier adressiert wird, ist die Schritt-Ebene-Konfidenzschätzung (step-level confidence estimation): die Notwendigkeit, eine kalibrierte Wahrscheinlichkeit zu erzeugen, dass eine vorgeschlagene Aktion produktiv sein wird, bevor sie ausgeführt wird. Bestehende Methoden zur Konfidenzschätzung (z. B. Token-Logits, verbalisierte Konfidenz, Konsistenzprüfungen) sind primär für das Scoring auf Antwortebene konzipiert. Sie bewerten einen einzelnen vorgeschlagenen Schritt basierend auf dem unmittelbaren Kontext, versäumen es jedoch, die Konsequenzen der Ausführung zu berücksichtigen – insbesondere, ob ähnliche Aktionen in ähnlichen Situationen nach der Reaktion der Umgebung tatsächlich zum Ziel geführt haben. Diese strukturelle Lücke führt zu einer instabilen Kalibrierung während der Interaktion, da Standard-Signale nicht sauber von der statischen Antwortgenerierung auf die dynamische Agenten-Ausführung übertragen werden können.

Methodik: Critic Experience Bank (CEB)

Die Autoren schlagen die Critic Experience Bank (CEB) vor, ein trainingsfreies, selbstentwickelndes Critic-Framework, das während der Inferenzphase ohne Ground-Truth-Schrittlabels oder trainierbare Verifizierer operiert.

Kernmechanismus

CEB erweitert einen fixierten LLM-Critic um eine Memory-Bank mit retrospektiv gelabelten Ausführungserfahrungen. Das Framework basiert auf der Prämisse, dass Agenten oft wiederkehrende Entscheidungen in verwandten Kontexten treffen. Anstatt jede Wiederholung allein anhand der aktuellen Abfrage zu beurteilen, ruft der Critic Präzedenzfälle aus seinen eigenen vergangenen Beurteilungen und deren beobachteten Konsequenzen ab.

Die Pipeline besteht aus zwei Phasen:

Online Scoring: In jedem Schritt $t$ schlägt der Agent eine Aktion $a_t$ basierend auf der Aufgabe $q$ , dem aktuellen Zustand $s_t$ und der Historie $h_{<t}$ vor. Vor der Ausführung schätzt der eingefrorene LLM-Critic den Konfidenzwert $\hat{z}_t$ . Hierzu wird der Critic mit dem aktuellen Kontext und kontrastiven Beispielen gepromptet, die aus der Experience Bank abgerufen wurden. Diese Beispiele werden mittels eines zusammengesetzten Schlüssels (Aufgabe, Zustand, Aktion) abgerufen und enthalten sowohl produktive ( $B^+$ ) als auch unproduktive ( $B^-$ ) Aufzeichnungen der Vergangenheit. Der Prompt enthält zudem ein Repetitions-Flag, um kurze Schleifen zu erkennen.
Hindsight Update: Nach Abschluss einer Trajektorie $\tau$ beobachtet ein „Hindsight LLM“ ( $g_\phi$ ) die vollständige Sequenz von Zuständen, Aktionen und Beobachtungen. Es stimmt (via Mehrheitsentscheidung über $V$ Samples) darüber ab, ob jeder Schritt produktiv war, und generiert so Pseudo-Labels $\hat{y}_t$ . Diese Datensätze, die die Zusammenfassung des Zustands, die Aktion, die Beobachtung, das Pseudo-Label und den ursprünglichen Pre-Execution-Score des Critics enthalten, werden der Bank hinzugefügt.

Wichtige Designmerkmale

Selbstentwickelnd (Self-Evolving): Die Gewichte des Critics bleiben eingefroren; sein Verhalten entwickelt sich ausschließlich durch den expandierenden Kontext der abgerufenen Erfahrungen.
Kontrastive Extraktion (Contrastive Retrieval): Die Bank ist in produktive und unproduktive Mengen unterteilt. Dem Critic werden explizit Beispiele ähnlicher Aktionen gezeigt, die erfolgreich waren, sowie ähnlicher Aktionen, die fehlschlugen, was es ihm ermöglicht, basierend auf Konsequenzen zu kalibrieren.
Kein Training erforderlich: Die Methode erfordert weder ein Fine-Tuning des Actors noch des Critics noch den Zugriff auf Ground-Truth-Schrittlabels während des Einsatzes.

Wichtige Beiträge

Problemformulierung: Die Arbeit definiert die Schritt-Ebene-Konfidenzschätzung für LLM-Agenten formal als die Aufgabe, die Produktivität einer Aktion vor der Ausführung zu schätzen, und unterscheidet dies von der standardmäßigen Antwort-Konfidenz.
CEB-Framework: Einführung eines trainingsfreien Critic-Frameworks, das retrospektiv gelabelte Ausführungserfahrungen aus vorangegangenen Trajektorien nutzt, um einen fixierten LLM-Critic zu erweitern.
Empirische Überlegenheit: Nachweis, dass CEB eine State-of-the-Art-Kalibrierung (Expected Calibration Error - ECE, Brier Score) und ein Ranking (AUC) über drei diverse Agenten-Benchmarks (Mind2Web, AMEX, InterCode-Bash) und drei Critic-Backbones (GPT-4.1, GPT-5.4, Qwen3-Next) hinweg erreicht.

Experimentelle Ergebnisse

Die Evaluierung deckt Web-Navigation, Mobile GUI Control und Shell-Interaktion ab.

Kalibrierungsleistung: CEB übertraf konsistent alle trainingsfreien Baselines (einschließlich Perplexity, Mean Entropy, Verbalized Confidence, P(True) und CoT).
- Auf dem InterCode-Bash-Datensatz mit GPT-4.1 reduzierte CEB den ECE im Vergleich zur stärksten Baseline um 54%.
- Auf Mind2Web mit GPT-5.4 erreichte CEB einen ECE von 0,176, was signifikant niedriger ist als die nächstbeste Baseline (0,396 für P(True)).
- CEB behielt die beste Leistung über alle Datensatz–Critic-Kombinationen hinweg in Bezug auf ECE, Brier Score und AUC bei.
Robustheit gegenüber Label-Definitionen: Der Vorteil von CEB blieb auch bestehen, wenn permissive „LLM-as-judge“-Labels verwendet wurden, die alternative valide Pfade anerkennen, was zeigt, dass die Methode kein Artefakt strikter Referenzabgleiche ist.
Komponenten-Ablation: Das Entfernen der Experience Bank führte zur größten Leistungsverschlechterung, was bestätigt, dass vergangene Ausführungsergebnisse entscheidend für die Rekalibrierung sind. Die kontrastive Natur der Bank (das Sehen sowohl von Erfolgen als auch von Misserfolgen) wurde als die wichtigste Komponente identifiziert.
Selbstentwickelndes Verhalten: Während des Fortschreitens des Aufgabenstroms und während die Bank mit retrospektiv gelabelten Daten gefüllt wurde, sank der Kalibrierungsfehler von CEB signifikant im Vergleich zu einem statischen Critic, was zeigt, dass sich das System ohne Gewicht-Updates verbessert.
Downstream-Nutzen: In Aufgaben mit selektiver Ausführung (Aufschub von Schritten mit geringer Konfidenz zur menschlichen Überprüfung) identifizierte CEB falsche Schritte effektiver als die Baselines, was bei Anwendung eines festen Review-Budgets zu höheren finalen Aufgabenerfolgsraten führte.

Bedeutung und Behauptungen

Das Paper behauptet, dass CEB eine kritische Lücke beim Einsatz von LLM-Agenten schließt: die Notwendigkeit einer zuverlässigen Konfidenz auf Schritt-Ebene, bevor eine Aktion die Umgebung verändert. Durch die Nutzung der eigenen Interaktionshistorie des Agenten als Kalibrierungsevidenz ermöglicht CEB einem fixierten Critic, sein Scoring-Verhalten dynamisch anzupassen.

Die Autoren betonen, dass dieser Ansatz besonders wertvoll ist in Einsatzszenarien, in denen:

Der Actor und der Critic feste API-Modelle sind.
Keine Ground-Truth-Schrittlabels verfügbar sind.
Das Trainieren neuer Verifizierer nicht praktikabel ist.

Die Ergebnisse legen nahe, dass abgerufene Ausführungserfahrung ein Signal liefert, das den aktuellen Response-basierten Konfidenzmethoden überlegen ist, und bietet einen praktischen Weg zu sichereren und zuverlässigeren autonomen Agenten in komplexen, zustandsverändernden Umgebungen. Das Paper schließt, dass der Hauptvorteil von CEB temporal (Akkumulation von Evidenz über die Zeit) und nicht supervisiv (Verlass auf bessere Labels) ist, wodurch der Agent seine eigenen vergangenen Fehler und Erfolge effektiv als Prior für zukünftige Entscheidungen nutzt.