🤖 AI

AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems

Dieser Beitrag stellt AgentForesight vor, ein Framework mit einem kompakten Online-Auditor, der auf dem neu kuratierten AFTraj-2K-Datensatz trainiert wurde, um entscheidende Fehler in auf LLM basierenden Multi-Agenten-Systemen in Echtzeit vorherzusagen und zu lokalisieren, wodurch eine Intervention zum Zeitpunkt des Einsatzes ermöglicht wird, anstatt sich auf eine nachträgliche Fehlerzuordnung zu verlassen.

Ursprüngliche Autoren: Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein Team von Robotern, die gemeinsam ein komplexes Möbelstück zusammenbauen. Sie haben einen Plan: Ein Roboter schneidet das Holz, ein anderer schleift es, und ein dritter lackiert es.

In der Vergangenheit, wenn der fertige Tisch wackelig war oder die falsche Farbe hatte, warteten Experten bis zum allerletzten Moment, betrachteten das fertige Chaos und sagten: „Ah, das Problem begann, als der Schleifroboter die falsche Körnung verwendete." Dies nennt man Post-Hoc-Fehlerzuordnung. Es ist wie ein Detektiv, der einen Verbrechen aufklärt, nachdem das Haus bereits abgebrannt ist. Sie wissen, wer es getan hat, aber Sie können das Feuer nicht mehr stoppen.

AgentForesight verändert das Spiel. Anstatt auf die Katastrophe zu warten, stellen Sie sich einen überwachenden Sicherheitsinspektor vor, der direkt neben den Robotern steht und jede einzelne ihrer Bewegungen in Echtzeit beobachtet.

Die Kernidee: Der „Weiter oder Stoppen"-Inspektor

Dieser Inspektor (der Prüfer) kennt die Zukunft nicht. Er sieht nur, was bislang geschehen ist. Bei jedem einzelnen Schritt muss der Inspektor eine Sekundenentscheidung treffen:

WEITER: „Bislang sieht alles sicher aus. Lassen Sie die Roboter weiterarbeiten."
ALARM: „Stoppen! Ich sehe gerade einen kritischen Fehler. Wenn wir sie weitermachen lassen, wird das gesamte Projekt scheitern."

Das Ziel ist es, den entscheidenden Fehler zu fangen – den einen spezifischen Moment, an dem der Zug entgleist –, bevor die anderen Roboter diesem schlechten Impuls blind folgen und das gesamte Projekt ruinieren.

Das Problem: Warum war dies bisher so schwierig?

Bislang hatten wir keine guten Daten, um diese Inspektoren zu trainieren.

Das „Sichere"-Problem: Die meisten vorhandenen Daten zeigten uns nur gescheiterte Projekte. Wir hatten nicht genügend Beispiele für perfekte Projekte, bei denen wir Schritt für Schritt wussten, dass nichts schiefging. Ein Inspektor, der nur auf Misserfolge trainiert wurde, könnte in Panik geraten und jedes Projekt stoppen, indem er jeden kleinen Stolperstein für eine Katastrophe hält.
Das „Timing"-Problem: Bestehende Modelle waren hervorragend darin, auf einen fertigen Misserfolg zu blicken und zu sagen: „Es war Schritt 4." Aber sie waren schrecklich darin, auf Schritt 4 zu blicken, während er gerade stattfand, und zu sagen: „Genau hier stoppen!"

Die Lösung: AgentForesight

Die Forscher entwickelten ein neues System mit drei Hauptteilen:

1. Das Trainingsmanual (AFTRAJ-2K)

Sie erstellten eine riesige Bibliothek mit Robotertätigkeitsprotokollen namens AFTRAJ-2K.

Die sicheren Protokolle: Sie filterten Tausende erfolgreicher Roboteraufgaben sorgfältig heraus, um sicherzustellen, dass sie vom Anfang bis zum Ende wirklich perfekt waren. Dies lehrt den Inspektor, wie „sicher" aussieht.
Die defekten Protokolle: Sie nahmen sichere Aufgaben und brachen sie absichtlich an bestimmten Schritten (z. B. indem sie einem Roboter sagten, er solle das falsche Werkzeug verwenden), nutzten dann ein Gremium aus KI-Richtern, um genau festzulegen, welcher Schritt das Scheitern verursachte. Dies lehrt den Inspektor genau, wann er den Alarm auslösen muss.

2. Die Trainingsmethode (Von grob zu fein)

Sie warfen den Inspektor nicht einfach ins kalte Wasser. Sie trainierten ihn in zwei Phasen, wie einen Kampfsport-Schüler:

Phase 1: Das „Bauchgefühl" (Risikovorhersage): Zuerst lehrten sie den Inspektor, den Unterschied zwischen einem „sicheren" und einem „gefährlichen" Moment zu spüren. Sie zeigten ihm Paare von Schritten: „Das sieht sicher aus" versus „Das sieht gefährlich aus." Der Inspektor lernte, die Grenze zu erkennen, an der die Dinge schiefgehen.
Phase 2: Das „Scharfschützen-Ziel" (Präzision): Sobald der Inspektor ein gutes „Bauchgefühl" hatte, schärften sie seine Fähigkeiten. Sie lehrten ihn, den exakten Schritt und den exakten verantwortlichen Roboter zu identifizieren. Sie verwendeten ein Belohnungssystem, das den Inspektor dafür lobte, drei Dinge richtig zu machen:
- Was: Gaben sie das richtige Antwortformat?
- Wo: Fingen sie den Fehler am exakt richtigen Schritt?
- Wer: Beschuldigten sie den richtigen Roboter?

3. Das Ergebnis (AgentForesight-7B)

Das Ergebnis ist ein kompakter, schneller KI-Prüfer (namens AgentForesight-7B), der parallel zu anderen KI-Systemen läuft.

Es ist schneller und intelligenter: In Tests erkannte es Fehler viel besser als riesige, teure KI-Modelle (wie GPT-4.1 oder DeepSeek-V4-Pro).
Es ist präzise: Es sagte nicht nur „etwas ist falsch", sondern: „Stoppen! Der Manager-Roboter hat bei Schritt 3 einen Fehler gemacht."
Es ist praktisch: Es ist klein genug, um auf Standard-Hardware zu laufen, was bedeutet, dass es in realen Anwendungen tatsächlich eingesetzt werden kann, ohne alles zu verlangsamen.

Warum dies wichtig ist

Stellen Sie sich dies wie einen Rechtschreibprüfer für KI-Teams vor.

Alter Weg: Sie schreiben einen ganzen Aufsatz, reichen ihn ein, und dann sagt der Rechtschreibprüfer: „Sie haben auf Seite 1 einen Rechtschreibfehler gemacht." Der Aufsatz ist bereits verschickt.
AgentForesight-Weg: Während Sie tippen, hebt der Rechtschreibprüfer den Fehler genau in dem Moment hervor, in dem Sie ihn machen, noch bevor Sie den Satz beendet haben. Es verhindert, dass Sie ein defektes Produkt versenden.

Die Studie behauptet, dass dieses System es uns ermöglicht, während die KI arbeitet, einzugreifen und zu verhindern, dass kleine Fehler in große, irreversible Misserfolge bei Aufgaben wie Programmieren, Mathematik und Webnavigation verwandeln. Es verwandelt die Fehleranalyse von einer „Obduktion" (Leichenöffnung) in eine „Live-Operation" (Rettung des Patienten).

Technische Zusammenfassung: AgentForesight

1. Problemformulierung

Die Arbeit adressiert einen kritischen Zuverlässigkeitsengpass in auf Large Language Models (LLM) basierenden Multi-Agenten-Systemen: das Phänomen der „kaskadierenden Fehler" (cascading failure). Bei Aufgaben mit langem Zeithorizont wird ein einzelner entscheidender Fehler (z. B. ein fehlerhafter Tool-Aufruf oder eine fehlerhafte Schlussfolgerung) oft von nachgelagerten Agenten akzeptiert, pflanzt sich durch die Trajektorie fort und macht das Endergebnis unwiederbringlich.

Bestehende Ansätze fassen dieses Problem als posthoke Fehlerattribution auf, bei der Modelle den verantwortlichen Agenten und Schritt erst nach Abschluss und Scheitern der Trajektorie diagnostizieren. Die Autoren argumentieren, dass dieses Paradigma die Gelegenheit für Intervention verpasst. Sobald ein Fehler retrospektiv diagnostiziert wird, haben nachgelagerte Agenten bereits Ressourcen verbraucht und möglicherweise irreversible Nebeneffekte ausgelöst.

Die Arbeit stellt dieses Problem als Online-Auditing neu dar. In diesem Setting beobachtet ein dedizierter Auditor nur das aktuelle Präfix einer sich entfaltenden Trajektorie (ohne Zugriff auf zukünftige Schritte, Tool-Antworten oder das Endergebnis) und muss bei jedem Schritt eine Weitermachen-oder-Warnung-Entscheidung treffen. Der Auditor muss:

Zuverlässig zwischen Präfixen unterscheiden, die noch sicher sind, und solchen, die einen entscheidenden Fehler überschritten haben.
Genau in dem Schritt Alarm schlagen, in dem der Fehler auftritt, und nicht im Nachhinein.

2. Methodik

Die Autoren schlagen AgentForesight vor, ein Framework bestehend aus einem kuratierten Datensatz und einem grob-zu-fein Trainingsrezept.

A. Datensatz: AFTRAJ-2K

Um Online-Auditing zu unterstützen, haben die Autoren AFTRAJ-2K erstellt, ein Korpus von ca. 2.300 agentischen Trajektorien in den Bereichen Coding, Mathematik und Agentic-Domänen. Im Gegensatz zu früheren Datensätzen, die nur abgeschlossene Fehler kennzeichnen, bietet AFTRAJ-2K eine schrittweise Überwachung sowohl für sichere als auch für unsichere Trajektorien:

Verifizierte sichere Trajektorien ( $D_{safe}$ ): Erfolgreiche Durchläufe werden durch eine strenge Pipeline (Ergebnisäquivalenz, Tool-Integrität und Kohärenzprüfungen) gefiltert, um sicherzustellen, dass sie keine „stummen" intermediären Fehler enthalten, die den Auditor irreführen könnten.
Fehler-Trajektorien ( $D_{unsafe}$ ): Diese werden über zwei Ströme konstruiert:
- Konstruktiver Strom: Kontrollierte Einspeisung entscheidender Fehler in verifizierte sichere Trajektorien (z. B. Um schreiben eines Tool-Aufrufs oder einer Entscheidung), um kontrafaktische Fehler mit bekannten Ground-Truth-Fehlerschritten zu erzeugen.
- Diagnostischer Strom: Natürlich gescheiterte Trajektorien, bei denen der entscheidende Schritt unbekannt ist. Diese werden über ein „Vorschlagen-und-Verifizieren"-Ensemble unter Verwendung mehrerer LLM-Richter annotiert, um einen Konsens über den frühesten entscheidenden Fehlerschritt und den verantwortlichen Agenten zu erzielen.

B. Modell: AgentForesight-7B

Die Autoren trainieren einen kompakten Online-Auditor (basierend auf Qwen2.5-7B-Instruct) unter Verwendung eines grob-zu-fein Reinforcement-Learning (RL)-Rezepts:

Stufe 1: Ausrichtung der Fehlergrenze (BPPO):
Das Modell wird trainiert, den scharfen Übergang zwischen sicheren und unsicheren Präfixen zu erkennen. Mithilfe von Boundary-Pair Preference Optimization (BPPO) lernt das Modell, für das Präfix unmittelbar vor einem entscheidenden Fehler CONTINUE und für das Präfix, das den Fehler einschließt, ALARM auszugeben. Dies etabliert eine „Risikovorhersage-Priorität" an der Fehlergrenze.
Stufe 2: Drei-Achsen-Schärfung der Entscheidung (GRPO):
Das Modell wird weiter verfeinert unter Verwendung von Group Relative Policy Optimization (GRPO) mit einer zusammengesetzten Belohnungsfunktion, die auf drei Achsen abzielt:
- Was (Struktur): Stellt sicher, dass die Ausgabe einem strengen JSON-Schema folgt (Entscheidung, Schritt, Agent, Grund).
- Wo (Timing): Belohnt die präzise Lokalisierung des entscheidenden Schritts (unter Verwendung einer auf der Ground Truth zentrierten Gaußschen Belohnung).
- Wer (Attribution): Belohnt die Identifizierung des richtigen verantwortlichen Agenten.
  Diese Stufe schärft die Risikovorhersage-Priorität zu einer präzisen, schrittweisen Lokalisierung.

3. Hauptbeiträge

Online-Auditing-Paradigma: Die Arbeit führt Online-Auditing als eine zum Einsatzzeitpunkt neu gefasste Form der Fehleranalyse ein und verschiebt den Fokus von der retrospektiven Diagnose hin zu einer aktiven, schrittweisen Intervention.
AFTRAJ-2K: Ein kuratierter Datensatz, der die erste schrittweise Ground Truth sowohl für sichere als auch für unsichere Trajektorien bereitstellt, annotiert mit entscheidenden Fehlerschritten und verantwortlichen Agenten durch Mehrrichter-Konsens.
AgentForesight-7B: Ein kompakter Online-Auditor, der über ein zweistufiges RL-Rezept trainiert wurde und in der auf Präfixe beschränkten Einstellung deutlich größere proprietäre Modelle übertrifft.
Empirische Validierung: Umfassende Evaluierung zeigt, dass der grob-zu-fein-Ansatz ein Modell hervorbringt, das in der Lage ist, einzugreifen, bevor die Ausbreitung von Fehlern eine endgültige Verfestigung bewirkt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten AgentForesight-7B auf dem zurückgehaltenen AFTRAJ-2K-Split und dem externen Who&When-Benchmark.

Leistung auf AFTRAJ-2K: AgentForesight-7B erreichte einen Exact-Step F1-Score von 66,44 und übertraf die stärkste proprietäre Baseline (DeepSeek-V4-Pro) um +19,9 % (46,56). Es reduzierte zudem die Absolute Step Shift (Lokalisierungsfehler) um das 3-fache (0,59 vs. 1,77).
Generalisierung: Auf dem externen Who&When-Benchmark erreichte AgentForesight-7B eine Schrittgenauigkeit von 57,69 % und eine Agenten-Genauigkeit von 73,08 % und übertraf GPT-4.1 in der Schrittgenauigkeit um ca. 19,6 Punkte.
Einsatz-Abwägung: Das Modell operiert innerhalb eines „einsetzbaren Bereichs" (False Alarm Rate ≤ 20 %, Schrittgenauigkeit ≥ 50 %), wohingegen stärkere proprietäre Baselines wie DeepSeek-V4-Pro aufgrund hoher False-Alarm-Raten außerhalb dieses Bereichs fielen.
Ablationsstudie: Das zweistufige Rezept erwies sich als essenziell; Stufe 1 allein verbesserte den F1-Score von 21,1 auf 35,6, und Stufe 2 allein erreichte 50,4, aber die Kombination war erforderlich, um die endgültige Punktzahl von 66,44 zu erreichen, insbesondere in der komplexen Agentic-Domäne.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass AgentForesight die Schleife von der posthoken Fehlererkennung zur Eingriffsmöglichkeit zum Einsatzzeitpunkt öffnet. Indem die Fehleranalyse als Online-Auditing-Aufgabe behandelt wird, ermöglicht das Framework Systemen, die Ausführung im Moment zu stoppen, in dem ein entscheidender Fehler sichtbar wird, und verhindert so die Kaskade von Fehlern, die zum vollständigen Scheitern der Trajektorie führt.

Die Autoren betonen, dass ihre Gewinne aus dem spezialisierten Trainingsrezept und Datensatz stammen, die auf das Online-Setting zugeschnitten sind, und nicht einfach aus der Skalierung der Modellgröße. Sie stellen fest, dass selbst die direkte Wiederverwendung eines posthoken Attributionsmodells (AgentDebug-7B) unter dem Online-Protokoll scheitert, was die unterschiedliche Natur des Problems unterstreicht. Die Arbeit positioniert den externen Auditor als modulares, spezialisiertes Sicherheitsnetz, das unabhängig vom zugrunde liegenden Multi-Agenten-System aktualisiert werden kann, und bietet einen Weg hin zu zuverlässigeren, lauffähigen agentischen Bereitstellungen.