💬 NLP

Tracing Agentic Failure from the Flow of Success

Das Paper schlägt OAT vor, ein leichtgewichtiges, unüberwachtes Modell zur Fehlerattribution, das One-Class-Learning mit neuronalen kontrollierten Differentialgleichungen verwendet, um Fehler-Schritte in LLM-basierten agentischen Systemen durch die Modellierung erfolgreicher Trajektorien-Dynamiken zu identifizieren und dabei eine signifikant höhere Geschwindigkeit und Genauigkeit als bestehende prompting-basierte oder überwachte Methoden erreicht.

Ursprüngliche Autoren: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

Veröffentlicht 2026-07-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein Team von Roboter-Helfern, die versuchen, ein Baumhaus zu bauen. Sie sprechen miteinander, greifen nach Werkzeugen und messen Holz aus. Plötzlich stürzt das Dach ein. Die große Frage ist: Welche spezifische Bewegung hat das Desaster verursacht? Haben sie vergessen, das Holz zu messen? Haben sie den falschen Hammer benutzt? Oder haben sie zu lange über das Design gestritten?

Diesen einen schlechten Schritt zu finden, ist wie der Versuch, eine einzelne verlorene Nadel in einem Heuhaufen aus tausend Roboteraktionen zu finden. Normalerweise müssen Experten sich hinsetzen und jeden einzelnen Fehler in jedem gescheiterten Versuch manuell beschriften, um einer superintelligenten KI (wie einem riesigen Gehirn) beizubringen, die Fehler zu erkennen. Aber das ist langsam, teuer und erfordert viel menschliche Arbeit.

Die große Idee des Papers: Nur aus dem Erfolg lernen
Die Autoren, Samuel Yeh und sein Team, sagen: „Warten Sie mal. Warum müssen wir die Misserfolge studieren, um die Fehler zu finden? Was wäre, wenn wir einfach nur die perfekten Baumhäuser studieren?“

Sie schlagen einen neuen Weg namens OAT (One-class Agent Tracing) vor. Anstatt die KI mit einer Bibliothek kaputter Roboter zu füttern und sie zu fragen, was „falsch“ aussieht, füttern sie sie nur mit den erfolgreichen, perfekten Trajektorien. Die KI lernt den „Rhythmus“ oder den „Fluss“ einer perfekten Aufgabe. Sie lernt, wie sich ein Roboter bewegen, denken und handeln sollte, wenn alles richtig läuft.

Der magische Trick: Der unsichtbare Fluss
Hier wird es spannend. Das Team behandelt die Aktionen des Roboters wie einen Fluss, der durch die Zeit fließt. Sie verwenden ein mathematisches Werkzeug namens Neural Controlled Differential Equations (Neural CDEs). Denken Sie an dies als eine superpräzise Karte, die den „idealen Pfad“ zeichnet, den ein Roboter nehmen sollte.

Wenn ein Roboter scheitert, ist es so, als würde der Fluss plötzlich auf einen Stein treffen oder in einen Strudel geraten. Da die KI genau weiß, wie der glatte, erfolgreiche Fluss aussieht, kann sie sofort erkennen, wo das Wasser unruhig wird. Sie weist jedem einzelnen Schritt einen „Merkwürdigkeitswert“ (Anomaly Score) zu. Wenn ein Schritt zu sehr vom perfekten Fluss abweicht, markiert die KI ihn als den Übeltäter.

Was sie ausgeschlossen haben
Das Paper argumentiert explizit gegen zwei gängige Methoden:

Die „Frag das riesige Gehirn“-Methode: Massive, teure KI-Modelle (wie GPT-5) zu nutzen, um die ganze Geschichte zu lesen und den Fehler zu erraten. Die Autoren zeigen, dass dies zu langsam ist und zu viel Geld kostet.
Die „Beschrifte alles“-Methode: Zu versuchen, Tausende von Beispielen kaputter Roboter zu sammeln und jeden einzelnen Fehlerschritt manuell zu beschriften. Die Autoren sagen, dass dies zu schwierig und zu mehrdeutig ist, um skalierbar zu sein.

Die Ergebnisse: Schnell, günstig und überraschend gut
Das Team hat ihre Idee an echten Daten getestet. Sie trainierten OAT mit nur 100 erfolgreichen Roboterreisen. Dann setzten sie es einem Test mit kaputten Reisen aus, die es noch nie gesehen hatte.

Geschwindigkeit: OAT ist 200 bis 5.000 Mal schneller als das Fragen dieser riesigen KI-Modelle. Es kostet null zusätzliches Geld an „Token“-Gebühren, da es nicht mit einem großen Modell chatten muss, um das Problem zu lösen.
Genauigkeit: Obwohl es nur 100 perfekte Beispiele gesehen hat, schlug OAT die riesigen KI-Modelle. In Tests zu ähnlichen Aufgaben war es um 20 % besser darin, Fehler zu finden. Bei völlig anderen, schwierigen Aufgaben war es immer noch 7 % besser.
Der „Gatekeeper“: Sie haben ein spezielles „Gate“ (Tor) zu ihrem mathematischen Modell hinzugefügt. Dieses Gate hilft dem System, ruhig zu bleiben, wenn es sieht, dass ein Roboter auf eine völlig merkwürdige, neue Weise handelt (wie ein Roboter von einem anderen Planeten). Dieses Gate machte das System viel besser darin, mit neuen, unbekannten Situationen umzugehen, ohne verwirrt zu werden.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich bei diesen Zahlen, weil sie die Tests mehrmals mit verschiedenen Zufallswerten (Random Seeds) durchgeführt und konsistente Ergebnisse erhalten haben. Sie haben die Leistung mit Standard-Mathematik-Scores (wie F1-Scores und AUROC) gemessen und festgestellt, dass OAT die Konkurrenz konsistent übertrifft.

Sie sind jedoch vorsichtig darauf hinzuweisen, dass das System zwar großartig funktioniert, aber nicht perfekt ist. In einigen Fällen erkennt es vielleicht nicht den allerersten Fehler, aber es erfasst dennoch die Schritte, in denen der Fehler offensichtlich wird. Sie schlagen vor, dass es mit ein paar Anpassungen noch besser werden könnte, aber für den Moment haben sie bewiesen, dass das Lernen aus dem Erfolg ein leistungsstarker, praktischer und schneller Weg ist, um Fehler zu diagnostizieren.

Das Fazleitwort
Anstatt die Trümmer zu studieren, um herauszufinden, was schiefgelaufen ist, lernt OAT den Bauplan eines perfekten Gebäudes. Wenn etwas auseinanderfällt, weiß es sofort, welcher Ziegel falsch gelegt wurde – und das tut es blitzschnell, ohne einen Supercomputer zu benötigen. Es ist ein neuer, effizienter Weg, um die Roboter der Zukunft zu debuggen.

Technisches Resümee: Verfolgung agentischen Versagens aus dem Fluss des Erfolgs

Problemstellung

Das Paper befasst sich mit der Fehlerattribution in LLM-basierten agentischen Systemen: der Aufgabe, die spezifischen Schritte in einer Fehler-Trajektorie zu identifizieren, die zum Scheitern des Systems geführt haben. Bestehende Ansätze stützen sich entweder auf:

Prompting-basierte Pipelines: Die Verwendung von Frontier-LLMs zur Analyse von Trajektorien, was hohe Token-Kosten und Latenz verursacht.
Überwachtes Lernen: Das Training von Modellen auf Fehler-Trajektorien mit Schritt-Ebene-Fehlerannotationen. Dies ist aufgrund der Schwierigkeit, qualitativ hochwertige, eindeutige Annotationen auf Schritt-Ebene zu sammeln, schwer skalierbar.

Die Autoren schlagen ein neues Problemsetting vor: Unüberwachte Fehlerattribution. Das Ziel besteht darin, ein Modell ausschließlich auf erfolgreichen Trajektorien zu trainieren (die als Nebenprodukt des normalen Betriebs leicht zu sammeln sind) und es dazu zu verwenden, Fehler-Schritte in Fehler-Trajektorien zur Laufzeit zu identifizieren, ohne dass eine Schritt-Ebene-Überwachung auf Fehler-Daten erfolgt.

Methodik: OAT (One-class Agent Tracing)

Die Autoren schlagen OAT vor, ein leichtgewichtiges Modell, das die Fehlerattribution als One-Class-Learning-Problem im latenten Repräsentationsraum eines LLMs formuliert.

1. Latente Repräsentation

Für eine Trajektorie $\tau = (Q, a_1, s_1, \dots, a_T, s_T)$ wird jeder Schritt $t$ durch einen latenten Vektor $h_t$ repräsentiert, der aus den Hidden States des LLM-Agenten extrahiert wurde, der die Aktion $a_t$ generiert. Die Abfrage $Q$ wird ebenfalls als $h_Q$ repräsentiert.

2. Kontinuierliche Trajektorienmodellierung mittels Neural CDEs

Anstatt Schritte als diskrete Ereignisse zu behandeln (wie in RNNs oder Transformern), modelliert OAT die Trajektorie als einen kontinuierlichen latenten Pfad.

Neural Controlled Differential Equations (Neural CDEs): Das Modell behandelt die Sequenz der Schritt-Repräsentationen als unregelmäßig beprobte Beobachtungen einer zugrunde liegenden kontinuierlichen Funktion. Eine Neural CDE lernt die Dynamik erfolgreicher Trajektorien, indem sie die Entwicklung des latenten Zustands unter Berücksichtigung des beobachteten Trajektorienpfads $X(u)$ konditioniert.
Gated Control Path: Um OOD-Inputs (Out-of-Distribution) zu handhaben, bei denen die Kontrollsignale (Ableitungen der Trajektorie) spuriös sein könnten, führt OAT eine Gating-Funktion ein. Diese Funktion unterdrückt adaptiv Kontrollsignale, die signifikant von der Trainingsverteilung abweichen, was die Robustheit verbessert, ohne die In-Domain-Expressivität zu opfern.

3. Anomalieerkennung

Gegeben sei zur Laufzeit eine Fehler-Trajektorie:

Das Modell sagt den erwarteten latenten Zustand $\hat{h}(u_t)$ für jeden Schritt basierend auf den gelernten Dynamiken erfolgreicher Trajektorien voraus.
Ein Anomalie-Score $e_t$ wird als quadratischer Rekonstruktionsfehler berechnet: $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$ .
Detektionsstrategien:
- Top-k: Wählt die $k$ Schritte mit den höchsten Anomalie-Scores aus.
- Conformal Prediction (CP): Verwendet einen Kalibrierungsdatensatz erfolgreicher Trajektorien, um einen Schwellenwert $\delta$ festzulegen, der die Falsch-Positiv-Rate kontrolliert, indem Schritte markiert werden, für die gilt: $e_t > \delta$ .

Zentrale Beiträge

Problemformulierung: Einführung der unüberwachten Fehlerattribution, wodurch die Notwendigkeit kostspieliger Schritt-Ebene-Annotationen auf Fehler-Daten entfällt, indem ausschließlich auf erfolgreichen Trajektorien trainiert wird.
Modellarchitektur (OAT): Vorschlag eines kontinuierlichen One-Class-Learning-Ansatzes mittels Neural CDEs mit einem neuartigen gated control path, um agentische Dynamiken zu modellieren und lokale Abweichungen zu detektieren.
Empirische Validierung: Nachweis, dass OAT Prompting-basierte Baselines (einschließlich GPT-4o und GPT-5) sowohl in In-Domain- als auch in OOD-Settings übertrifft, während es gleichzeitig signifikant schneller und kostengünstiger ist.

Experimentelle Ergebnisse

Das Modell wurde auf 100 erfolgreichen Trajektorien aus dem MCP-Atlas-Datensatz trainiert und auf Fehler-Trajektorien aus MCP-Atlas (In-Domain) und Who&When (OOD) evaluiert.

Leistung:
- In-domain (MCP-Atlas): OAT übertraf die Prompting-basierten Baselines um +20 % F1-Score und +10 % AUPRC.
- Out-of-Distribution (Who&When): OAT übertraf die Baselines um +7 % F1-Score und +5 % AUPRC, trotz signifikanter struktureller und modellbedingter Unterschiede zwischen den Trainings- und Testdatensätzen.
Effizienz:
- OAT erfordert zur Laufzeit keine Token-Kosten.
- Es ist 200–5000× schneller als Prompting-basierte Ansätze (Latenz von ~7 ms gegenüber ~4000 ms+).
- Es kann auf weniger als 1 GB VRAM bereitgestellt werden.
Ablationsstudien:
- Neural CDE vs. ODE: CDEs übertrafen Neural ODEs deutlich, was die Bedeutung der Konditionierung auf beobachtete Trajektorienschritte bestätigt.
- Gating: Der Gated Control Path verbesserte die OOD-Leistung signifikant (+0,172 AUROC) bei einem geringfügigen Trade-off in der In-Domain-Leistung.
- Layer-Selektion: Repräsentationen aus späteren Schichten des LLM lieferten stärkere Signale für die Anomalieerkennung als frühere Schichten.

Bedeutung und Ansprüche

Das Paper behauptet, dass OAT eine praktische, effiziente und effektive Richtung für die Diagnose von Fehlern in agentischen Systemen bietet. Durch den Wechsel vom überwachten Lernen von Fehlern zum unüberwachten Lernen auf Erfolg eliminiert der Ansatz den Annotations-Engpass. Die Autoren betonen, dass ihre Methode die Echtzeit-Fehlerattribution erstmals praktikabel macht und den Einsatz diagnostischer Werkzeuge in Hochrisiko-Umgebungen (z. B. Programmierung, wissenschaftliche Forschung) ermöglicht, ohne die prohibitiven Kosten für den Aufruf von Frontier-LLMs für jede diagnostische Abfrage. Die Arbeit legt nahe, dass der "Fluss des Erfolgs" ausreichend Signal enthält, um den "Fluss des Versagens" zu identifizieren und zu lokalisieren.