🤖 AI

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

Das Papier schlägt FALAT vor, ein diagnostisches Framework, das die Fehlerattribution in LLM-Agenten-Trajektorien verbessert, indem es das Problem als eine abhängigkeitsgesteuerte Suche formuliert, um fehlerverursachende Schritte von solchen zu unterscheiden, die lediglich vorherige Fehler fortpflanzen, wodurch es bestehende Baselines bei der Identifizierung verantwortlicher Agenten und entscheidender Fehlerschritte übertrifft.

Ursprüngliche Autoren: Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team aus hochintelligenten Robotern, die zusammenarbeiten, um ein komplexes Rätsel zu lösen, wie etwa das Schreiben einer Software oder die Planung einer Reise. Sie sprechen miteinander, benutzen Werkzeuge und treffen Entscheidungen in einer langen Kette von Ereignissen. Wir nennen diese Kette eine „Trajektorie“.

Manchmal scheitert das Team. Das Endergebnis ist falsch. Aber weil die Kette so lang und die Roboter so gesprächig sind, ist es unglaublich schwer herauszufinden, wer den Fehler gemacht hat und wann er passiert ist.

Hier ist das Problem: Wenn Roboter A frühzeitig einen winzigen Fehler macht, könnte Roboter B etwas tun, das basierend auf diesem Fehler vollkommen logisch erscheint. Dann könnte Roboter C etwas anderes tun, das ebenfalls logisch erscheint, aber eigentlich falsch ist, weil es auf dem Fehler von Roboter B aufgebaut ist. Bis man am Ende ankommt, ist das Ganze ruiniert, obwohl sich jeder einzelne Schritt im Moment der Ausführung vernünftig angefühlt hat. Es ist wie ein Spiel des „Stille Post“, bei dem die Nachricht verzerrt wird, aber jeder davon überzeugt ist, er habe sie korrekt gehört.

Die Lösung: FALAT (Das Detektiv-Framework)

Die Autoren haben ein Werkzeug namens FALAT entwickelt, das als Detektiv für diese Roboter-Teams fungiert. Anstatt nur das endgültige Chaos zu betrachten und zu raten, nutzt FALAT einen klugen vierstufigen Prozess, um die Ursache zu finden.

So funktioniert FALAT, erklärt anhand einfacher Analogien:

1. Das „Ideale Skript“ (Konstruktion des Suchraums)

Bevor es sich mit der chaotischen Realität beschäftigt, schreibt FALAT ein „Ideales Skript“ darüber, wie die Aufgabe hätte ablaufen sollen. Es kennt das Ziel, die Regeln und was ein guter Roboter tun würde.

Analogie: Stellen Sie sich einen Filmregisseur vor, der genau weiß, wie die Filmszene ablaufen sollte. Wenn die Schauspieler Fehler machen, schaut der Regisseur nicht einfach nur dem Chaos zu; er vergleicht die tatsächliche Drehung mit dem Skript, um zu erkennen, wo die Schauspieler vom Weg abgekommen sind.
Warum es wichtig ist: Wenn man nur die Argumentation der Roboter betrachtet, könnte man durch deren eigene Rationalisierung des Fehlers getäuscht werden. FALAT nutzt eine externe Perspektive (das Skript), um objektiv zu bleiben.

2. Das „Zoom-Objektiv“ (Hierarchische Repräsentation)

Die Historie des Roboters kann hunderte Schritte lang sein. Jedes einzelne Wort zu lesen, ist langsam und verwirrend. FALAT zoomt erst heraus und dann hinein.

Analogie: Denken Sie daran, wie man einen Wald betrachtet. Zuerst blickt man aus einem Helikopter auf den gesamten Wald, um zu sehen, in welchem Bereich es krank aussieht (Obere Ebene). Dann zoomt man heran, um zu sehen, welche Gruppe von Bäumen betroffen ist (Mittlere Ebene). Schließlich geht man direkt zu den Blättern auf dem Boden, um sie zu inspizieren (Untere Ebene).
Warum es wichtig ist: Dies verhindert, dass sich FALAT in den Details verliert. Es grenzt die Suche zuerst auf die verdächtigen „Nachbarschaften“ ein.

3. Die „Verwahrungskette“ (Typisierte Abhängigkeiten)

Dies ist der wichtigste Teil. FALAT beschuldigt nicht einfach die letzte Person, die gesprochen hat. Es verfolgt die Abhängigkeiten (wer verließ sich auf wen).

Analogie: Stellen Sie sich ein Staffellaufrennen vor, bei dem jemand den Stab fallen lässt.
- Die Quelle: Der Läufer, der ihn fallen ließ.
- Der Überträger: Der nächste Läufer, der den Stab aufhob und weiterlief, obwohl er kaputt war.
- Das Symptom: Der Läufer an der Ziellinie, der zu spät ankam.
- FALAT verwendet spezielle Etiketten (wie „Folgeschritt“, „Korrektur“ oder „Sackgasse“), um zwischen der Person, die den Stab fallen ließ, und den Personen zu unterscheiden, die den kaputten Stab nur getragen haben. Es ignoriert diejenigen, die lediglich das wiederholt haben, was bereits gesagt wurde, oder die das Endergebnis gar nicht beeinflusst haben.

4. Der „Was-wäre-wenn“-Test (Verifizierung)

Sobald FALAT einen Verdächtigen hat, verhaftet es ihn nicht einfach. Es führt eine Simulation durch.

Analogie: Der Detektiv fragt: „Wenn wir in der Zeit zurückgehen würden und nur diesen einen Schritt korrigieren würden, würde der ganze Film dann richtig ablaufen?“
- Wenn das Korrigieren von Schritt 3 das Endergebnis perfekt macht, dann ist Schritt 3 der entscheidende Schritt.
- Wenn das Korrigieren von Schritt 3 den Film immer noch ruiniert, dann war Schritt 3 nicht der wahre Übeltäter; der Fehler geschah früher.

Funktioniert es?

Die Autoren haben FALAT auf einem Benchmark namens „Who & When“ getestet, der viele Beispiele für das Scheitern von Roboter-Teams enthält.

Das Ergebnis: FALAT war wesentlich besser darin, den exakten Schritt zu finden, an dem der Fehler begann, als andere Methoden.
Die Zahlen: Bei schwierigen, handgefertigten Fehlerszenarien fand FALAT den richtigen Schritt etwa 29 % der Zeit, während die nächstbeste Methode nur etwa 17 % erreichte. Bei einfacheren, computergenerierten Geschichten lag die Erfolgsquote bei 46 %.
Die Erkenntnis: Auch wenn 29 % niedrig klingen mag, ist dies in diesem Bereich des „Suche nach der Nadel im Heuhaufen“ eine enorme Verbesserung. Es beweist, dass man eine intelligente KI nicht einfach nur „raten“ lassen kann, wer den Fehler gemacht hat; man braucht einen strukturierten Weg, um Abhängigkeiten zu verfolgen und „Was-wäre-wenn“-Szenarien zu testen.

Zusammenfassung

FALAT ist ein Diagnosetool, das aufhört, der letzten Person in der Kette die Schuld zu geben. Stattdessen:

Weiß, wie die Dinge laufen sollten.
Zoomt auf verdächtige Bereiche hinein.
Verfolgt den Informationsfluss, um den ursprünglichen Fehler von den Folgen zu trennen.
Testet, ob die Korrektur dieses einen Schrittes den Tag retten würde.

Es verwandelt ein chaotisches, verwirrendes Scheitern in eine logische Untersuchung.

Technisches Resümee: FALAT – Verfolgung von Fehlern in LLM-Agenten-Trajektorien mittels Abhängigkeitsgesteuerter Suche

Problemdefinition

Große Sprachmodell-Agenten (LLM-Agenten) lösen komplexe Aufgaben durch lange Trajektorien, die aus Reasoning-Schritten, Werkzeugaufrufen und Inter-Agenten-Kommunikation bestehen. Wenn diese Trajektorien fehlschlagen, ist die Identifizierung der Grundursache aufgrund des „Attributionsproblems“ schwierig. Fehler propagieren oft: Ein früher Fehler korrumpiert den Ausführungszustand, was dazu führt, dass nachfolgende Schritte lokal zwar vernünftig erscheinen, aber tatsächlich einen Fehler geerbt haben. Infolgeddessen werden spätere Schritte möglicherweise fälschlicherweise als Quelle des Fehlers markiert.

Das Paper definiert Fehlerattribution als die Aufgabe, den spezifischen Agenten („wer“) und den entscheidenden Schritt („wann“) zu identifizieren, dessen Korrektur das erwartete Endergebnis ( $o^*$ ) aus dem beobachteten fehlerhaften Ergebnis ( $\hat{o}$ ) wiederherstellen würde. Ein entscheidender Schritt wird als einer definiert, bei dem die Korrektur (unter Ermöglichung der Anpassung nachgeschalteter Schritte) das korrekte Ergebnis erzeugt. Bestehende Methoden, wie Single-Pass-LLM-Jury-Verfahren oder lernbasierte Tracer, die Schritte unabhängig bewerten, kämpfen mit Positions-Bias, Ordnungsabhängigkeit und der Unfähigkeit, zwischen Fehlerursprung und Fehlerpropagation zu unterscheiden.

Methodik: Das FALAT-Framework

Die Autoren schlagen FALAT vor, ein Diagnose-Framework, das die Fehlerattribution als eine hierarchische, abhängigkeitsgesteuerte Suche umformuliert, statt als unabhängige Schrittklassifizierung. Das Framework opert in vier Phasen:

1. Konstruktion des Suchraums

FALAT vermeidet es, sich ausschließlich auf das fehlerhafte interne Reasoning der gescheiterten Trajektorie zu verlassen. Stattdessen konstruiert es:

Aufgabenbedingte Prior ( $\pi$ ): Eine externe Erwartung darüber, wie die Aufgabe gelöst werden sollte, abgeleitet aus der Aufgabenstellung, den Rollen der Agenten, den System-Prompts und den verfügbaren Werkzeugen. Diese Prior ist unabhängig von den Zwischenschritten der Trajektorie, um zu verhindern, dass Evaluatoren durch die eigene fehlerhafte Logik des Agenten in die Irre geführt werden.
Hierarchische Trajektorien-Repräsentation ( $M$ ): Die Trajektorie wird in drei Ebenen abstrahiert, um eine grobe-zu-feine Suche zu ermöglichen:
- Obere Ebene ( $M_{hi}$ ): Globale Zusammenfassungen der Ausführung zur Identifizierung verdächtiger Phasen.
- Mittlere Ebene ( $M_{mid}$ ): Lokale Schrittzusammenfassungen mit Details zu Agenten, Aktionen und Entscheidungen.
- Untere Ebene ( $M_{lo}$ ): Rohdaten der Ausführung (Werkzeug-Outputs, konkrete Werte).
  Diese Struktur ermöglicht es dem System, zuerst verdächtige Regionen zu identifizieren und dann auf spezifische Schritte einzugrenzen.

2. Konstruktion typisierter Abhängigkeiten zur Kandidaten-Pruning

Um zwischen Schritten zu unterscheiden, die einen Fehler originieren und solchen, die ihn lediglich propagieren, konstruiert FALAT eine gerichtete Abhängigkeitsstruktur über die Kandidatenschritte unter Verwendung eines typisierten Transitions-Vokabulars. Die Labels umfassen:

follow_up: Normale Progression oder nachgeschaltete Weiterführung eines Fehlers.
redundancy: Wiederholung ohne neue Evidenz.
no_influence: Schritte, die unabhängig vom Output des Kandidaten sind.
error_shift: Schritte, die neue Abweichungen einführen oder bestehende Fehler transformieren.
correction: Schritte, die vorangegangene Abweichungen korrigieren.
dead_end: Schritte, die zu ungenutzten Outputs führen.

Diese Labels ermöglichen es dem System, Kandidaten auszuschließen (Pruning), deren Effekte das Endergebnis nicht erreichen können oder die lediglich Symptome früherer Fehler sind, wodurch nur solche beibehalten werden, die plausibel die Quelle sein könnten.

3. Abhängigkeitsgesteuerte Suche und Verifizierung

Die verbleibenden Kandidaten werden gerankt und gegen das Ziel der kontrafaktischen Suffizienz verifiziert. Ein Kandidat gilt nur dann als entscheidend, wenn seine Korrektur die Wiederherstellung von $o^*$ bewirkt. Der Verifizierungsprozess prüft drei Kriterien:

Fehlerunabhängigkeit: Führt der Schritt den Fehler ein oder erbt er ihn? (Verfolgt via Rückwärts-Abhängigkeit).
Kontrafaktische Suffizienz: Würde die Behebung dieses Schritts das erwartete Ergebnis wiederherstellen?
Temporale Präzedenz: Unter den validen Kandidaten wird der früheste Schritt ausgewählt.

4. Lokale Re-Suche: Adversarielle Verifizierung

Um „Anchoring“ zu mildern (bei dem ein LLM-Judge einen plausiblen, aber falschen Kandidaten rationalisiert), führt FALAT eine lokale Re-Evaluierung durch. Es extrahiert eine begrenzte Nachbarschaft um den vorhergesagten entscheidenden Schritt und vergleicht den Kandidaten mit seinen unmittelbaren Nachbarn. Das LLM weist Rollen zu (ROOT_CAUSE, PROPAGATION, SYMPTOM, CONTRIBUTING) und rankt die Schritte basierend auf komparativen Argumenten und kontrafaktischen Checks neu, um sicherzustellen, dass der gewählte Schritt tatsächlich entscheidend ist.

Wesentliche Beiträge

Umformulierung der Attribution: Das Paper verschiebt das Paradigma von der flachen Schritt-Ebene-Klassifizierung hin zur hierarchischen, abhängigkeitsgesteuerten Suche, die explizit zwischen Fehlerursprung und Fehlerpropagation unterscheidet.
FALAT-Framework: Ein vierstufiges Diagnosesystem, das eine externe aufgabenbedingte Prior, hierarchische Abstraktion, typisierte Abhängigkeits-Pruning und kontrafaktische Verifizierung integriert.
Empirische Validierung: Umfassende Evaluierung auf dem Who&When Benchmark (184 fehlgeschlagene Ausführungen aus algorithmisch generierten und handgefertigten Multi-Agenten-Systemen) über drei verschiedene LLM-Backbones hinweg.

Ergebnisse

FALAT wurde gegen spezialisierte Attributions-Baselines (CHIEF, AgentTracer) und direktes Prompting mit Standalone-LLMs evaluiert.

Algorithmisch generierte Trajektorien: FALAT erreichte eine Schritt-Genauigkeit von 46,0 % (gegenüber 37,3 % für CHIEF mit demselben Backbone) und eine Agenten-Genauigkeit von 68,0 %.
Handgefertigte Trajektorien: FALAT erreichte eine Schritt-Genauigkeit von 29,1 % (gegenüber 17,0 % für CHIEF) und eine Agenten-Genauigkeit von 73,0 %.
Vergleich zu Standalone-LLMs: Direktes Prompting selbst mit großen Modellen (z. B. Claude-Sonnet-4) lieferte signifikant niedrigere Schritt-Genauigkeiten (18,9 % bei handgefertigten Aufgaben), was zeigt, dass reine Modellskalierung allein nicht für eine zuverlässige Attribution ausreicht.
Ablationsstudien: Das Entfernen der hierarchischen Repräsentation verursachte den größten Leistungsabfall (bis zu -10,3 % Schritt-Genauigkeit), gefolgt vom Entfernen der externen Prior und der Typisierung der Transitionen.

Signifikanz und Behauptungen

Das Paper behauptet, dass abhängigkeitsbewusstes Reasoning essenziell für eine zuverlässige Fehlerdiagnose in LLM-Agenten-Systemen ist. Die Autoren argumentieren, dass die Behandlung der Fehlerattribution als unabhängige Schrittklassifizierung scheitert, da sie die kausale Struktur von Trajektorien ignoriert. Durch die Rahmung des Problems als Suche, die durch typisierte Abhängigkeiten und kontrafaktische Suffizienz geleitet wird, trennt FALAT effektiv die „Ursache“ von den „Symptomen“.

Die Ergebnisse legen nahe, dass strukturierte Suchverfahren signifikante Vorteile bieten, die über die bloße Erhöhung der Modellskala hinausgehen. Das Framework ist besonders effektiv darin, den entscheidenden Schritt zu identifizieren, anstatt nur irgendeinen Schritt, in dem ein Fehler sichtbar ist, und adressiert damit eine kritische Lücke bei der Zuverlässigkeit und Debugbarkeit autonomer agentischer Systeme. Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit von der Zuverlässigkeit des LLM-Urteils und potenzieller Schwierigkeiten bei der Erfassung sehr weitreichender Abhängigkeiten über Fenstergrenzen hinweg, halten jedoch daran fest, dass der vorgeschlagene Ansatz eine robuste Grundlage für die Fehlerattribution bietet.