💻 computer science

Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows

Dieser Beitrag stellt Trajel vor, einen Datensatz und Evaluierungsrahmen, der Halluzinationen auf Trajektorienebene in industriellen Multi-Agenten-Workflows durch die Kategorisierung von fünf verschiedenen Fehlertypen überprüft und nachweist, dass bestehende Benchmarks kritische Zwischenfehler übersehen und dass eine taxonomiefundierte, trajektorienbewusste Erkennung für einen sichereren Einsatz von Agenten unerlässlich ist.

Ursprüngliche Autoren: Harshada Badave, Santosh Borse, Andrea Gomez, Harshitha Narahari, Sara Carter, Vishwa Bhatt, Aishani Rachakonda, Shuxin Lin, Dhaval Patel

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harshada Badave, Santosh Borse, Andrea Gomez, Harshitha Narahari, Sara Carter, Vishwa Bhatt, Aishani Rachakonda, Shuxin Lin, Dhaval Patel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Expert-Robotern ein, um eine komplexe Maschine in einer Fabrik zu reparieren. Sie fragen sie nicht nur nach dem abschließenden Reparaturbericht, sondern beobachten ihren gesamten Prozess: was sie denken, welche Werkzeuge sie aufgreifen, was sie sehen und wie sie miteinander sprechen.

Dieser Artikel, genannt Trajel, handelt davon, diese Roboter zu erwischen, wenn sie mitten in ihrer Arbeit anfangen zu „träumen" (halluzinieren), und nicht erst, wenn sie die endgültige Antwort falsch haben.

Hier ist die Aufschlüsselung des Artikels mit einfachen Analogien:

1. Das Problem: Die „Endantwort"-Falle

Die meisten aktuellen Tests für KI sind wie das Benoten eines Schüleraufsatzes allein durch das Lesen des letzten Satzes. Wenn das Fazit gut aussieht, bekommt der Schüler eine Eins. Aber was, wenn der Schüler im zweiten Absatz Fakten erfunden, im dritten Absatz einen ganzen Schritt übersprungen oder im vierten Absatz mit dem falschen Lehrer gesprochen hat?

In der realen Welt schreiben industrielle Roboter (Agenten) nicht nur Aufsätze; sie führen mehrstufige Aufgaben aus, wie das Überprüfen von Sensoren oder das Bestellen von Teilen. Wenn ein Roboter eine Sicherheitsprüfung überspringt oder mit dem falschen System spricht, könnte er zwar eine „korrekt aussehende" Endantwort geben, aber die Maschine könnte dennoch kaputtgehen. Der Artikel argumentiert, dass wir die gesamte Reise (die Trajektorie) überprüfen müssen, nicht nur das Ziel.

2. Das neue Werkzeug: Eine „Halluzinations-Taxonomie"

Die Autoren entwickelten eine neue Methode, um zu kategorisieren, wie Roboter verwirrt werden. Sie nennen dies eine Taxonomie (ein elegantes Wort für ein Klassifikationssystem). Sie fanden fünf spezifische Wege, auf denen Roboter während der Arbeit „träumen":

Faktisch (Der Lügner): Der Roboter sagt: „Die Temperatur beträgt 100 Grad", aber der Sensor sagte tatsächlich 20. Er erfindet Daten.
Referenziell (Der Geist): Der Roboter sagt: „Ich habe gerade das blaue Ventil überprüft", aber er hat niemals ein blaues Ventil überprüft. Er erinnert sich an Dinge, die nie passiert sind.
Logisch (Der Verwirrte): Der Roboter sagt: „Die Maschine ist heiß, daher sollte ich den Heizkörper einschalten." Die Logik ist gebrochen, selbst wenn die Fakten stimmen.
Prozedural (Der Überspringer): Der Roboter sagt: „Ich habe die Arbeit erledigt", aber er hat tatsächlich den Schritt übersprungen, in dem er den Öldruck überprüfen musste. Er tut so, als würde er Arbeit verrichten, die er nicht getan hat.
Umfang (Der Betrüger): Der Roboter sagt: „Ich habe den Motor repariert", aber er ist eigentlich ein Roboter, der nur dafür ausgelegt ist, die Reifen zu überprüfen. Er erledigt einen Job, für den er nicht eingestellt wurde.

Wichtiges Ergebnis: Der Artikel ergab, dass Roboter fast die Hälfte der Zeit, in der sie Fehler machen, mehrere dieser Dinge gleichzeitig tun. Es ist nicht nur ein Fehler; es ist eine Kettenreaktion.

3. Der Datensatz: „Trajel"

Um dies zu untersuchen, bauten die Forscher eine riesige Bibliothek namens Trajel.

Was ist enthalten? 225 detaillierte Aufzeichnungen von Robotern, die versuchen, industrielle Maschinen (wie Kühlsysteme) zu reparieren.
Wer hat es geprüft? Sie verwendeten nicht einfach eine andere KI, um die Arbeit zu überprüfen. Sie ließen menschliche Experten (wie leitende Ingenieure) jeden einzelnen Schritt des Denkprozesses des Roboters lesen, um zu sehen, wo er falsch lag.
Das Ergebnis: Sie fanden heraus, dass Roboter viel häufiger versagen als gedacht (zwischen 52 % und 81 % der Zeit, je nach Robotermodell), und viele dieser Fehler sind unsichtbar, wenn man nur das Endergebnis betrachtet.

4. Die Detektivarbeit: Kann KI KI erwischen?

Die Forscher versuchten, Computerprogramme (Detektoren) zu bauen, um diese Fehler automatisch zu erkennen.

Die gute Nachricht: Einfache Checks funktionieren gut bei offensichtlichen Lügen (Faktisch) oder übersprungenen Schritten (Prozedural).
Die schlechte Nachricht: Die Detektoren sind schrecklich darin, die „Geister" (Referenziell) und „Verwirrten" (Logisch) Fehler zu fangen. Selbst fortschrittliche KI hat Schwierigkeiten zu unterscheiden, ob ein Roboter an etwas erinnert, das nie passiert ist, oder ob seine Logik verdreht ist.
Der überraschende Gewinner: Der beste „Detektor" war kein komplexes KI-Modell. Es war eine einfache Klarheitsprüfung. Wenn die Begründung des Roboters klar und gerechtfertigt klang, war sie meist richtig. Wenn der Roboter vage klang oder nicht erklären konnte, warum er etwas tat, halluzinierte er mit fast 94-prozentiger Wahrscheinlichkeit.

5. Warum das wichtig ist

Der Artikel kommt zu dem Schluss, dass wir der Endantwort eines industriellen Roboters nicht einfach vertrauen können. Wir müssen „Sicherheitsnetze" bauen, die den gesamten Denkprozess des Roboters in Echtzeit beobachten.

Wenn ein Roboter beginnt, Schritte zu überspringen (Prozedural) oder über Werkzeuge zu sprechen, die er nicht hat (Referenziell), muss das System ihn sofort stoppen, nicht warten, bis die Maschine kaputtgeht. Der Artikel liefert den ersten Satz von Werkzeugen und Regeln, um uns zu helfen, diese Sicherheitsnetze für die Zukunft der industriellen Automatisierung zu bauen.

Kurz gesagt: Früher haben wir nur geprüft, ob der Roboter den Job beendet hat. Jetzt wissen wir dank Trajel, dass wir beobachten müssen, wie er denkt, was er sich erinnert und mit wem er spricht, denn dort liegt die echte Gefahr.

Technische Zusammenfassung: Über die endgültigen Antworten hinaus: Auditierung von Halluzinationen auf Trajektorie-Ebene in industriellen Multi-Agenten-Workflows

1. Problemstellung

Der Übergang von statischen Large Language Models (LLMs) zu autonomen Agentensystemen führt zu einem kritischen Ausfallmodus: Halluzinationen auf Trajektorie-Ebene. Während bestehende Benchmarks (z. B. TruthfulQA, AgentBench) Halluzinationen primär als „One-Shot"-Faktenfehler in den endgültigen Ausgaben bewerten, erfassen sie Abweichungen nicht, die innerhalb der sequenziellen, werkzeugvermittelten Thought-Action-Observation (TAO)-Zyklen von Multi-Agenten-Workflows auftreten.

In industriellen Umgebungen wie dem Monitoring von Rechenzentren (speziell innerhalb des AssetOpsBench-Rahmens) ist eine Halluzination nicht lediglich eine falsche Antwort; sie ist eine strukturelle Abweichung von Beweisen, die sich durch einen Agentenloop fortpflanzt. Diese Abweichungen können sich als prozedurale Übersprünge, falsch referenzierte Entitäten aus vorherigen Schritten oder Verletzungen des Zuständigkeitsbereichs manifestieren, bei denen ein Agent außerhalb seines Auftrags handelt. Aktuelle Evaluierungsparadigmen, die Instanzen als isolierte Eingabe-Ausgabe-Paare behandeln, können nicht diagnostizieren, ob ein System aufgrund eines Missverständnisses der Umgebung oder der Erfindung nicht existierender Zustände versagt hat. Darüber hinaus wird die Definition von Halluzination in interaktiven Schleifen oft mit Logikfehlern oder Werkzeugausführungsfehlern vermischt und fehlt die für eine diagnostische Analyse erforderliche Granularität.

2. Methodik

Die Autoren stellen Trajel vor, einen Datensatz und Evaluierungsrahmen, der entwickelt wurde, um Halluzinationen auf Trajektorie-Ebene in industriellen Multi-Agenten-Workflows zu auditieren. Die Methodik ist um vier Kernkomponenten strukturiert:

A. Trajektoriestruktur und Formalismus

Der Workflow wird als zusammengesetztes KI-System $\Phi = (M, C, T_{tool})$ modelliert, wobei $M$ LLM-gesteuerte Agenten darstellt, $C$ der Orchestrierer ist und $T_{tool}$ die Menge der Werkzeuge. Die Ausführung erfolgt als Sequenz von Schritten $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$ , wobei $\tau_t$ der Gedanke, $\alpha_t$ die Aktion und $\omega_t$ die Beobachtung ist. Eine Trajektorie $T$ ist die geordnete Spur dieser Schritte.

B. Trajektorienbewusste Halluzinationstaxonomie

Die Arbeit definiert Halluzination als strukturelles Prädikat über der TAO-Spur, kategorisiert in fünf verschiedene Typen:

Faktisch ( $h_F$ ): Behauptungen, die durch Grundwahrheitsdaten im aktuellen Schritt widerlegt werden.
Referenziell ( $h_R$ ): Referenzen auf Entitäten oder vorherige Ergebnisse, die in der Trajektorienhistorie fehlen (das Modell „erinnert" sich an etwas, das nie passiert ist).
Logisch ( $h_L$ ): Schlussfolgerungen, die nicht aus ihren Prämissen folgen, selbst wenn die Prämissen korrekt sind.
Prozedural ( $h_P$ ): Überspringen, Neuordnen oder Erfinden von Schritten, die von der Aufgabenspezifikation verlangt werden, oder das Behaupten des Abschlusses nicht vorhandener Schritte.
Zuständigkeitsbereich ( $h_S$ ): Ein Agent handelt oder behauptet etwas außerhalb seines spezifischen operativen Auftrags (einzigartig für Multi-Agenten-Umgebungen).

C. Datensatzkonstruktion (Trajel)

Der Datensatz umfasst 225 von Experten annotierte Agenten-Trajektorien, die über 6 Modellkonfigurationen und 42 industrielle AssetOps-Aufgaben hinweg generiert wurden.

Annotationsprotokoll: Ein hybrider Ansatz mindert Verzerrungen. Trajektorien werden zunächst von einem LLM-as-a-Judge bewertet, gefolgt von einer blind durchgeführten menschlichen Überprüfung durch zwei Institutionen (IBM und Columbia University) ohne Zugang zu den Urteilen des LLM.
Labels: Annotationen umfassen das Vorhandensein von Halluzinationen, den Typ (Multi-Label), die Lokalisierung innerhalb der Spur (Gedanke, Aktion, Beobachtung, Antwort) und eine Freitextbegründung.
Statistiken: Die von Menschen identifizierte Halluzinationsrate beträgt 68,3 %, mit einem Cohens $\kappa$ von 0,456 zwischen automatisierten und menschlichen Urteilen. Bemerkenswerterweise weisen 48,7 % der halluzinierten Trajektorien gleichzeitig mehrere Typen auf.

D. Framework für Detektionsmodellierung

Die Autoren vergleichen drei überwachte Detektionsparadigmen, um unterschiedliche Kontextanforderungen zu adressieren:

Subtask-Level-Klassifikation (BERT): Operiert auf einzelnen Schritten ( $\tau_t, \alpha_t, \omega_t$ ), um lokale Hinweise zu erkennen (effektiv für faktische Halluzinationen).
Trajektorien-Level-NLI: Behandelt die Detektion als Implikationsproblem, wobei die Trajektorienhistorie die Prämisse und der aktuelle Schritt die Hypothese ist (zielt auf referenzielle und logische Halluzinationen ab).
Long-Context-Modellierung (Longformer): Verarbeitet die vollständige serialisierte Trajektorie, um globale strukturelle Verstöße wie prozedurale und zuständigkeitsbasierte Halluzinationen zu erkennen.

E. Signalanalyse

Die Studie untersucht während oder unmittelbar nach der Ausführung beobachtbare Qualitätsindikatoren für die Ausführung (Aufgabenabschluss, Genauigkeit der Datenabfrage, Ergebnisverifikation, Korrektheit der Agentensequenz sowie Klarheit und Begründung), um deren Vorhersagekraft für Halluzinationen zu bestimmen.

3. Wichtige Ergebnisse

A. Verbreitung und Taxonomie

Prozedurale Halluzinationen sind der häufigste Ausfallmodus und machen 38,5 % der identifizierten Fehler aus. Diese sind für eine reine Ausgabe-Evaluierung unsichtbar.
Multi-Label-Komplexität: Fast die Hälfte (48,7 %) der halluzinierten Trajektorien umfasst gleichzeitig mehrere Typen, was die Notwendigkeit von Multi-Label-Formulierungen gegenüber Single-Label-Klassifikationen validiert.
Modellvarianz: Die Halluzinationsraten variieren drastisch zwischen den Modellen und reichen von 52,4 % bis 81,0 %, was erhebliche Diskrepanzen darin zeigt, wie verschiedene Architekturen über lange Horizonte hinweg eine Verankerung aufrechterhalten.

B. Detektionsleistung

LLM-as-a-Judge: Obwohl eine hohe binäre Genauigkeit erreicht wird (F1 = 0,855), klassifiziert der Richter subtile Typen systematisch falsch. Die Übereinstimmung mit Menschen sinkt signifikant für logische ( $\kappa = 0,211$ ) und referenzielle ( $\kappa = 0,176$ ) Halluzinationen.
Überwachte Modelle: Feinabgestimmte Modelle (BERT, NLI, Longformer) verbessern sich gegenüber Baselines der Mehrheitsklasse, erreichen aber auf F1-Scores nicht das Niveau des Zero-Shot-LLM-Richters. Das beste überwachte Modell (NLI) erreicht einen ROC-AUC von 0,689, was bestätigt, dass die Detektion von Halluzinationen auf Trajektorie-Ebene für aktuelle Klassifikatoren eine ungelöste Herausforderung bleibt.
Lokalisierung: Halluzinationen werden am häufigsten in Aktionen (47,5 % der prozeduralen) und Antworten (40,3 % der faktischen) lokalisiert, was darauf hindeutet, dass Fehler häufig bei der Übersetzung von Schlussfolgerungen in Werkzeugaufrufe oder Ausgabebehauptungen auftreten.

C. Vorhersagende Signale

Die Studie identifiziert Klarheit und Begründung (CJ) als den stärksten univariaten Prädiktor für Halluzinationen.

Trajektorien ohne klare, verankerte Schlussfolgerungen halluzinieren mit einer Rate von 94,3 %, im Vergleich zu 9,1 % für Trajektorien mit hoher Klarheit.
Das CJ-Signal allein erreicht einen AUC von 0,908 und übertrifft damit das beste trainierte Klassifikationsmodell (NLI, AUC = 0,689) erheblich.
Wenn sowohl Klarheit als auch Ergebnisverifikation fehlen, erreicht die Halluzinationsrate 97,1 %, was nahelegt, dass diese Signale als effektive „Kill-Switch"-Bedingungen für Agenten-Orchestratoren dienen können.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine trajektorienbewusste Detektion die Standard-Post-hoc-Verifikation signifikant übertrifft, was eine taxonomiefundierte Evaluierung für einen sichereren Einsatz von Agenten notwendig macht.

Verschiebung der Evaluierung: Die Arbeit argumentiert, dass der Übergang von einer binären „endgültigen Antwort"-Verifikation zur strukturellen Analyse der Agentenspur essenziell ist. Das aktuelle Paradigma statischer Benchmarks erfasst die zeitlichen und interaktiven Dynamiken von Agentenschleifen nicht.
Diagnostischer Wert: Die fünf Typen umfassende Taxonomie trennt Verankerungsfehler von Schlussfolgerungsfehlern und Kontrollflussverletzungen, wodurch die Granularität bereitgestellt wird, die benötigt wird, um zu diagnostizieren, wo in der Trajektorie eine Abweichung begann.
Praktischer Weg: Die Ergebnisse deuten darauf hin, dass leichte Laufzeit-Monitore, die auf Qualitätsindikatoren für die Ausführung basieren (insbesondere Klarheit und Begründung), einen praktikableren und effektiveren Weg zur Echtzeit-Detektion von Halluzinationen bieten als das Training komplexer überwachter Klassifikatoren auf begrenzten Trajektoriendaten.
Einschränkungen: Die Autoren erkennen an, dass der Datensatz auf einen einzigen industriellen Bereich (AssetOpsBench) und sechs Modellkonfigurationen beschränkt ist. Die Übereinstimmung zwischen den Annotatoren bleibt für die subtilsten Typen (logisch und referenziell) moderat, was einen Bedarf an reichhaltigeren Annotationsprotokollen aufzeigt. Die Lücke zwischen der Leistung überwachter Klassifikatoren und der Leistung des LLM-Richters motiviert zukünftige Arbeiten an hybriden Architekturen.

Zusammenfassend bietet Trajel den ersten systematischen Rahmen für das Auditieren von Halluzinationen auf Trajektorie-Ebene in industriellen Multi-Agenten-Workflows und zeigt, dass prozedurale und zuständigkeitsbasierte Fehler weit verbreitet sind, häufig gemeinsam auftreten und Evaluierungsmethoden erfordern, die die strukturelle Integrität der Ausführungsspur des Agenten respektieren.