Technische Samenvatting: Voorbij de Eindantwoorden: Audit van Traject-niveau Hallucinaties in Multi-Agent Industriële Werkstromen

1. Probleemstelling

De overgang van statische Large Language Models (LLM's) naar autonome agentische systemen introduceert een kritieke faalmodus: hallucinatie op trajectniveau. Waar bestaande benchmarks (zoals TruthfulQA, AgentBench) hallucinaties voornamelijk evalueren als "one-shot" feitelijke fouten in einduitkomsten, slagen ze er niet in afwijkingen te vangen die optreden binnen de sequentiële, tool-gemedieerde Thought-Action-Observation (TAO)-cycli van multi-agent werkstromen.

In industriële omgevingen zoals monitoring van datacenters (specifiek binnen het AssetOpsBench-kader), is een hallucinatie niet louter een fout antwoord; het is een structurele afwijking van bewijs die zich voortplant door een agentlus. Deze afwijkingen kunnen zich manifesteren als procedurele oversprongen, verkeerd gerefereerde entiteiten uit eerdere stappen, of schendingen van het mandaat waarbij een agent buiten zijn opdracht handelt. Huidige evaluatieparadigma's, die gevallen behandelen als geïsoleerde input-outputparen, kunnen niet diagnosticeren of een systeem faalde door een misverstand van de omgeving of door het verzinnen van niet-bestaande toestanden. Bovendien wordt de definitie van hallucinatie in interactieve lussen vaak verward met logische fouten of tool-uitvoeringsfalen, waardoor de granulariteit ontbreekt die nodig is voor diagnostische analyse.

2. Methodologie

De auteurs introduceren Trajel, een dataset en evaluatiekader ontworpen om hallucinaties op trajectniveau te auditeren in multi-agent industriële werkstromen. De methodologie is gestructureerd rond vier kerncomponenten:

A. Trajectstructuur en Formalisme

De werkstroom wordt gemodelleerd als een samengesteld AI-systeem $\Phi = (M, C, T_{tool})$, waarbij $M$ LLM-gedreven agenten voorstelt, $C$ de orkestreerder is, en $T_{tool}$ de set tools. Uitvoering verloopt als een reeks stappen $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$, waarbij $\tau_t$ de gedachte is, $\alpha_t$ de actie, en $\omega_t$ de observatie. Een traject $T$ is de geordende trace van deze stappen.

B. Traject-bewuste Hallucinatie Taxonomie

Het paper definieert hallucinatie als een structurele predicaat over de TAO-trace, gecategoriseerd in vijf onderscheiden types:

1. Feitelijk ($h_F$): Beweringen die worden tegengesproken door grondwaarheidsdata in de huidige stap.
2. Referentieel ($h_R$): Referenties naar entiteiten of eerdere resultaten die afwezig zijn in de trajectgeschiedenis (het model "herinnert" zich iets dat nooit is gebeurd).
3. Logisch ($h_L$): Redenering die niet voortvloeit uit de premissen, zelfs als de premissen correct zijn.
4. Procedureel ($h_P$): Het overslaan, herschikken of fabriceren van stappen die vereist zijn door de taakspecificatie, of het claimen van voltooiing van afwezige stappen.
5. Mandaat ($h_S$): Een agent die handelt of claimt buiten zijn specifieke operationele mandaat (uniek voor multi-agent omgevingen).

C. Dataset Constructie (Trajel)

De dataset bestaat uit 225 door experts geannoteerde agent-trajecten gegenereerd over 6 modelconfiguraties en 42 industriële AssetOps-taken.

• Annotatieprotocol: Een hybride aanpak mitigeert bias. Trajecten worden eerst geëvalueerd door een LLM-as-a-Judge, gevolgd door blinde menselijke beoordeling van twee instellingen (IBM en Columbia University) zonder toegang tot de oordelen van de LLM.
• Labels: Annotaties omvatten aanwezigheid van hallucinatie, type (multi-label), lokalisatie binnen de trace (Gedachte, Actie, Observatie, Respons), en vrije tekst-rationaal.
• Statistieken: Het door mensen geïdentificeerde hallucinatiepercentage is 68,3%, met een Cohen's $\kappa$ van 0,456 tussen geautomatiseerde en menselijke oordelen. Opmerkelijk is dat 48,7% van de gehallucineerde trajecten meerdere types gelijktijdig vertoont.

D. Detectiemodelleringskader

De auteurs benchmarken drie gesuperviseerde detectieparadigma's om verschillende contextvereisten aan te pakken:

1. Subtaak-niveau Classificatie (BERT): Werkt op individuele stappen ($\tau_t, \alpha_t, \omega_t$) om lokale aanwijzingen te detecteren (effectief voor Feitelijke hallucinaties).
2. Traject-niveau NLI: Behandelt detectie als een implicatieprobleem waarbij de trajectgeschiedenis de premissen is en de huidige stap de hypothese (richt zich op Referentiële en Logische hallucinaties).
3. Long-context Modelleren (Longformer): Ingeeft het volledige gesequencede traject om globale structurele schendingen te detecteren zoals Procedurele en Mandaat-gebaseerde hallucinaties.

E. Signaalanalyse

De studie onderzoekt uitvoeringskwaliteitssignalen die waarneembaar zijn tijdens of direct na uitvoering (Taakvoltooiing, Nauwkeurigheid Data Retrieval, Resultaatverificatie, Correctheid Agent-volgorde, en Duidelijkheid & Rechtvaardiging) om hun voorspellende kracht voor hallucinatie te bepalen.

3. Belangrijkste Resultaten

A. Prevalentie en Taxonomie

• Procedurele hallucinaties zijn de meest voorkomende faalmodus, goed voor 38,5% van de geïdentificeerde fouten. Deze zijn onzichtbaar voor evaluatie op basis van alleen output.
• Multi-label complexiteit: Bijna de helft (48,7%) van de gehallucineerde trajecten omvat meerdere types gelijktijdig, wat de noodzaak valideert van multi-label formuleringen boven enkel-label classificaties.
• Modelvariatie: Hallucinatiepercentages variëren drastisch tussen modellen, van 52,4% tot 81,0%, wat wijst op significante discrepanties in hoe verschillende architecturen gronding behouden over lange horizons.

B. Detectieprestaties

• LLM-as-a-Judge: Hoewel hoge binaire nauwkeurigheid wordt bereikt (F1 = 0,855), classificeert de judge systematisch subtiele types verkeerd. De overeenstemming met mensen daalt aanzienlijk voor Logische ($\kappa = 0,211$) en Referentiële ($\kappa = 0,176$) hallucinaties.
• Gesuperviseerde Modellen: Fine-tuned modellen (BERT, NLI, Longformer) verbeteren ten opzichte van meerderheidsklasse-baselines, maar slagen er niet in de zero-shot LLM-judge te evenaren op F1-scores. Het beste gesuperviseerde model (NLI) bereikt een ROC-AUC van 0,689, wat bevestigt dat detectie van hallucinaties op trajectniveau een onopgeloste uitdaging blijft voor huidige classifiers.
• Lokalisatie: Hallucinaties worden het meest frequent gelokaliseerd in Acties (47,5% van procedurele) en Responsen (40,3% van feitelijke), wat suggereert dat fouten vaak optreden in de vertaling van redenering naar tool-uitvoering of outputclaims.

C. Voorspellende Signalen

De studie identificeert Duidelijkheid en Rechtvaardiging (CJ) als de sterkste univariate voorspeller van hallucinatie.

• Trajecten die geen duidelijke, gegrondde redenering bevatten, hallucineren met een percentage van 94,3%, vergeleken met 9,1% voor trajecten met hoge duidelijkheid.
• Het CJ-signaal alleen bereikt een AUC van 0,908, wat aanzienlijk beter presteert dan de beste getrainde classifier (NLI, AUC = 0,689).
• Wanneer zowel Duidelijkheid als Resultaatverificatie ontbreken, bereikt het hallucinatiepercentage 97,1%, wat suggereert dat deze signalen kunnen dienen als effectieve "kill-switch" condities voor agent-orkestrators.

4. Betekenis en Claims

Het paper claimt dat traject-bewuste detectie significant beter presteert dan standaard post-hoc verificatie, waardoor taxonomie-gegronde evaluatie noodzakelijk is voor veiligere agentische implementatie.

• Verschuiving in Evaluatie: Het werk betoogt dat de overstap van binaire "eindantwoord"-verificatie naar structurele analyse van de agent-trace essentieel is. Het huidige paradigma van statische benchmarks slaagt er niet in de temporele en interactieve dynamiek van agentlussen te vangen.
• Diagnostische Waarde: De vijf-type taxonomie ontrafelt grondingsfouten van redeneringsfouten en controle-vloerschendingen, en biedt de granulariteit die nodig is om te diagnosticeren waar in het traject een afwijking begon.
• Praktisch Pad: De bevindingen suggereren dat lichtgewicht runtime-monitoren gebaseerd op uitvoeringskwaliteitssignalen (specifiek Duidelijkheid & Rechtvaardiging) een meer praktische en effectieve weg bieden naar real-time hallucinatie-detectie dan het trainen van complexe gesuperviseerde classifiers op beperkte trajectdata.
• Beperkingen: De auteurs erkennen dat de dataset beperkt is tot één industrieel domein (AssetOpsBench) en zes modelconfiguraties. De overeenstemming tussen annotators blijft gematigd voor de meest subtiele types (Logisch en Referentieel), wat wijst op de noodzaak van rijkere annotatieprotocollen. De kloof tussen de prestaties van gesuperviseerde classifiers en de LLM-judge motiveert toekomstig werk aan hybride architecturen.

Kortom, Trajel biedt het eerste systematische kader voor het auditeren van hallucinaties op trajectniveau in multi-agent industriële werkstromen, en demonstreert dat procedurele en mandaat-gebaseerde fouten veelvoorkomend zijn, vaak gelijktijdig optreden, en evaluatiemethoden vereisen die de structurele integriteit van de uitvoeringstrace van de agent respecteren.