Résumé technique : Au-delà des réponses finales : Audit des hallucinations au niveau de la trajectoire dans les flux de travail industriels multi-agents

1. Énoncé du problème

La transition des modèles de langage de grande taille (LLM) statiques vers des systèmes d'agents autonomes introduit un mode de défaillance critique : l'hallucination au niveau de la trajectoire. Alors que les benchmarks existants (par exemple, TruthfulQA, AgentBench) évaluent les hallucinations principalement comme des erreurs factuelles « en un seul coup » dans les réponses finales, ils ne parviennent pas à capturer les déviations survenant au sein des cycles séquentiels et médiatisés par des outils Pensée-Action-Observation (TAO) des flux de travail multi-agents.

Dans des contextes industriels comme la surveillance des centres de données (spécifiquement au sein du cadre AssetOpsBench), une hallucination n'est pas simplement une mauvaise réponse ; c'est une déviation structurelle par rapport aux preuves qui se propage à travers une boucle d'agent. Ces déviations peuvent se manifester par des sauts procéduraux, des entités mal référencées provenant d'étapes précédentes, ou des violations de périmètre où un agent agit en dehors de son mandat. Les paradigmes d'évaluation actuels, qui traitent les instances comme des paires entrée-sortie isolées, ne peuvent pas diagnostiquer si un système a échoué en raison d'une incompréhension de l'environnement ou de l'invention d'états inexistants. De plus, la définition de l'hallucination dans les boucles interactives est souvent confondue avec des erreurs de logique ou des échecs d'exécution d'outils, manquant de la granularité requise pour une analyse diagnostique.

2. Méthodologie

Les auteurs introduisent Trajel, un jeu de données et un cadre d'évaluation conçus pour auditer les hallucinations au niveau de la trajectoire dans les flux de travail industriels multi-agents. La méthodologie est structurée autour de quatre composants principaux :

A. Structure et formalisme de la trajectoire

Le flux de travail est modélisé comme un système d'IA composé $\Phi = (M, C, T_{tool})$, où $M$ représente les agents pilotés par LLM, $C$ est l'orchestrateur, et $T_{tool}$ est l'ensemble des outils. L'exécution se déroule comme une séquence d'étapes $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$, où $\tau_t$ est la pensée, $\alpha_t$ est l'action, et $\omega_t$ est l'observation. Une trajectoire $T$ est la trace ordonnée de ces étapes.

B. Taxonomie des hallucinations conscientes de la trajectoire

L'article définit l'hallucination comme un prédicat structurel sur la trace TAO, catégorisée en cinq types distincts :

1. Factual ($h_F$) : Affirmations contredites par les données de vérité terrain à l'étape actuelle.
2. Référentielle ($h_R$) : Références à des entités ou des résultats antérieurs absents de l'historique de la trajectoire (le modèle « se souvient » de quelque chose qui n'est jamais arrivé).
3. Logique ($h_L$) : Raisonnement qui ne découle pas de ses prémisses, même si les prémisses sont correctes.
4. Procédurale ($h_P$) : Saut, réorganisation ou fabrication d'étapes requises par la spécification de la tâche, ou affirmation de l'achèvement d'étapes absentes.
5. Périmètre ($h_S$) : Un agent agissant ou affirmant en dehors de son mandat opérationnel spécifique (unique aux contextes multi-agents).

C. Construction du jeu de données (Trajel)

Le jeu de données comprend 225 trajectoires d'agents annotées par des experts générées à travers 6 configurations de modèles et 42 tâches industrielles AssetOps.

• Protocole d'annotation : Une approche hybride atténue les biais. Les trajectoires sont d'abord évaluées par un LLM en tant que Juge, suivies d'une revue humaine à l'aveugle par deux institutions (IBM et l'Université Columbia) sans accès aux jugements du LLM.
• Étiquettes : Les annotations incluent la présence d'hallucination, le type (multi-étiquette), la localisation dans la trace (Pensée, Action, Observation, Réponse), et une justification en texte libre.
• Statistiques : Le taux d'hallucination identifié par les humains est de 68,3 %, avec un $\kappa$ de Cohen de 0,456 entre les jugements automatisés et humains. Notamment, 48,7 % des trajectoires hallucinées présentent plusieurs types simultanément.

D. Cadre de modélisation de la détection

Les auteurs évaluent trois paradigmes de détection supervisée pour répondre à différentes exigences de contexte :

1. Classification au niveau de la sous-tâche (BERT) : Opère sur des étapes individuelles ($\tau_t, \alpha_t, \omega_t$) pour détecter des indices locaux (efficace pour les hallucinations factuelles).
2. NLI au niveau de la trajectoire : Traite la détection comme un problème d'inférence où l'historique de la trajectoire est la prémisse et l'étape actuelle est l'hypothèse (cible les hallucinations référentielles et logiques).
3. Modélisation de contexte long (Longformer) : Ingère la trajectoire complète sérialisée pour détecter des violations structurelles globales comme les hallucinations procédurales et basées sur le périmètre.

E. Analyse des signaux

L'étude examine les signaux de qualité d'exécution observables pendant ou immédiatement après l'exécution (Achèvement de la tâche, Précision de la récupération de données, Vérification des résultats, Correctitude de la séquence d'agents, et Clarté & Justification) pour déterminer leur pouvoir prédictif concernant l'hallucination.

3. Résultats clés

A. Prévalence et taxonomie

• Les hallucinations procédurales sont le mode de défaillance le plus courant, représentant 38,5 % des défaillances identifiées. Elles sont invisibles pour une évaluation basée uniquement sur la sortie.
• Complexité multi-étiquette : Près de la moitié (48,7 %) des trajectoires hallucinées impliquent plusieurs types simultanément, validant le besoin de formulations multi-étiquettes plutôt que de classifications à étiquette unique.
• Variance des modèles : Les taux d'hallucination varient considérablement d'un modèle à l'autre, allant de 52,4 % à 81,0 %, indiquant des écarts significatifs dans la façon dont différentes architectures maintiennent l'ancrage sur de longues horizons.

B. Performance de détection

• LLM en tant que Juge : Bien qu'atteignant une haute précision binaire (F1 = 0,855), le juge classe systématiquement de manière erronée les types subtils. L'accord avec les humains chute significativement pour les hallucinations Logiques ($\kappa = 0,211$) et Référentielles ($\kappa = 0,176$).
• Modèles supervisés : Les modèles affinés (BERT, NLI, Longformer) améliorent les bases de classe majoritaire mais échouent à égaler le juge LLM en zéro-shot sur les scores F1. Le meilleur modèle supervisé (NLI) atteint un ROC-AUC de 0,689, confirmant que la détection d'hallucinations au niveau de la trajectoire reste un défi non résolu pour les classificateurs actuels.
• Localisation : Les hallucinations sont le plus souvent localisées dans les Actions (47,5 % des procédurales) et les Réponses (40,3 % des factuelles), suggérant que les défaillances surviennent souvent dans la traduction du raisonnement vers l'appel d'outils ou les affirmations de sortie.

C. Signaux prédictifs

L'étude identifie la Clarté et la Justification (CJ) comme le prédicteur univarié le plus fort de l'hallucination.

• Les trajectoires manquant de raisonnement clair et ancré hallucinent à un taux de 94,3 %, contre 9,1 % pour les trajectoires à haute clarté.
• Le signal CJ seul atteint un AUC de 0,908, surpassant considérablement le meilleur classificateur entraîné (NLI, AUC = 0,689).
• Lorsque la Clarté et la Vérification des résultats sont tous deux absents, le taux d'hallucination atteint 97,1 %, suggérant que ces signaux peuvent servir de conditions de « coupure » efficaces pour les orchestrateurs d'agents.

4. Signification et affirmations

L'article affirme que la détection consciente de la trajectoire surpasse significativement la vérification post-hoc standard, rendant l'évaluation fondée sur la taxonomie nécessaire pour un déploiement d'agents plus sûr.

• Changement d'évaluation : L'ouvrage soutient que passer d'une vérification binaire de la « réponse finale » à une analyse structurelle de la trace de l'agent est essentiel. Le paradigme actuel des benchmarks statiques ne parvient pas à capturer la dynamique temporelle et interactive des boucles d'agents.
• Valeur diagnostique : La taxonomie à cinq types démêle les échecs d'ancrage des erreurs de raisonnement et des violations de flux de contrôle, fournissant la granularité nécessaire pour diagnostiquer où dans la trajectoire une déviation a commencé.
• Voie pratique : Les résultats suggèrent que des moniteurs d'exécution légers basés sur des signaux de qualité d'exécution (spécifiquement la Clarté et la Justification) offrent une voie plus pratique et efficace vers la détection d'hallucinations en temps réel que l'entraînement de classificateurs supervisés complexes sur des données de trajectoire limitées.
• Limites : Les auteurs reconnaissent que le jeu de données est limité à un seul domaine industriel (AssetOpsBench) et à six configurations de modèles. L'accord inter-annotateurs reste modéré pour les types les plus subtils (Logique et Référentielle), indiquant le besoin de protocoles d'annotation plus riches. L'écart entre la performance des classificateurs supervisés et celle du juge LLM motive les travaux futurs sur des architectures hybrides.

En conclusion, Trajel fournit le premier cadre systématique pour l'audit des hallucinations au niveau de la trajectoire dans les flux de travail industriels multi-agents, démontrant que les défaillances procédurales et basées sur le périmètre sont prévalentes, co-occurrent souvent, et nécessitent des méthodes d'évaluation qui respectent l'intégrité structurelle de la trace d'exécution de l'agent.