🤖 AI

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

L'article présente CockpitHAT, un cadre d'attribution hiérarchique qui exploite des graphes de dépendance, des preuves multicanaux et une évaluation axée sur la sécurité pour diagnostiquer efficacement les défaillances au niveau des processus dans les systèmes de cockpit multi-agents incarnés, surpassant les méthodes existantes basées uniquement sur le texte sur les benchmarks publics et nouvellement publiés.

Auteurs originaux : Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez une équipe de robots travaillant ensemble pour conduire une voiture. Ils se parlent, consultent la carte et décident quand tourner le volant. C'est le monde des systèmes multi-agents : des groupes d'agents d'IA collaborant pour résoudre des problèmes. Mais voici la partie délicate : parfois, les robots atteignent la destination finale avec succès, mais ils ont emprunté un chemin terrible et dangereux pour y parvenir. Peut-être ont-ils failli percuter un mur juste pour éviter une flaque d'eau, ou ont-ils éteint les phares parce qu'ils ont mal interprété une plaisanterie. C'est ce qu'on appelle l'« Effondrement de la Correction » (Correctness Collapse). C'est comme un élève qui obtient un « A » à un test de mathématiques parce qu'il a deviné la bonne réponse, mais dont le travail montre qu'il a oublié comment additionner des nombres. Dans une voiture, deviner la bonne réponse ne suffit pas ; le processus doit aussi être sûr.

Pour corriger cela, les scientifiques doivent jouer aux détectives. Ils doivent examiner la conversation des robots et déterminer exactement qui a commis l'erreur et quand elle s'est produite. C'est ce qu'on appelle l'attribution. Habituellement, les détectives se contentent de lire les journaux de discussion. Mais dans une voiture, les robots communiquent aussi avec le moteur, le GPS et les capteurs. Si un robot dit « Je vais bien » alors que le moteur est en feu, un simple journal de chat ne vous dira pas la vérité. Vous devez regarder l'image globale : les mots, l'état de la voiture et l'environnement. Ce document présente une nouvelle façon d'être un détective capable d'examiner tous ces indices à la fois, spécifiquement pour les voitures autonomes ou dotées d'assistants intelligents.

La nouvelle boîte à outils du détective : CockpitHAT

Les chercheurs de ByteDance ont conçu un nouveau système appelé CockpitHAT pour résoudre le problème de l'« Effondrement de la Correction » dans les cockpits de voitures. Ils ont réalisé que les anciennes méthodes de détection étaient trop simples. Elles considéraient généralement une conversation comme une suite de texte, supposant que ce qui s'était passé juste avant une erreur en était la cause. Mais dans une équipe complexe de robots, la cause d'un accident peut être survenue dix étapes plus tôt, ou peut être cachée dans un signal envoyé par la voiture aux freins, et non dans les paroles échangées par les robots.

La Carte de Dépendance : Suivre la trace, pas l'horloge
Imaginez que vous essayez de comprendre qui a renversé un verre de lait. Si vous regardez simplement qui se trouvait à côté de la table au moment où il est tombé, vous pourriez accuser la mauvaise personne. Peut-être que la personne qui l'a renversé l'a fait il y a cinq minutes, et que la personne présente à cet instant n'était là que par hasard.

CockpitHAT utilise un Graphe de Dépendance au lieu d'une simple chronologie. Considérez cela comme une carte des connexions de « cause à effet » plutôt qu'une horloge. Il demande : « Cette action dépendait-elle de cette action précédente ? » Si le Robot A a envoyé une commande que le Robot B a utilisée, ils sont connectés, même s'ils ont communiqué à des moments différents. Si deux robots discutaient simplement de la météo sans affecter les freins de la voiture, ils sont éloignés sur la carte, même s'ils ont parlé à une seconde d'intervalle. En découpant l'enquête selon ces connexions (la « proximité » des actions sur la carte) plutôt que selon le temps, CockpitHAT peut identifier le véritable coupable bien mieux.

L'Adaptateur « Incarné » : Écouter le cœur de la voiture
Le plus gros problème des anciennes méthodes est qu'elles n'écoutent que la voix des robots. Mais dans une voiture, la « voix » n'est pas seulement faite de mots ; c'est aussi le compteur de vitesse, la température du moteur et la mémoire de ce qui s'est passé lors de la dernière conduite.

CockpitHAT ajoute un Adaptateur de Canal Incarné (Embodied Channel Adapter) spécial. Imaginez cela comme un traducteur qui écoute non seulement la conversation, mais aussi les voyants du tableau de bord et la nervosité du conducteur. Si un robot dit « Tout est clair » mais que les capteurs de la voiture détectent un piéton, cet adaptateur le signale immédiatement. Il fait remonter ce signal dangereux au premier plan de l'enquête, garantissant que les avertissements de sécurité ne soient pas enterrés dans l'historique. Il traite les violations de sécurité comme les indices les plus importants, les plaçant en tête de liste quel que soit le moment où ils sont survenus.

Le Jury axé sur la Sécurité
Une fois les indices rassemblés, CockpitHAT ne se contente pas de choisir une seule réponse. Il utilise un comité de quatre analystes IA pour voter sur ce qui s'est passé. L'un de ces analystes est un « Expert en Sécurité » dédié, dont la seule mission est de rechercher le danger. Si le groupe débat pour savoir si une erreur était mineure ou potentiellement mortelle, l'Expert en Sécurité bénéficie d'un poids supplémentaire.

Le système utilise une règle de vote spéciale : s'il existe la moindre chance qu'une erreur puisse être dangereuse (comme un risque de collision), le système suppose le pire scénario par mesure de prudence. Il vaut mieux être excessivement prudent et dire « Ceci est dangereux » que de manquer une menace réelle. Cela garantit que le rapport final met en évidence les défaillances les plus critiques, et pas seulement les plus évidentes.

Ce qu'ils ont découvert

L'équipe a testé son nouveau système de détection sur deux types de défis. Premièrement, ils ont utilisé des tests existants (appelés Who&When) qui comprenaient des traces de défaillance créées manuellement et générées par algorithme. Sur ces tests, CockpitHAT est nettement supérieur aux meilleures méthodes précédentes.

Il a identifié correctement le mauvais robot 77,9 % du temps sur les tests faits main et 86,5 % sur les tests générés par ordinateur.
Il a localisé le moment exact de l'erreur 37,8 % du temps sur les tests faits main et 46,0 % sur les tests générés par ordinateur.
Cela représente un bond massif allant jusqu'à 17,6 points de précision par rapport aux anciens champions basés uniquement sur le « texte ».

Deuxièmement, ils ont créé leur propre nouveau test appelé COCKPITBENCH. Il s'agit d'une collection spéciale de 212 récits de défaillance spécifiques aux voitures, incluant des données du monde réel et des cas limites complexes. Ces récits sont étiquetés avec les niveaux de gravité ISO 26262 ASIL (une norme pour évaluer la dangerosité d'une défaillance, de A à D).

Sur ce nouveau test exigeant, CockpitHAT a trouvé le mauvais agent 78,3 % du temps et l'étape exacte 38,2 % du temps.
Il s'est montré particulièrement efficace pour détecter les violations de sécurité, qui sont les plus critiques à identifier.

Pourquoi c'est important

L'article suggère que pour que l'IA soit sûre dans des environnements physiques réels comme les voitures, nous ne pouvons pas nous contenter de regarder le texte qu'elle écrit. Nous devons comprendre comment ses actions dépendent les unes des autres et comment elles interagissent avec le monde physique. CockpitHAT démontre qu'en cartographiant ces dépendances et en écoutant les capteurs de la voiture, nous pouvons détecter des erreurs dangereuses que d'autres systèmes ignorent.

Cependant, les auteurs précisent avec prudence qu'il s'agit d'un outil de diagnostic a posteriori, et non d'un système destiné à empêcher les accidents en temps réel. Il aide les ingénieurs à comprendre ce qui s'est mal passé afin qu'ils puissent corriger les robots avant qu'ils ne repartent. Ils admettent également que leur système dépend de signaux clairs et pourrait éprouver des difficultés si les robots utilisent des connaissances cachées ou si la voiture se trouve dans une situation totalement nouvelle et déroutante. Mais pour l'instant, il offre une fenêtre bien plus claire sur la « boîte noire » des systèmes de voitures multi-agents, transformant un chaos confus d'erreurs en un mystère soluble.

Résumé Technique : CockpitHAT

Énoncé du Problème

Les systèmes multi-agents basés sur les grands modèles de langage (LLM) dans des environnements incarnés à enjeux critiques pour la sécurité, tels que les cockpits automobiles, souffrent d'un phénomène nommé Effondrement de la Correctitude (Correctness Collapse). Dans ce scénario, les systèmes peuvent atteindre une précision élevée au niveau de la tâche tout en masquant de graves défaillances au niveau du processus. Dans le contexte automobile, cela est particulièrement dangereux car des énoncés lexicalement corrects peuvent déclencher des opérations physiques dangereuses (par exemple, désactiver les feux de visibilité) qui ne sont détectables que via des canaux non textuels comme l'état du véhicule ou le contexte environnemental.

Les méthodes d'attribution existantes ne parviennent pas à traiter ce régime pour deux raisons principales :

Limitations Méthodologiques : Les approches actuelles reposent exclusivement sur des traces textuelles et des fenêtres positionnelles, ignorant les structures de dépendance et les preuves multicanaux (état du véhicule, environnement, mémoire). Elles manquent de mécanismes pour incorporer les étiquettes de sévérité de sécurité ISO 26262 (ASIL).
Déficiences des Benchmarks : Les suites d'évaluation existantes sont uniquement textuelles, mono-agents, ou manquent d'annotations de sévérité de sécurité, sous-représentant systématiquement les défaillances catastrophiques rares et omettant les étiquettes de sécurité critiques.

Méthodologie : COCKPITHAT

Les auteurs introduisent COCKPITHAT, un cadre d'attribution hiérarchique conçu pour diagnostiquer les défaillances dans les systèmes multi-agents incarnés en intégrant des graphes de dépendance, des preuves multicanaux et un consensus sensible à la sécurité.

1. Découpage Hiérarchique piloté par Graphe de Dépendance

Au lieu d'utiliser des fenêtres positionnelles fixes, COCKPITHAT construit un Graphe Acyclique Dirigé (DAG) à partir de la trace d'interaction.

Construction du Graphe : Les nœuds représentent les actions des agents (texte ou appels d'outils). Des arêtes dirigées sont induites sur la base de quatre signaux opérationnels : référence (liaison d'entités), plan (exécution de plans proposés), outil (utilisation de la sortie d'un outil) et contrôle (délégation de tâche).
Distance de Dépendance : La sélection du contexte est basée sur la distance du chemin le plus court dans le DAG ($dd$) plutôt que sur l'adjacence temporelle.
Découpage à Quatre Couches : Pour toute étape focale, le contexte est découpé en quatre couches selon la distance de dépendance :
- Immédiat ($dd=1$) : Contenu verbatim avec chaînes de raisonnement complètes.
- Local ($dd=2$) : Compressé en actions et engagements clés.
- Distant ($dd=3,4$) : Résultats résumés (maximum 20 mots).
- Global ( $dd \ge 5$ ) : Jalons épars (décisions, échecs, transferts).

2. Adaptateur de Canal Incarné (ECA)

Pour traiter les défaillances invisibles dans le texte (ex: violations de sécurité, mauvaise interprétation de l'environnement), un Adaptateur de Canal Incarné est employé lorsque le schéma de la trace inclut des canaux secondaires (environnement, état du véhicule, mémoire).

Scan de Saillance : Un LLM léger scanne la trace pour signaler les étapes associées à quatre classes de défaillances : Risque d'Interaction, Mauvaise Interprétation Environnementale, Violation de Sécurité et Contamination Trans-domaine.
Promotion Sensible au Canal : Les nœuds signalés sont promus vers des couches de contexte supérieures (plus proches de la couche immédiate) indépendamment de leur distance de dépendance. Spécifiquement, les Violations de Sécurité sont forcées dans la couche immédiate ( $L_1$ ).
Attachement de Preuve : Les données de canaux secondaires pertinentes (ex: état du véhicule $\sigma$ , environnement $e$ , mémoire $m$ ) sont attachées aux nœuds promus en fonction de l'étiquette de défaillance.

3. Consensus d'Objectif avec Rehaussement de Sécurité

Le cadre emploie un panel d'analystes spécialisés pour résoudre l'attribution, allant au-delà de l'agrégation de coût symétrique.

Panel Multi-Analystes : Chaque trace est analysée par $K=4$ agents : un Analyste de Sécurité obligatoire (priorisant la sévérité ISO 26262) et trois analystes génériques échantillonnés à partir d'un pool de personas diversifiés.
Consensus en Deux Étapes :
1. Priorité à la Sévérité Maximale : La note de sévérité finale ( $\eta^*$ ) est déterminée par la sévérité prédite maximale parmi les analystes confiants, empêchant les alarmes à haut risque d'être contredites par un vote majoritaire.
2. Agrégation avec Rehaussement de Sécurité : Les poids des analystes sont ajustés de manière asymétrique en fonction de la sévérité prédite. Les prédictions de haute sévérité reçoivent un "rehaussement de sécurité" (croissance super-linéaire), garantissant que les défaillances critiques pour la sécurité ne soient pas diluées par un consensus générique.
Résolution des Désaccords : Si les scores marginaux tombent en dessous d'un seuil calibré, un protocole force les analystes à citer des preuves explicites, avec un arbitrage mécanique favorisant les hypothèses soutenues par des preuves concrètes de la trace.

Contributions Clés

Cadre COCKPITHAT : Un nouveau système d'attribution qui remplace les fenêtres positionnelles par des seuils de distance de dépendance, intègre des preuves incarnées multicanaux via un adaptateur, et applique un mécanisme de vote avec rehaussement de sécurité.
COCKPITBENCH : Un nouveau benchmark comprenant 212 traces de défaillances annotées couvrant les canaux de dialogue, d'état du véhicule, d'environnement et de mémoire.
- Les traces couvrent huit catégories de défaillances et quatre niveaux de sévérité ASIL de l'ISO 26262.
- Les annotations sont dérivées d'un processus de consensus par trois experts.
- Le jeu de données inclut des scénarios générés algorithmiquement, faits main et issus de la télémétrie réelle.

Résultats Expérimentaux

Les auteurs ont évalué COCKPITHAT sur le benchmark Who&When (segments Hand-Crafted et Algorithm-Generated) et sur leur propre COCKPITBENCH.

Performance sur Who&When :
- Précision au Niveau de l'Agent : A atteint 77,9 % (Hand-Crafted) et 86,5 % (Algorithm-Generated), surpassant l'état de l'art textuel (ECHO) jusqu'à 17,6 et 16,7 points respectivement.
- Précision à l'Étape Exacte : A atteint 37,8 % (Hand-Crafted) et 46,0 % (Algorithm-Generated), surpassant ECHO jusqu'à 16,7 points.
- Tolérance : Le modèle a montré des gains significatifs dans la localisation des étapes même avec une tolérance (ex: +12,3 points à $\pm 5$ étapes sur Hand-Crafted).
Performance sur COCKPITBENCH :
- A atteint 78,3 % de précision au niveau de l'agent et 38,2 % de précision à l'étape exacte.
- Études d'Ablation :
  - Le Découpage Hiérarchique par Dépendance a été le principal contributeur aux gains de précision au niveau de l'agent, apportant un bond de +25,2 points sur COCKPITBENCH.
  - L'Adaptateur de Canal Incarné (ECA) a été le facteur décisif pour la précision au niveau de l'étape sur COCKPITBENCH, améliorant la précision de l'étape de +6,2 points (de 0,320 à 0,382) et la précision de l'agent de +4,5 points supplémentaires. Ce composant a permis de récupérer les étapes de début d'erreur que les étapes textuelles antérieures avaient tendance à compresser.
  - Le Consensus avec Rehaussement de Sécurité a contribué à la performance globale, les tranches de haute sévérité (ASIL-C/D) montrant une précision de l'étape plus élevée, ce qui est cohérent avec la conception de l'ECA qui force les violations de sécurité dans les couches immédiates.

Signification et Revendications

L'article affirme qu'une attribution sensible à la dépendance, multicanale et calibrée au risque est un paradigme efficace pour le diagnostic de défaillances fiables dans les systèmes multi-agents LLM incarnés réels.

Changement de Paradigme : Il déplace l'attribution d'une notation basée sur le résultat vers une localisation systématique des erreurs qui tient compte des changements d'état physique et de la sévérité de la sécurité.
Intégration de la Sécurité : En couplant les étiquettes ISO 26262 ASIL avec l'attribution, le cadre garantit que les défaillances à haut risque ne sont pas masquées par des taux de succès élevés au niveau de la tâche.
Benchmarking : COCKPITBENCH répond aux limites structurelles des benchmarks précédents en fournissant le premier jeu de données avec des étiquettes de sévérité conjointes ISO 26262 et des preuves incarnées multicanaux.

Les auteurs positionnent ce travail comme une étape nécessaire vers le diagnostic de l'« Effondrement de la Correctitude » dans les domaines critiques pour la sécurité, notant que bien que le système soit conçu pour le diagnostic post-hoc, il établit les fondations pour de futures interventions de sécurité en temps réel.