Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

Résumé Technique : Graphes de Décision Expliquables pour les Systèmes Multi-Agents Autonomes de Confiance

Énoncé du Problème
Les Systèmes Multi-Agents (SMA) autonomes sont de plus en plus déployés dans des domaines critiques tels que la santé, la finance, la cybersécurité et le transport autonome. Bien que ces systèmes offrent de la flexibilité et de la scalabilité grâce à la prise de décision distribuée, leur nature collaborative crée un problème de « boîte noire ». Les décisions finales émergent souvent de séquences complexes d'observations, de communications entre agents, de raisonnements intermédiaires, de conflits et d'étapes de vérification. Les techniques existantes d'Intelligence Artificielle Expliquable (XAI), spécifiquement LIME (Local Interpretable Model-Agnostic Explanations) et SHAP (SHapley Additive exPlanations), sont principalement conçues pour expliquer des prédictions individuelles de modèles d'apprentissage automatique. Elles manquent de la capacité de représenter des phénomènes au niveau du système, tels que quels agents spécifiques ont contribué à une décision, comment les preuves ont été échangées, comment les conflits ont été résolus ou comment les règles de vérification ont été appliquées. Par conséquent, il existe une lacune dans la représentation du processus de raisonnement distribué des SMA sous une forme compréhensible, traçable et vérifiable.

Méthodologie : Le Graphe de Décision Expliquable (EDG)
Pour combler cette lacune, l'article propose le cadre de l'Explainable Decision Graph (EDG). Ce cadre agit comme une couche d'explication et de traçabilité qui opère parallèlement, plutôt qu'en remplacement, des agents autonomes sous-jacents. La méthodologie se compose de quatre modules primaires :

1. Exécution et Surveillance des Agents : Ce module surveille l'exécution des agents autonomes, enregistrant les événements incluant les identifiants d'agents, les entrées/observations, les décisions intermédiaires, les scores de confiance, les preuves de soutien et les horodatages.
2. Suivi des Interactions Inter-Agents : Ce module enregistre les communications entre agents, définies par des tuples d'émetteur, de récepteur, de message et de temps. Il suit spécifiquement les conflits où les agents proposent des décisions divergentes.
3. Construction du Graphe de Décision Expliquable : Le cœur du cadre construit un graphe dirigé $G = (V, E)$. L'ensemble des nœuds $V$ est l'union de nœuds d'agents, de nœuds d'entrée/observation, de nœuds de preuve, de nœuds de décision, de nœuds de vérification et de nœuds d'action. Les arêtes représentent des relations telles que « soutient », « influence », « communique », « contredit », « vérifie » et « produit ». Cette structure permet le traçage rétroactif d'une action finale du système vers ses agents et preuves contributrices.
4. Vérification et Génération d'Explications : Une couche de vérification compare les décisions à des contraintes de sécurité et de politique prédéfinies ($D |= R$). Basé sur la structure du graphe, le système génère des explications à trois niveaux distincts :
   • Niveau Utilisateur : Un résumé concis de la raison principale de la décision.
   • Niveau Développeur : Des informations détaillées concernant les agents, les preuves, les interactions et la vérification.
   • Niveau Auditeur : Une trace complète des événements de décision et des résultats de vérification.

Le cadre utilise le benchmark MAESTRO MAS pour l'évaluation expérimentale, qui fournit des traces d'exécution de 12 systèmes multi-agents. La méthodologie d'évaluation proposée se concentre sur des métriques telles que la fidélité de l'explication, l'exhaustivité, la traçabilité de la décision, la compréhensibilité humaine, la précision de la décision, la cohérence de l'explication et la surcharge de calcul.

Contributions Clés
L'article présente cinq contributions primaires au domaine de l'IA de confiance :

1. Représentation Graphique au Niveau Système : Une structure graphique novatrice pour expliquer les décisions multi-agents qui s'étend au-delà des explications de modèles individuels.
2. Traçabilité Sensible aux Interactions : Un mécanisme qui connecte explicitement les agents, les preuves, les décisions intermédiaires et les actions finales, capturant les dépendances inter-agents.
3. Explication Sensible à la Vérification : Un mécanisme intégré qui assure que les chemins de décision peuvent être examinés par rapport aux contraintes de sécurité et de politique.
4. Explications Multi-Niveaux : La capacité de personnaliser les explications pour différents parties prenantes (utilisateurs, développeurs, auditeurs) à partir des mêmes données de graphe sous-jacentes.
5. Méthodologie Expérimentale : Un cadre proposé pour évaluer l'EDG par rapport aux approches existantes (LIME, SHAP, XAI au niveau de l'agent) en utilisant des métriques quantitatives et qualitatives.

Résultats et Statut Expérimental
L'article stipule explicitement que les résultats numériques empiriques sont réservés à l'étape d'implémentation et d'évaluation. Par conséquent, la section « Résultats » ne présente pas de données de performance, de scores de précision ou de mesures de latence. Au lieu de cela, elle fournit :

• Comparaisons Conceptuelles : Un tableau (Tableau I) illustrant qu'à l'inverse de LIME ou SHAP, l'EDG proposé supporte les capacités de niveau agent, de niveau interaction, de traçabilité et de vérification.
• Visualisations Prêtes pour la Mesure : Des figures et des tableaux (par exemple, Fig. 4, Tableau II, Fig. 7) sont présentés comme des modèles pour de futures données. Ils indiquent que la complexité du graphe sera mesurée par rapport au nombre d'agents participants et que les comparaisons de performance seront effectuées par rapport à des bases de référence.
• Cadre Statistique : L'article définit les méthodes statistiques (statistiques descriptives, tests t, ANOVA, intervalles de confiance) qui seront utilisées pour analyser les données une fois que le cadre sera exécuté sur le jeu de données MAESTRO.

Signification et Revendications
L'article revendique modestement que le cadre EDG fournit une structure fondamentale pour la traçabilité, la transparence et la responsabilité au niveau du système dans les SMA autonomes. Il soutient que bien que les méthodes existantes comme LIME et SHAP soient précieuses pour les modèles individuels, elles sont insuffisantes pour le raisonnement collaboratif propre aux SMA. La signification de ce travail réside dans sa capacité à :

• Représenter le chemin de décision complet, incluant les conflits et les événements de vérification.
• Permettre aux utilisateurs de remonter une décision finale jusqu'à des agents et des preuves spécifiques.
• Soutenir la vérification des décisions par rapport aux contraintes de sécurité.

L'auteur reconnaît des limites, notant que les graphes de décision peuvent devenir volumineux avec l'augmentation du nombre d'agents, augmentant potentiellement la surcharge de calcul et les défis de l'interprétabilité humaine. L'article conclut que le cadre est une étape vers une IA de confiance mais souligne qu'une validation empirique est nécessaire pour étayer les affirmations concernant l'amélioration des performances ou la signification statistique. Les travaux futurs identifiés se concentrent sur la construction en temps réel, le raisonnement causal, l'intégration avec les modèles de langage de grande taille (LLM) et la vérification formelle.