🤖 AI

Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

Cet article présente AXIS, un cadre qui exploite les grands modèles de langage pour interroger des simulateurs d'environnement à l'aide de requêtes contrefactuelles, générant ainsi des explications centrées sur l'humain pour les systèmes multi-agents qui améliorent significativement la perception de correction et la précision de la prédiction des objectifs par rapport aux bases de référence existantes.

Auteurs originaux : Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une performance de danse complexe avec cinq danseurs (les agents) se déplaçant sur une scène. Soudain, un danseur fait un mouvement étrange. Vous demandez : « Pourquoi a-t-il fait ça ? »

Dans le monde des systèmes autonomes (comme les voitures autonomes), obtenir une bonne réponse à cette question est difficile. La « danse » se déroule dans un environnement chaotique, et les danseurs réagissent les uns aux autres d'une manière difficile à démêler.

Ce document présente une nouvelle méthode appelée AXIS (Agentic eXplanations via Interrogative Simulation) pour aider à expliquer ces mouvements. Considérez AXIS non pas comme un rapport statique, mais comme un détective doté d'une machine à remonter le temps et d'un scénariste magique.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Détective (Le Grand Modèle de Langage)

Le « détective » est une IA intelligente (un Grand Modèle de Langage ou LLM). Son travail est de discuter avec vous et de comprendre l'histoire derrière l'action. Mais il ne se contente pas de deviner ; il possède un outil spécial.

2. La Machine à Remonter le Temps (Le Simulateur)

Le détective a accès à une simulation parfaite du monde. C'est comme un jeu vidéo qui peut rejouer le moment exact où l'action s'est produite.

3. L'Interrogatoire (Demander « Et si ? »)

Au lieu de simplement regarder la vidéo et de deviner, le détective commence à poser des questions spécifiques à la machine à remonter le temps en utilisant des « prompts d'interrogation ». C'est comme un scientifique menant des expériences :

« Supprimer » : « Si nous effacions complètement cette autre voiture de la scène, notre conducteur aurait-il quand même changé de voie ? »
« Et si » : « Si cette autre voiture était restée droite au lieu de tourner, notre conducteur aurait-il attendu ? »

4. La Synthèse (Assembler le Puzzle)

La machine à remonter le temps exécute ces scénarios et fournit de nouvelles données au détective. Le détective examine ensuite les différences :

Scénario A (Vie réelle) : La Voiture 1 tourne, la Voiture 0 dévie brusquement.
Scénario B (Machine à remonter le temps) : La Voiture 1 va tout droit, la Voiture 0 ne dévie pas.

Le détective réalise : « Aha ! La Voiture 0 a dévié parce que la Voiture 1 a tourné. Si la Voiture 1 n'avait pas tourné, rien ne se serait passé. »

Le détective rédige ensuite une explication compréhensible par l'humain basée sur ces expériences de type « et si », plutôt que de simplement décrire les données brutes.

Pourquoi est-ce meilleur que l'ancienne méthode ?

Le document compare AXIS à deux autres méthodes :

L'approche « Modèle Uniquement » : C'est comme demander au détective de regarder la vidéo une seule fois et de deviner la raison sans rien tester. Le document a constaté que cela mène souvent à des réponses génériques, erronées ou superficielles (ex : « Ils ont bougé parce qu'il y avait de l'espace », manquant ainsi la vraie raison).
L'approche « Sans Explication » : Donner simplement à l'utilisateur les données brutes pour qu'il se débrouille seul.

Les Résultats :
Lorsque les chercheurs ont testé cela sur des scénarios de voitures autonomes (comme s'insérer sur une autoroute ou naviguer dans un rond-point), AXIS a obtenu de bien meilleurs résultats :

Plus Précis : Les explications ont été jugées plus correctes (d'environ 7,7 % à 17 % de plus que la base de référence).
Meilleures Prédictions : Lorsque les gens lisaient l'explication d'AXIS, ils étaient bien plus capables de deviner ce que la voiture allait faire ensuite ou vers où elle essayait d'aller (jusqu'à 23 % de précision supplémentaire pour certains modèles).
Focus sur la Causalité : Le « détective » a appris à poser les bonnes questions de type « et si » pour trouver la véritable cause, plutôt que de simplement lister des faits.

Le Piège (Limites)

Le document est honnête sur les points où le système rencontre des difficultés :

Acteurs Irrationnels : Si un « danseur » dans la simulation fait quelque chose de totalement fou ou enfreint les règles de la route, le détective est parfois confus car il suppose que tout le monde agit de manière logique.
Acteurs Cachés : Si une voiture est cachée derrière un bâtiment (occlusion), le détective manque parfois le fait que cette voiture cachée est la vraie raison de l'action, car il ne peut pas la « voir » dans la simulation.
Le Juge : Pour tester la qualité des explications, les chercheurs ont utilisé une autre IA pour les noter (puisque les études humaines sont coûteuses). Bien que cela ait fonctionné, le document note que les juges IA peuvent avoir leurs propres biais, comme préférer les réponses courtes ou être confus par trop de détails.

L'Essentiel

AXIS est un système qui aide l'IA à expliquer ses décisions en simulant des réalités alternatives. Au lieu de simplement dire « J'ai fait X », il demande : « Qu'est-il arrivé si je n'avais pas fait X ? » et utilise la réponse pour raconter une histoire claire de cause à effet à l'utilisateur humain. Cela fonctionne mieux lorsque les agents agissent de manière logique et que l'environnement est visible.

Résumé Technique : Intégration des simulations contrefactuelles avec les modèles de langage pour l'explication du comportement multi-agents

Énoncé du problème
Les systèmes multi-agents (MAS) autonomes, tels que les voitures autonomes ou les algorithmes de trading, font face à des défis de confiance importants en raison de risques tels que la désynchronisation et le désalignement des objectifs. Bien que l'IA explicable (XAI) soit cruciale pour le calibrage de la confiance, les méthodes actuelles d'explication de la prise de décision séquentielle (SDM) se heurtent à trois obstacles majeurs : (1) la complexité des environnements (espaces de haute dimension, observabilité partielle, dynamique non stationnaire) ; (2) le « facteur humain », où les explications doivent s'aligner sur divers processus cognitifs et préférences ; et (3) un manque de métriques d'évaluation standardisées. Les approches existantes se concentrent souvent sur des explications mécanistes de bas niveau (par exemple, les cartes de saillance) plutôt que sur des « explications d'actions » de haut niveau qui décrivent le comportement de l'agent en termes de relations causales entre actions, croyances et résultats.

Méthodologie : AXIS
Les auteurs proposent AXIS (Agentic eXplanations via Interrogative Simulation), un cadre qui génère des explications d'actions centrées sur l'humain en combinant des modèles de langage de grande taille (LLM) avec des simulateurs d'environnement. AXIS opérationnalise le Modèle de Taille d'Effet Contrefactuel (CESM), qui postule qu'une cause est sélectionnée pour une explication si elle coïncide avec un événement sous des conditions de fond différentes mais similaires.

Le cadre AXIS fonctionne via un processus multi-tours d'interrogation et de synthèse :

Contextualisation : Le système récupère l'état actuel du MAS (modélisé comme un jeu stochastique partiellement observable, ou POSG) et verbalise les observations, les actions et les éléments statiques de l'environnement en texte pour le LLM.
Interrogation : Le LLM propose des invites d'intervention (ex. : remove, whatif, add, what) au simulateur. Ces invites sont basées sur des options (abstractions d'actions de haut niveau) pour combler le fossé entre les états de bas niveau du simulateur et les capacités de raisonnement du LLM.
Simulation : Le simulateur exécute l'intervention proposée, simulant l'environnement vers l'avant pour générer des trajectoires et des récompenses contrefactuelles.
Synthèse : Les résultats de la simulation sont verbalisés et réinjectés dans le LLM, qui synthétise l'information contrefactuelle en une explication partielle.
Itération : Cette boucle se répète pour un nombre maximal de tours ( $N_{max}$ ), permettant au LLM d'affiner sa compréhension des relations causales avant de générer une explication finale.

Contributions clés

Formalisation : Le problème de l'explication d'actions pour les MAS est formalisé dans le contexte des jeux stochastiques partiellement observables.
Cadre (Framework) : L'introduction d'AXIS, une nouvelle méthode de génération d'explications d'actions utilisant des simulations contrefactuelles et des LLM.
Méthodologie d'évaluation : Un cadre d'évaluation complet pour la SDM explicable combinant :
- L'analyse qualitative de la correction.
- Des tests de robustesse contre les hyperparamètres et les variations de modèles.
- Des métriques de préférence subjective (complétude, satisfaction, détail, fiabilité).
- Des métriques d'actionnabilité objectives (précision de la prédiction de l'objectif et de la prochaine action).
- L'utilisation d'un LLM externe comme juge pour mettre l'évaluation à l'échelle.
Validation empirique : Expérimentations menées sur la planification de mouvement de conduite autonome à travers dix scénarios (rationnels, irrationnels et d'occlusion) en utilisant cinq LLM différents.

Résultats
L'évaluation, menée sur des scénarios de conduite autonome comprenant jusqu'à cinq agents, a produit les conclusions suivantes :

Correction perçue : AXIS a amélioré la correction perçue des explications d'au moins 7,7 % sur tous les modèles testés par rapport à une ligne de base "ModelOnly" (où le LLM ne reçoit que le contexte initial sans simulation).
Prédiction d'objectif : AXIS a amélioré la précision de la prédiction d'objectif de 23 % pour quatre des cinq modèles testés.
Prédiction d'action : Les résultats étaient comparables ou améliorés pour la prédiction d'action sur quatre modèles.
Utilité de l'interrogation : L'analyse de l'utilisation des invites a révélé que les modèles utilisant les invites remove et whatif (qui facilitent le raisonnement contrefactuel) obtenaient des scores de correction plus élevés. Les modèles qui n'ont pas utilisé ces invites (ex. : DeepSeek-V3) ont été peu performants.
Limites de raisonnement : Bien qu'efficace dans les scénarios rationnels, AXIS a éprouvé des difficultés avec le comportement d'agents irrationnels et les facteurs occultés. Les LLM ont eu tendance à supposer une adhérence rationnelle aux règles et ont échoué à proposer des interventions forçant un comportement irrationnel ou à inférer correctement des agents occultés, soulignant les limites actuelles du raisonnement des LLM concernant l'observabilité partielle.
Variance des modèles : Aucun LLM unique n'a dominé tous les indicateurs. Les modèles de raisonnement plus forts (ex. : o4-mini, DeepSeek-R1) ont fourni une correction perçue élevée mais parfois des scores d'actionnabilité plus faibles, potentiellement en raison d'un contexte excessif "confusant" l'évaluateur LLM.

Signification et affirmations
L'article affirme qu'AXIS représente une étape significative vers une MAS explicable en passant d'une attribution de caractéristiques statique et post-hoc à un raisonnement contrefactuel dynamique et interactif. Les auteurs soutiennent que leur processus d'interrogation-synthèse permet de sélectionner les facteurs causaux les plus pertinents, aboutissant à des explications plus précises et actionnables pour des tâches en aval comme la prédiction d'objectif.

Cependant, les auteurs maintiennent une position modeste concernant leurs affirmations :

Ils reconnaissent que l'utilisation d'un LLM comme évaluateur introduit des biais potentiels, particulièrement dans le score de préférence subjective, et appellent à de futures études avec des sujets humains.
Ils notent que le succès de la méthode est actuellement limité par les capacités des LLM sous-jacents, spécifiquement concernant le raisonnement sur l'irrationalité et l'observabilité partielle.
Ils soulignent que l'absence de bases de référence standardisées dans le domaine limite les comparaisons directes, bien qu'ils aient établi une ligne de base "ModelOnly" pour contextualiser leurs améliorations.
Le travail est présenté comme une preuve de concept pour l'intégration de la simulation et des modèles de langage, la scalabilité à un plus grand nombre d'agents et aux domaines discrets restant une question ouverte pour la recherche future.