Résumé Technique : XstrAI – Un système multi-agents pour des récits d'XAI adaptés à l'audience

1. Énoncé du Problème

Les méthodes d'attribution de caractéristiques locales, telles que SHAP, fournissent des preuves essentielles au niveau de l'instance pour les prédictions de modèles, mais échouent souvent à servir efficacement des audiences diverses. Dans des domaines à enjeux élevés comme l'IA médicale, la même explication technique doit être communiquée aux cliniciens, aux patients et aux data scientists, chacun ayant des expertises, des objectifs et des risques de mauvaise interprétation distincts.

Les approches actuelles de génération de récits en langage naturel à partir de ces attributions souffrent de plusieurs limitations :

• Agnosticisme de l'audience : Les méthodes d'attribution de caractéristiques sont conçues pour être agnostiques vis-à-vis de l'audience, laissant l'adaptation de la preuve à la charge du consommateur.
• Faible ancrage (Weak Grounding) : La verbalisation directe via des modèles de langage de grande taille (LLM) ou le conditionnement par prompt de rôle unique entraîne souvent des sorties qui sont persuasives mais infidèles aux preuves du modèle sous-jacent.
• Conflation causale : Les LLM confondent fréquemment l'attribution de caractéristiques avec un langage causal, produisant des hallucinations ou des affirmations non étayées.
• Génération monolithique : Les systèmes de Narrative-XAI existants traitent souvent la génération comme une étape unique et non structurée, mêlant la sélection des preuves, l'adaptation à l'audience et la validation, ce qui limite l'inspectabilité et le contrôle.

Le défi central est de générer des récits qui soient non seulement fluides, mais aussi strictement ancrés dans des preuves d'attribution fixes tout en étant sémantiquement et stylistiquement appropriés pour des groupes de parties prenantes spécifiques.

2. Méthodologie : Le cadre XstrAI

Les auteurs proposent XstrAI, un cadre multi-agents qui découple la représentation de la preuve de sa communication. Le système traite les explications locales comme des faits immuables et structure leur transformation en récits spécifiques aux parties prenantes via un pipeline contrôlé.

2.1 Architecture de base

Le cadre opère sur trois profils de parties prenantes : Clinicien, Patient et Data Scientist. L'architecture se compose des composants suivants :

1. ExplanationCard (Représentation d'entrée) :

   • Un artefact structuré, lisible par machine, servant de « source de vérité » pour chaque cas de prédiction.
   • Il contient les informations du cas, la sortie du modèle, les attributions SHAP, les métadonnées des caractéristiques, les contraintes de génération et le profil de la partie prenante cible.
   • Cette carte garantit que la preuve sous-jacente reste fixe et identique à travers tous les parcours d'audience ; les différences dans la sortie découlent uniquement des choix de communication, et non de l'altération de la preuve.

2. Pipeline Multi-Agents :
   Pour chaque parcours de partie prenante, trois agents LLM spécialisés opèrent séquentiellement :

   • Agent de Cadrage (Framer Agent - Planification) : Reçoit l' ExplanationCard et génère une FramingTrace. Cet artefact définit la stratégie narrative, incluant l'organisation, l'ordre de présentation des caractéristiques, le ton, les mises en garde requises et les instructions opérationnelles. Il adapte la preuve à la partie prenante (par exemple, en privilégiant la lisibilité et un langage non alarmiste pour les patients ; en conservant des directions d'attribution explicites pour les data scientists).
   • Agent de Narration (Narrator Agent - Génération) : Reçoit l' ExplanationCard et la FramingTrace. Il génère le récit candidat, contraint par les preuves factuelles de la carte et la stratégie de communication de la trace. Il doit préserver la signification de l'attribution et éviter les affirmations causales ou diagnostiques, sauf si cela est autorisé.
   • Agent de Révision (Reviewer Agent - Validation) : Agit comme un module interne de contrôle qualité. Il évalue le récit candidat selon cinq dimensions :
     1. Ancrage à la Carte (Card Grounding) : Ancré aux preuves ; aucune fabrication.
     2. Fidélité SHAP (SHAP Faithfulness) : La direction et l'amplitude relative des contributions sont préservées.
     3. Cadrage Épistémique (Epistemic Framing) : Décrit le comportement du modèle, non le diagnostic ou la causalité.
     4. Sécurité de la Communication (Communication Safety) : Pas de traitement, de pronostic ou de conseil de mode de vie (sauf si explicitement autorisé).
     5. Adéquation à l'Audience (Audience Fit) : Le registre correspond à la partie prenante cible.
   • Boucle de Révision Bornée (Bounded Revision Loop) : Si le Réviseur détecte des incohérences, il déclenche une révision. La boucle renvoie la tâche au Cadreur, au Narrateur, ou aux deux. Le système autorise un maximum de deux cycles de révision (permettant jusqu'à trois tentatives par cas).

2.2 Configuration Expérimentale

• Jeux de données : Jeux de données de prédiction du diabète et de l'AVC.
• Modèles : Classifieurs Random Forest avec SHAP (TreeExplainer) pour les attributions locales.
• Baselines : Le système a été évalué contre 11 configurations, incluant :
  • Explingo : Une réimplémentation d'un narrateur basé sur une boucle de pointe.
  • Baselines Incrémentales (B1–B4) : Variantes de XstrAI qui ablent des composants spécifiques (par exemple, génération en un seul coup, prompting de rôle, boucles de révision, vérification par règles).
• LLM : Qwen3.6:35B et Gemma4:31B ont été utilisés pour la génération et la révision, avec des appariements de familles croisées pour éviter les biais.

3. Protocole d'Évaluation

L'évaluation utilise une approche à double régime pour mesurer à la fois la fidélité du texte par rapport à la preuve et son adéquation pour l'audience.

3.1 Évaluation Intra-Narrative

Mesure les propriétés du texte généré lui-même :

• Forme : Lisibilité (Flesch–Kincaid), richesse lexicale (MATTR), verbosité et motifs de répétition.
• Contenu : Accord avec l' ExplanationCard sur les valeurs des caractéristiques (Accord de Valeur), la direction de la contribution (Accord de Signe) et l'ordre des caractéristiques (Accord de Rang).
• Sémantique : Précision sémantique mesurée en projetant les phrases du récit dans des corpus de référence spécifiques à chaque partie prenante (articles médicaux pour les cliniciens/data scientists, articles de vulgarisation pour les patients) via des plongements (embeddings) Sentence-BERT.

3.2 Évaluation Extra-Narrative

Mesure la réception du texte par des évaluateurs externes :

• LLM-as-a-Judge (LLM comme juge) : Trois juges LLM indépendants (Claude, GPT, Gemini) ont effectué :
  • Analyse de Ré-identification : Assigner des récits anonymisés à leur audience prévue.
  • Classement Compétitif : Classer les 14 sorties du système pour chaque audience cible, agrégées via des scores Bradley-Terry/Elo.
• Évaluation Humaine : Enquêtes auprès de 15 participants (5 par groupe : cliniciens, data scientists, patients) évaluant les récits sur la Compréhensibilité, la Clarté, l'Utilité, la Confiance et la Charge Cognitive.

4. Résultats Clés

• Adaptation à l'Audience : Les récits de XstrAI ont été systématiquement assignés à leur audience prévue par des juges indépendants (100 % de précision de ré-identification), surpassant de manière significative les baselines.
• Performance vs Baselines :
  • Clinicien & Patient : XstrAI a été préféré à toutes les baselines dans les classements par LLM.
  • Data Scientist : XstrAI a performé de manière compétitive mais a été classé légèrement derrière les baselines à prompt unique (B2) qui maximisent la densité brute de SHAP.
• Fidélité et Structure :
  • XstrAI a maintenu un haut niveau d'Accord de Signe (préservant la direction SHAP) tout en permettant au l'Accord de Rang de varier pour les récits destinés aux patients. Plus précisément, les récits pour patients ont systématiquement promu des caractéristiques « actionnables » (ex: IMC) au détriment de celles qui ne le sont pas (ex: âge), privilégiant une communication orientée vers l'intervention plutôt qu'un classement SHAP strict.
  • XstrAI a obtenu des taux de répétition plus faibles et une plus grande diversité lexicale par rapport aux baselines, évitant la génération basée sur des modèles (templates) observée dans les systèmes dotés de boucles de révision mais sans agent de planification.
• Feedback Humain : Les cliniciens ont évalué les récits de XstrAI le plus hautement en Compréhensibilité (4,7/5) et en Confiance (4,1/5). Les patients les ont jugés très compréhensibles (4,2/5) avec une faible charge cognitive (2,2/5), bien que les scores de Confiance soient plus modérés (3,0/5).

5. Signification et Contributions

Le papier revendique trois contributions primaires :

1. Architecture Novatrice : Un cadre multi-agents qui découple la représentation de la preuve, la planification spécifique aux parties prenantes, la réalisation linguistique et la validation en étapes inspectables, traitant les explications locales comme des preuves fixes.
2. Protocole d'Évaluation Dual : Une méthodologie qui distingue la fidélité intra-narrative (vérité par rapport à la preuve) de l'adéquation extra-narrative (adéquation à l'audience), évaluée par rapport à des corpus de référence, des juges LLM multi-familles et des sujets humains.
3. Validation Empirique : La preuve que la génération conditionnée par l'audience nécessite plus qu'un simple prompting de rôle ; un pipeline structuré avec planification et validation est nécessaire pour produire des récits qui soient à la fois fidèles au modèle et sémantiquement alignés avec diverses parties prenantes.

Les auteurs soulignent que XstrAI démontre que l'adaptation aux parties prenantes peut légitimement remodeler la structure de l'explication (par exemple, réordonner les caractéristiques pour les patients) sans compromettre la preuve centrale, à condition que cette transformation soit contrôlée et validée. Ce travail suggère que le déploiement sûr et efficace de l'XAI nécessite de passer d'une génération monolithique vers des pipelines de communication structurés et vérifiables.