🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

Ce papier présente le modèle utilisateur CoAX, qui utilise la modélisation cognitive pour analyser et simuler les stratégies de raisonnement humain lors de l'interprétation des explications d'IA pour des données tabulaires, offrant ainsi une méthode évolutive pour diagnostiquer pourquoi les méthodes d'IA explicable actuelles échouent souvent à améliorer la compréhension des utilisateurs et pour orienter le développement d'explications plus efficaces.

Auteurs originaux : Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent, mais mystérieux, qui prend des décisions pour vous — par exemple, vous dire si un vin est « bon » ou « mauvais », ou si une demande de prêt doit être approuvée. Vous voulez faire confiance à ce robot, aussi vous vous fournit-il un petit mot expliquant pourquoi il a fait ce choix. C'est ce qu'on appelle l'IA explicable (XAI).

Mais voici le problème : même avec ce mot, les gens restent souvent confus ou font de mauvaises suppositions quant à ce que le robot fera ensuite. C'est comme si le robot parlait une langue que vous ne comprenez pas tout à fait, même si les mots sont là, bien sous vos yeux.

Cet article, intitulé CoAX, agit comme un « traducteur » et un « débogueur » pour la façon dont les humains pensent lorsqu'ils tentent de comprendre ces notes de robot. Les chercheurs ont construit un humain virtuel (un programme informatique qui se comporte comme une personne) pour déterminer exactement comment notre cerveau traite ces explications, et pourquoi nous nous trompons parfois.

Voici l'histoire de leur découverte, expliquée simplement :

1. Le Problème : La « Boîte Noire » et l'Utilisateur Confus

Les chercheurs ont constaté que, bien que les scientifiques aient inventé de nombreuses façons d'expliquer les décisions de l'IA, les vraies personnes peinent toujours à les utiliser. Certaines explications rendent les gens moins capables de prédire ce que l'IA fera. Les auteurs se sont demandé : « Pourquoi ? Que se passe-t-il dans le cerveau humain lorsqu'il examine ces graphiques et ces chiffres ? »

2. La Solution : Construire un « Humain Virtuel » (CoAX)

Au lieu de simplement deviner, les chercheurs ont construit CoAX (Cognitive-Oriented Attribution eXplanation). Imaginez CoAX comme un personnage de jeu vidéo programmé pour penser exactement comme un vrai humain.

Comment cela fonctionne : Les chercheurs ont d'abord observé de vraies personnes (dans une « étude formative ») et leur ont demandé de « penser à voix haute » tout en examinant des explications d'IA. Ils ont remarqué que les gens utilisaient des astuces mentales spécifiques, ou « stratégies », pour donner du sens aux données.
Les Stratégies :
- La Stratégie « Ignore le Reste » : Certaines personnes ne sélectionnent qu'une ou deux caractéristiques qu'elles jugent importantes (comme le « taux d'alcool ») et ignorent tout le reste.
- La Stratégie « Surligneur » : Lorsqu'on leur présente un graphique montrant quelles caractéristiques sont « importantes », les gens se concentrent uniquement sur les barres les plus hautes et tentent de se souvenir de cas passés similaires.
- La Stratégie « Somme Mathématique » : Lorsqu'on leur fournit une ventilation détaillée (scores positifs et négatifs), les gens essaient d'additionner les nombres dans leur tête pour voir quel côté l'emporte.
Le Modèle : CoAX transforme ces stratégies en mathématiques. Il simule un humain doté d'une mémoire limitée (il oublie les anciens exemples) et d'une attention limitée (il ne peut regarder que quelques éléments à la fois).

3. L'Expérience : Tester l'Humain Virtuel

Les chercheurs ont ensuite mené une vaste expérience avec plus de 300 vraies personnes. Ils ont demandé à ces personnes de deviner ce qu'une IA prédirait pour différents scénarios (comme la qualité du vin ou les niveaux de revenus) dans trois conditions :

Aucune Aide : Juste les données.
Aide Simple : Une liste de caractéristiques « importantes ».
Aide Détaillée : Une liste de caractéristiques avec des scores positifs et négatifs (Attribution).

Ils ont comparé les réponses des vrais humains à celles de l'Humain Virtuel.

La Grande Découverte :
L'Humain Virtuel (CoAX) était bien meilleur pour prédire ce que feraient les vrais humains que les programmes informatiques standards (comme les modèles d'apprentissage automatique typiques).

Les modèles informatiques standards cherchent simplement des motifs dans les données.
CoAX cherche des motifs de raisonnement. Il a réalisé que les humains ne font pas que calculer ; ils utilisent des raccourcis mentaux, se perdent face à trop d'informations, ou interprètent mal l'« importance » d'une caractéristique.

4. Ce Qu'ils Ont Découvert sur la Pensée Humaine

En utilisant leur Humain Virtuel, ils ont découvert des choses intéressantes sur la façon dont nous échouons à comprendre l'IA :

La « Somme Mathématique » est la Meilleure : Lorsque les gens recevaient des explications d'attribution détaillées (montrant exactement dans quelle mesure chaque facteur a poussé la décision vers le haut ou vers le bas), ils avaient tendance à utiliser une stratégie de « sommation ». Cela fonctionnait le mieux. C'est comme additionner les pour et les contre sur un papier.
La « Liste Simple » est Piégeuse : Lorsque les gens recevaient une simple liste de caractéristiques « importantes » (sans indiquer si elles étaient bonnes ou mauvaises), ils se perdaient. Certains tentaient de deviner la direction de l'influence, tandis que d'autres ignoraient purement et simplement la liste et revenaient à leurs vieilles habitudes.
La Confusion Mène à l'Ignorance : Si une explication était trop confuse, les gens la jetaient tout simplement et faisaient des suppositions basées sur ce dont ils se souvenaient du passé, ignorant ainsi l'aide de l'IA.

5. Pourquoi Cela Compte (Le « Laboratoire Virtuel »)

La partie la plus cool de cet article est que, une fois cet Humain Virtuel construit, ils ont pu l'utiliser comme un laboratoire de simulation.

Au lieu d'embaucher 300 personnes, de les payer et de mener des expériences pendant des semaines pour tester une nouvelle idée, les chercheurs peuvent maintenant simplement « demander » à l'Humain Virtuel.

Exemple : « Que se passe-t-il si nous montrons 9 caractéristiques au lieu de 5 ? » L'Humain Virtuel peut simuler cela instantanément et vous dire : « Oh, les gens seront submergés et leur précision chutera. »
Cela permet aux concepteurs de déboguer les explications de l'IA avant de les montrer à une vraie personne. Ils peuvent d'abord corriger les parties confuses dans le modèle informatique.

La Conclusion

L'article soutient que pour améliorer les explications de l'IA, nous devons cesser de traiter les humains comme de simples processeurs de données. Nous devons comprendre que les humains ont une mémoire limitée, une attention sélective et des habitudes mentales spécifiques.

En construisant un Humain Virtuel qui imite ces habitudes, nous pouvons comprendre pourquoi les explications actuelles de l'IA échouent et concevoir de meilleures explications qui aident réellement les gens à comprendre l'esprit du robot, plutôt que de simplement le confondre davantage. C'est comme accorder une radio sur la bonne fréquence pour que le cerveau humain puisse enfin entendre le signal clairement.

1. Énoncé du problème

Malgré des avancées significatives en matière d'IA explicable (XAI), un écart critique subsiste : de nombreuses techniques XAI échouent à améliorer la compréhension réelle des utilisateurs ou la prise de décision. Des études antérieures ont montré que les explications peuvent parfois confondre les utilisateurs, entraîner une sur-reliance ou ne pas aider les utilisateurs à détecter les erreurs du modèle.

Le problème central : La recherche existante repose souvent sur des métriques comportementales de surface (par exemple, la précision) ou sur des conjectures pour expliquer pourquoi les utilisateurs éprouvent des difficultés. Il manque des modèles mécanistes rigoureux expliquant les processus cognitifs et les stratégies de raisonnement que les utilisateurs emploient lors de l'interprétation de la XAI.
La conséquence : Sans comprendre les mécanismes cognitifs sous-jacents (par exemple, comment les utilisateurs traitent l'importance des caractéristiques par rapport à l'attribution des caractéristiques), il est difficile de concevoir des explications efficaces ou de déboguer pourquoi certaines méthodes XAI échouent.

2. Méthodologie

Les auteurs proposent CoAX, un modèle cognitif qui intègre la théorie de l'Apprentissage basé sur les instances (IBL) avec des contraintes cognitives (désactivation de la mémoire, limites de l'attention) pour simuler le raisonnement humain face à la XAI. La recherche suit un processus de conception centré sur l'utilisateur en cinq étapes :

A. Étude utilisateur formative (Élicitation de la stratégie)

Objectif : Identifier comment les humains raisonnent réellement lors de l'utilisation de la XAI.
Participants : 20 étudiants de premier cycle.
Tâche : "Simulation avant" (prédire la sortie de l'IA étant donné une instance d'entrée et une explication).
Conditions : Aucune XAI, Importance des caractéristiques (scores non négatifs), et Attribution des caractéristiques (scores signés, par exemple SHAP/LIME).
Méthode : Protocoles de pensée à voix haute analysés via la théorie ancrée.
Résultat : Identification de quatre stratégies de raisonnement distinctes :
1. Catégorisation des caractéristiques sensibles : Se concentrer sur un sous-ensemble fixe d'attributs jugés importants, en ignorant les autres.
2. Catégorisation des caractéristiques saillantes : Sélectionner dynamiquement les $k$ caractéristiques principales ayant les scores d'importance les plus élevés et se souvenir d'instances passées similaires.
3. Somme d'attribution : Additionner les scores d'attribution signés (ou les estimer) pour pondérer les preuves en faveur ou contre une étiquette.
4. Catégorisation de l'importance : Interpréter incorrectement les scores d'importance comme des valeurs d'attribut directes pour la correspondance de motifs (une stratégie défectueuse).

B. Implémentation du modèle cognitif CoAX

Le modèle simule la prise de décision humaine en utilisant l'IBL :

Mémoire : Stocke des exemplaires passés (instances) avec des niveaux d'activation basés sur la récence et la fréquence.
Rappel : Rappelle des instances passées similaires basées sur la distance euclidienne, pondérée par l'activation.
Extensions de stratégie : Le modèle IBL de base est étendu pour implémenter les quatre stratégies identifiées :
- Sensibles/Saillantes : Modifie la métrique de distance pour se concentrer uniquement sur des sous-ensembles spécifiques de caractéristiques.
- Somme d'attribution : Calcule un score de log-vraisemblance en additionnant les contributions pondérées des caractéristiques.
- Catégorisation de l'importance : Traite les scores d'importance comme des valeurs de caractéristiques plutôt que comme des poids.
Paramètres : Inclut la sensibilité à la distance ( $\alpha$ ), le seuil de rappel ( $\rho$ ), le nombre de caractéristiques traitées ( $k$ ) et la sensibilité classe-caractéristique ( $\zeta$ ).

C. Étude utilisateur sommative (Validation)

Participants : 335 participants (Prolific).
Conception : Entre-sujets pour le type de XAI (Aucune, Importance, Attribution) et intra-sujets pour la condition de test (Avec/Sans XAI).
Ensembles de données : Qualité du vin, Type de couverture forestière, Revenu des adultes (classification binaire, 5 attributs).
Objectif : Valider CoAX en ajustant le modèle aux données de décision humaines et en comparant son pouvoir prédictif à celui des proxies ML standards (Arbres de décision, KNN, MLP).

D. Tests d'hypothèses virtuels

Objectif : Utiliser le modèle CoAX validé pour exécuter des "expériences virtuelles" qui seraient trop coûteuses ou lentes à réaliser avec de vrais humains.
Variables : Nombre d'instances d'entraînement, nombre d'attributs et différents algorithmes XAI (SHAP, LIME, Gradients intégrés, Gradients d'entrée).

3. Contributions clés

Taxonomie des stratégies de raisonnement : Élicitation empirique et catégorisation de quatre stratégies cognitives distinctes que les utilisateurs emploient lors de l'interprétation de la XAI basée sur l'attribution, y compris des modes d'échec spécifiques (par exemple, interpréter incorrectement les scores d'importance).
Modèle cognitif CoAX : Développement d'un modèle cognitif formel qui simule ces stratégies en utilisant l'apprentissage basé sur les instances, capturant la logique procédurale du raisonnement humain plutôt que de simples corrélations statistiques.
Supériorité sur les proxies ML : Démonstration que CoAX s'ajuste aux données de décision humaines de manière significativement meilleure que les proxies ML standards (DT, KNN, MLP), prouvant que le raisonnement humain dans les contextes XAI est piloté par des heuristiques cognitives spécifiques, et non seulement par des motifs de données.
Cadre d'expérimentation virtuelle : Établissement d'un pipeline pour utiliser CoAX afin de générer des hypothèses et de déboguer l'utilisabilité de la XAI, réduisant la dépendance aux études coûteuses sur des sujets humains pour le prototypage précoce.

4. Résultats clés

Ajustement du modèle : CoAX a obtenu un logarithme de vraisemblance négatif (NLL) et un critère d'information bayésien (BIC) beaucoup plus faibles que les bases de référence ML, indiquant qu'il capture plus précisément le processus de décision humain sous-jacent.
Efficacité des stratégies :
- La somme d'attribution (utilisant des scores signés) a été la stratégie la plus efficace, conduisant à la précision de prédiction la plus élevée.
- La XAI d'importance (scores non négatifs) a conduit à des stratégies diverses et souvent sous-optimales, y compris la "catégorisation de l'importance" défectueuse.
- Transfert d'apprentissage : Les participants formés avec la XAI d'attribution ont conservé la stratégie de "somme d'attribution" même lorsque la XAI a été retirée, tandis que ceux formés avec la XAI d'importance sont souvent revenus à des stratégies de "caractéristiques sensibles".
Impact du type de XAI :
- La XAI d'attribution a systématiquement surpassé la XAI d'importance et l'absence de XAI.
- Nombre de caractéristiques : L'augmentation du nombre d'attributs a dégradé les performances pour "Aucune XAI" et "XAI d'importance" (surcharge d'information), mais cela a été atténué par la "XAI d'attribution".
Expériences virtuelles : Le modèle a simulé avec succès comment l'augmentation des instances d'entraînement améliore la compréhension (effet de plateau) et comment différents algorithmes XAI (par exemple, LIME par rapport à SHAP) impactent les performances des utilisateurs, validant l'utilité du modèle pour des tests évolutifs.

5. Signification et implications

Débogage de la XAI : CoAX fournit un outil de diagnostic pour identifier pourquoi une explication échoue (par exemple, déclenche-t-elle une stratégie défectueuse de "catégorisation de l'importance" ?).
Recommandations de conception :
- Conception d'interface : Les concepteurs devraient encourager les stratégies de "somme d'attribution" (par exemple, en affichant des valeurs signées) et décourager la "catégorisation de l'importance" (par exemple, en évitant de présenter les scores d'importance comme des valeurs brutes).
- Formation : Les tutoriels devraient enseigner explicitement aux utilisateurs comment agréger les attributions signées plutôt que de simplement regarder les caractéristiques "les plus importantes".
Réduction des coûts : En validant les hypothèses avec des humains virtuels (CoAX) avant de mener des études à grande échelle, les chercheurs peuvent itérer les conceptions de XAI plus rapidement et de manière plus rentable.
Voies futures : Le cadre peut être étendu à d'autres modalités (images, texte), à différentes tâches de décision (confiance, dépendance) et à diverses populations d'utilisateurs pour dépasser la XAI "taille unique".

En résumé, CoAX comble le fossé entre les sciences cognitives et la XAI, offrant une compréhension mécaniste de l'interaction humain-IA qui va au-delà de "cela fonctionne-t-il ?" pour répondre à "comment l'utilisateur pense-t-il ?".