Challenges in Evaluating Explanation Methods for Static and Evolving Data

Imaginez que vous ayez construit un robot super intelligent capable de regarder une image et de vous dire exactement ce qu'elle contient. C'est incroyable, mais il y a un hic : le robot est une « boîte noire ». Il vous donne la réponse, mais il ne vous dit pas comment il est arrivé à cette conclusion. C'est comme un magicien qui sort un lapin d'un chapeau mais refuse de vous montrer le truc. Dans le monde de l'intelligence artificielle (IA), c'est un problème majeur. Si un robot prend des décisions de vie ou de mort — comme diagnostiquer une maladie ou repérer un problème sur un vaisseau spatial — nous avons besoin de savoir pourquoi il a fait ce choix. Ce domaine, appelé l'IA explicable (XAI), tente d'ouvrir la boîte noire pour nous montrer le processus de pensée du robot. Mais voici le retournement de situation : bien que nous ayons des tonnes de nouvelles façons de jeter un coup d'œil à l'intérieur de la boîte, nous sommes incapables de vérifier si ces observations sont réellement utiles ou si elles ne font que rien inventer de toutes pièces. C'est comme avoir une centaine de lampes de poche différentes pour regarder dans le noir, mais personne n'a testé si elles éclairent réellement le chemin ou si elles ne font que vous éblouir.

Ce document est un cri d'alarme de l' chercheur Jerzy Stefanowski, qui soutient que nous nous précipitons pour inventer de nouveaux outils d'explication sans les tester correctement. Il suggère que beaucoup de méthodes actuelles sont comme des « illusions de progrès » : elles ont l'air sophistiquées, mais pourraient ne pas être utiles dans le monde réel. Le document explore deux principales manières de corrir cela. Premièrement, il examine comment nous pouvons utiliser ces outils pour détecter quand un robot est injuste ou biaisé (comme penser qu'une personne portant une cravate est un homme, même si ce n'est pas le cas). Deuxièmement, il s'attaque au problème délicat des robots qui doivent apprendre alors que le monde change autour d'eux. Imaginez un robot apprenant à reconnaître des animaux, puis les animaux commencent à porter des chapeaux ou l'éclairage change ; les anciennes explications du robot pourraient devenir inutiles. L'auteur montre que nous devons cesser de simplement compter à quel point une explication est « précise » sur le papier et commencer à demander à de vrais humains s'ils la comprennent réellement. Il suggère également qu'au lieu de choisir une seule « meilleure » explication, nous devrions en proposer plusieurs options différentes afin que les gens puissent choisir celle qui leur semble la plus logique.

Le tour de magie du robot et la lampe de poche cassée

Considérez les systèmes d'IA modernes comme des magiciens incroyablement talentueux mais mystérieux. Ils peuvent regarder une photo de chat et dire : « C'est un chat ! » avec une confiance de 99 %. Mais si vous demandez : « Pourquoi ? », ils se contentent de vous fixer. C'est le problème de la « boîte noire ». Dans des domaines comme la médecine ou l'aérospatiale, où les erreurs peuvent être dangereuses, nous ne pouvons pas simplement faire confiance au magicien ; nous devons voir le truc. C'est là qu'intervient l'IA explicable (XAI). C'est la science de la construction d'une lampe de poche pour éclairer l'intérieur de la boîte noire afin que les humains puissent comprendre pourquoi l'IA a pris une décision.

Cependant, le document souligne un dysfonctionnement majeur dans notre approche actuelle. Nous avons inventé des dizaines de lampes de poche différentes (des méthodes comme les cartes de saillance, les contrefactuels et les prototypes), mais nous n'avons pas bien réussi à tester si elles fonctionnent réellement. C'est comme un magasin de jouets qui vendrait mille lampes de poche différentes, mais aucune n'a été testée pour voir si elle éclaire réellement une pièce sombre ou si elle projette simplement des formes bizarres sur le mur. L'auteur soutient que nous sommes coincés dans un cycle de création de nouveaux outils sans vérifier s'ils sont vraiment utiles, ce qui mène à une « illusion de progrès ».

Le cas du robot biaisé et de la cravate

Pour montrer pourquoi les tests sont importants, le document examine un projet spécifique appelé DetoxAI. Imaginez un robot entraîné à reconnaître des visages. Vous pourriez penser qu'il regarde simplement les yeux et les nez, mais le document révèle que le robot peut s'appuyer sur des raccourcis. Par exemple, dans un ensemble de données de personnes célèbres, le robot a remarqué que les personnes portant des cravates étaient presque toujours des hommes. Ainsi, au lieu de regarder les traits du visage, il a commencé à utiliser la « cravate » comme un raccourci pour deviner le genre. C'est un biais — une erreur dans la logique du robot qui mène à des résultats injustes.

Les chercheurs ont utilisé des outils d'XAI pour projeter une lumière sur le cerveau du robot. Ils ont découvert que le robot se concentrait effectivement lourdement sur la cravate. Une fois qu'ils ont vu cela, ils ont pu lui faire « désapprendre » cette mauvaise habitude, en enseignant au robot à ignorer la cravate et à regarder le visage à la place. Le document montre qu'en utilisant ces outils d'explication, ils ont pu mesurer précisément à quel point le robot s'est amélioré. Ce n'était pas une supposition ; ils avaient des chiffres montrant que le robot était devenu plus équitable. Cela prouve que les explications ne sont pas seulement là pour la forme ; elles sont essentielles pour réparer l'IA défaillante.

Le test humain : Comprenons-nous réellement ?

La deuxième partie du document pose une question simple mais difficile : « Les humains comprennent-ils réellement ces explications ? » L'auteur note que la plupart des études se contentent de demander : « Aimez-vous cette explication ? » et passent à autre chose. Mais le document soutient que nous devons faire mieux.

Pour tester cela, les chercheurs ont mené une enquête auprès de 148 personnes (étudiants et personnel) qui n'étaient pas des experts en IA. Ils leur ont montré des images d'animaux (comme des zèbres, des tigres et des pandas) et trois types différents de « lampes de poche » (méthodes d'explication) qui mettaient en évidence la raison pour laquelle le robot pensait qu'il s'agissait d'un zèbre.

• Le résultat : Les gens n'ont pas choisi au hasard. Ils préféraient une méthode appelée ProtoPNet par rapport aux autres.
• La surprise : La méthode que les gens préféraient n'était pas nécessairement celle qui était mathématiquement « parfaite » dans un test informatique. C'était celle qui correspondait à ce que les humains jugeaient important. Par exemple, en regardant un tigre, les gens voulaient voir les rayures mises en évidence. La méthode ProtoPNet faisait cela le mieux.
• La leçon : Le document suggère que si nous voulons que les explications soient utiles, nous devons les concevoir pour les humains, et non seulement pour les ordinateurs. Nous devons les tester avec de vrais humains, tout comme un enseignant teste un plan de cours avec de vrais élèves, et non pas seulement en lisant le manuel.

La cible mouvante : Quand le monde change

Le dernier défi abordé par le document est celui de la « cible mouvante ». La plupart des explications d'IA sont conçues pour un monde qui reste stable. Mais dans la vie réelle, les choses changent. C'est ce qu'on appelle la dérive de concept (concept drift). Imaginez un robot apprenant à reconnaître des voitures. Si le robot est entraîné sur des photos de voitures de 2010, et que soudain le monde passe aux voitures électriques sans tuyaux d'échappement, les anciennes explications du robot pourraient dire : « Je sais que c'est une voiture grâce au tuyau d'échappement ». Cette explication est désormais fausse et déroutante.

Le document explore comment mettre à jour ces explications lorsque les données changent. Au lieu de simplement réentraîner le robot, les chercheurs ont essayé de suivre comment les « raisons » des décisions évoluent au fil du temps. Ils ont utilisé une méthode impliquant des contrefactuels (qui posent des questions de type « Et si ? », comme « Et si cette voiture avait un tuyau d'échappement ? »). Ils ont découvert qu'en observant comment ces réponses au « Et si ? » changeaient, ils pouvaient repérer exactement quand et pourquoi la logique du robot basculait. C'est comme regarder l'aiguille d'une boussole qui oscille ; si elle oscille trop, vous savez que le champ magnétique (les données) a changé.

La grande conclusion

Le document conclut que nous sommes actuellement dans une phase où nous avons trop d'outils et trop peu de tests.

• Ce dont nous avons besoin : Nous devons cesser de simplement mesurer à quel point une explication est « précise » sur un ordinateur et commencer à mesurer si elle aide un humain à prendre une meilleure décision.
• L'avenir : Nous avons besoin de plus d'expériences avec de vraies personnes, de meilleurs outils pour gérer les données changeantes, et d'un moyen d'offrir plusieurs explications afin que les gens puissent choisir celle qui leur semble la plus cohérente.

L'auteur ne dit pas que nous avons résolu le problème. En fait, il suggère que nous ne faisons qu'effleurer la surface. Mais en traitant les explications comme des outils pour les humains plutôt que comme de simples problèmes mathématiques, nous pouvons construire des systèmes d'IA qui sont non seulement intelligents, mais aussi dignes de confiance et équitables. L'objectif n'est pas seulement de faire en sorte que le robot s'explique ; c'est de s'assurer que l'explication nous aide réellement à comprendre le monde.