Imaginez que vous ayez construit un robot super intelligent capable de prédire la météo, de diagnostiquer des maladies ou même d'écrire de la poésie. Il fonctionne de manière incroyable, mais c'est une « boîte noire » : vous appuyez sur un bouton, il recrache une réponse, et vous n'avez aucune idée du pourquoi il a choisi cette réponse. C'est le monde de l'Intelligence Artificielle (IA). Pour résoudre ce mystère, les scientifiques ont créé un domaine appelé l'IA Explicable (XAI). Considérez la XAI comme un traducteur qui tente d'expliquer les pensées secrètes du robot à nous, humains. Nous avons des outils qui mettent en évidence les mots les plus importants dans une phrase, ou les pixels dans une photo qui ont fait penser au robot qu'il s'agissait d'un « chat ». Mais voici le piège : ce n'est pas parce que le robot peut donner une traduction que cette traduction nous aide réellement à faire quelque chose d'utile. Nous devons savoir si ces explications sont dignes de confiance, si elles correspondent au véritable cerveau du robot et, surtout, si elles nous aident réellement à prendre de meilleures décisions ou à réparer le robot lorsqu'il se trompe.

C'est exactement le problème qu'un nouvel article traite. Les auteurs soutiennent que la communauté de l'IA court un marathon dans la mauvaise direction. Au lieu de construire une base solide sur la manière dont et pourquoi nous expliquons les choses, tout le monde s'est mis à inventer frénétiquement de nouveaux « flashlights » (méthodes) tape-à-l'œil pour éclairer la boîte noire. Le papier suggère que, bien que ces nouvelles lampes de poche soient cool, elles ne nous aident souvent pas à naviguer dans l'obscurité car nous n'avons pas convenu de ce à quoi ressemble une « carte », comment vérifier si la carte est précise, ou quoi faire une fois que nous en avons une.

Le problème de la « Lampe de Poche »

Les auteurs, une équipe de chercheurs issus de grandes universités et d'entreprises technologiques, ont examiné des centaines d'articles récents sur l'IA explicable et ont discuté avec des dizaines de personnes qui utilisent réellement ces outils dans leurs métiers. Ils ont découvert un schéma inquiétant : le domaine est obsédé par la création de nouvelles méthodes. En fait, 77 % des articles qu'ils ont analysés proposaient simplement une nouvelle façon d'expliquer l'IA, tandis que seulement 11 % se sont donné la peine de donner une définition claire et formelle de ce qu'est réellement une « explication ».

C'est comme un groupe de chefs essayant d'inventer de nouvelles recettes sans jamais s'être mis d'accord sur ce qu'est une « soupe ». Certains disent que la soupe doit être chaude ; d'autres disent qu'elle doit contenir des carottes ; d'autres jettent simplement tout dans une marmite et appellent cela de la soupe. Parce que tout le monde utilise des définitions différentes, les résultats sont désordonnés. Un chercheur peut dire que sa méthode est « fidèle » (ce qui signifie qu'elle dit la vérité sur l'IA), tandis qu'un autre utilise un test différent et dit que la même méthode est un mensonge. L'article soutient que nous sommes coincés dans une boucle où nous inventons les choses au fur et à mesure, plutôt que de construire un système fiable.

Les quatre piliers manquants

Les auteurs affirment que nous devons nous arrêter et construire quatre fondations spécifiques avant de continuer à inventer de nouvelles lampes de poche. Ils appellent cela les « Quatre Défis » :

1. Le problème de la définition (Qu'est-ce qu'une explication ?)
Actuellement, le mot « explication » est utilisé pour tout. Parfois, cela signifie une liste de caractéristiques importantes ; d'autres fois, cela signifie une histoire que l'IA se raconte elle-même. L'article soutient que nous devons arrêter de deviner. Une explication doit être définie par à qui elle s'adresse et ce qu'ils doivent faire avec elle. Si un médecin a besoin de savoir pourquoi une assurance a refusé une couverture, l'explication doit être différente de celle dont un ingénieur en robotique aurait besoin pour corriger un bug. Sans une définition claire, nous ne pouvons même pas commencer à mesurer si nous faisons du bon travail.

2. Le problème de la propriété (Qu'est est-ce qui fait une bonne explication ?)
Nous devons nous mettre d'accord sur les règles. Une bonne explication doit être « fidèle » — elle doit réellement correspondre à ce que fait l'IA, et ne pas seulement être jolie. Mais la fidélité ne suffit pas. Une explication doit aussi être « complète » (elle ne doit pas manquer les parties les plus importantes) et « robuste » (elle ne doit pas changer radicalement si vous modifiez légèrement l'entrée). L'article souligne que de nombreuses méthodes actuelles échouent à ces tests. Par exemple, une méthode peut sembler excellente lors d'un test, mais échouer à aider un humain à prendre une décision. Les auteurs suggèrent que nous devons tester ces propriétés de manière rigoureuse, et non pas simplement supposer qu'elles fonctionnent parce que les mathématiques sont élégantes.

3. Le problème de l'évaluation (Comment tester si cela fonctionne ?)
C'est ici que les choses deviennent vraiment compliquées. L'article a constaté que, bien que 56 % des chercheurs prétendent tester si leurs explications sont « fidèles », très peu parlent réellement aux humains. Seuls 11 % des articles examinés comprenaient une étude avec de vraies personnes. La plupart des chercheurs se contentent de faire des simulations informatiques ou de vérifier si les chiffres sont stables. Or, une explication est inutile si un humain ne peut pas la comprendre ou ne lui fait pas confiance. Les auteurs soutiennent que nous devons cesser de traiter les explications comme un problème mathématique et commencer à les tester comme un produit : est-ce que cela aide réellement un humain à mieux faire son travail ?

4. Le problème de l'action (Que faire de l'explication ?)
C'est la plus grande lacune. Imaginez qu'un médecin reçoive une explication disant : « L'IA pense que ce patient souffre d'une maladie rare en raison de son âge. » Très bien, mais que fait le médecin avec cela ? Peut-il changer l'avis de l'IA ? Peut-il demander des tests supplémentaires ? L'article a révélé que 38,2 % des praticiens éprouvent des difficultés à intégrer ces explications dans leur flux de travail réel. Actuellement, les explications sont souvent de simples éléments de « démonstration » que l'on regarde, puis que l'on jette. Les auteurs soutiennent que les explications doivent faire partie d'une boucle où les humains peuvent donner un feedback, corriger l'IA et améliorer le système. Sans cela, l'explication n'est qu'une décoration.

Ce que disent les données

Pour appuyer leurs affirmations, les auteurs ont fait deux choses majeures. Premièrement, ils ont utilisé une IA (un LLM) pour lire 617 articles provenant de conférences de premier plan comme NeurIPS et ICML. L'IA a découvert que le domaine est presque entièrement piloté par des articles de « nouvelles méthodes », avec très peu de focus sur les définitions ou les tests humains.

Deuxièmement, ils ont interrogé 34 praticiens du monde réel — des personnes qui utilisent réellement ces outils dans leur métier. Les résultats sont frappants :

• Confusion : 44,1 % d'entre eux ont déclaré ne pas savoir comment vérifier si une explication était bonne.
• Paralysie du choix : 23,5 % ont admis ne pas savoir quelle méthode choisir, et 26,5 % ne savaient pas comment choisir les bons réglages (paramètres) pour les outils qu'ils utilisaient.
• Le piège de la « Confiance » : Bien que beaucoup aient déclaré que ces outils les aidaient à « faire confiance » à l'IA, l'article met en garde : la confiance sans compréhension est dangereuse. En fait, 44,1 % des praticiens ont déclaré que le plus grand défi était d'expliquer les résultats aux personnes qui doivent réellement prendre les décisions.

La voie à suivre

Les auteurs ne disent pas qu'il faut arrêter de créer de nouveaux outils. Ils ne disent pas que la XAI est brisée pour toujours. Ils disent que nous devons changer nos priorités. Au lieu de se précipiter pour construire la 100e nouvelle lampe de poche, nous devons nous mettre d'accord sur ce qu'est une carte, comment la dessiner avec précision et comment l'utiliser pour atteindre notre destination.

Ils proposent une liste de contrôle simple pour quiconque rédige un nouvel article sur l'IA explicable. Avant de publier, posez-vous ces questions :

1. Avez-vous défini votre objectif ? (À qui cela s'adresse-t-il, et que cherchent-ils à faire ?)
2. Votre affirmation est-elle testable ? (Quelqu'un peut-il prouver que vous avez tort ?)
3. Avez-vous testé la fidélité ? (Correspond-elle réellement au cerveau de l'IA ?)
4. Est-ce utile ? (Cela aide-t-il quelqu'un à prendre une décision réelle ?)
5. L'avez-vous testé avec des humains ? (Des personnes réelles l'ont-elles utilisé dans une situation réelle ?)

L'article conclut que si nous commençons à nous concentrer sur ces fondations, nous pourrons passer des « expériences scientifiques amusantes » aux « outils fiables » qui aident réellement les humains et les machines à travailler ensemble. D'ici là, nous risquons de continuer à construire des lampes de poche qui brillent intensément, mais qui nous font tourner en rond.