Explainability in Practice: A Survey of Explainable NLP Across Various Domains

La boîte noire et la lanterne magique

Imaginez que vous ayez construit un robot super intelligent capable de lire des livres, d'écrire des histoires et même de diagnostiquer des maladies. Il est incroyablement efficace dans son travail, mais il y a un piège : il fonctionne comme une boîte magique. Vous posez une question, et une réponse parfaite en ressort, mais le robot refuse de vous dire comment il a trouvé la solution. Il se contente de dire : « Faites-moi confiance, je suis intelligent. » C'est ce que les scientifiques appellent une « boîte noire ». Dans le monde de l'intelligence artificielle (IA), et plus précisément du traitement du langage naturel (TAL) — qui est simplement le nom sophistiqué pour l'enseignement de la compréhension du langage humain par les ordinateurs — ces boîtes noires sont partout. Elles alimentent les chatbots avec lesquels vous discutez, les systèmes qui décident si vous obtenez un prêt, et les outils que les médecins utilisent pour consulter les dossiers des patients.

Le problème, c'est que lorsqu'une boîte noire commet une erreur, ou lorsqu'elle prend une décision qui semble injuste, nous n'avons aucune idée de la raison. C'est comme un juge rendant une sentence sans avoir lu les preuves. Pour correr cela, des chercheurs développent l'« IA explicable » (XAI). Voyez l'XAI comme une lanterne magique qui projette une lumière à l'intérieur de la boîte noire, nous montrant les rouages en mouvement et les indices que l'ordinateur a utilisés pour faire son choix. Mais voici le rebondissement : ce qui constitue une « bonne explication » dépend entièrement de celui qui pose la question. Un médecin a besoin d'un type de preuve différent de celui d'un gestionnaire de banque ou d'un agent de service client. Ce document est un immense guide touristique à travers les différents mondes où travaillent ces robots linguistiques intelligents, examinant comment nous essayons de les faire parler, et comprenant pourquoi une solution unique ne convient absolument pas à tous.

La grande chasse aux détectives : Une enquête sur les explications de l'IA

Ce document est comme une grande histoire de détective où les auteurs, menés par Hadi Mohammadi et ses collègues, partent en excursion dans sept quartiers différents où les modèles de langage de l'IA accomplissent des travaux sérieux. Ils ne regardent pas seulement les robots ; ils regardent les explications que les robots donnent (ou ne donnent pas) et se demandent : « Cette explication aide-t-elle réellement les personnes qui l'utilisent ? »

Les auteurs ont visité la Médecine, la Finance, les Revues Systématiques (où les scientifiques résument des milliers d'articles de recherche), la Gestion de la Relation Client (CRM, qui est la façon dont les entreprises parlent à leurs clients), les Chatbots, les Sciences Sociales et Comportementales (étudiant des sujets comme les discours de haine et les fausses informations) et les Ressources Humaines (embauches et licenciements).

Voici ce qu'ils ont trouvé dans chaque quartier :

• En Médecine : Les médecins sauvent des vies, mais ils ne peuvent pas faire confiance à un robot qui dit simplement « Le patient est à risque ». Ils ont besoin de savoir pourquoi. L'article montre que dans les hôpitaux, les explications agissent comme une lampe de poche pour la lampe de poche du médecin. Par exemple, si un ordinateur prédit une insuffisance cardiaque, il doit mettre en évidence les codes médicaux spécifiques ou les symptômes (comme des taux élevés de créatinine) qui ont conduit à cette conclusion. Les auteurs ont constaté que bien que certaines méthodes fonctionnent bien, les médecins ont souvent besoin d'explications qui s'intègrent directement dans leur flux de travail chargé, et non de simples jolis graphiques.
• En Finance : Ici, les enjeux sont l'argent et les lois. Si une banque refuse un prêt, elle doit en expliquer la raison au gouvernement et au client. L'article note que les équipes financières apprécient les outils capables de pointer des mots spécifiques dans un contrat ou un journal de transactions qui ont déclenché une alerte de fraude. Cependant, ils ont aussi découvert un problème délicat : parfois, les explications peuvent être « manipulées » par des acteurs malveillants tentant de tromper le système.
• Dans les Revues Systématiques : Imaginez un bibliothécaire essayant de lire 10 000 livres pour trouver les 50 qui comptent vraiment. L'IA aide en les triant, mais le bibliothécaire a besoin de savoir pourquoi l'IA a choisi un livre. L'article suggère que les explications aident ici les chercheurs à faire confiance au tri de l'IA, rendant l'ensemble du processus plus rapide et moins sujet à l'erreur humaine.
• Dans le CRM et les Chatbots : Lorsque vous parlez à un bot, vous voulez qu'il ait l'air humain. Mais si le bot vous donne une réponse étrange, vous voulez savoir pourquoi. Les auteurs ont découvert que si un chatbot peut expliquer son raisonnement (comme « Je vous ai suggéré ce film parce que vous avez aimé la science-fiction la semaine dernière »), les gens lui font davantage confiance. Mais il y a un équilibre : si l'explication est trop longue, elle gâche la conversation.
• En Sciences Sociales : C'est la « police » d'Internet, cherchant les discours de haine ou les fausses informations. L'article souligne un défi majeur ici : la culture. Ce qui ressemble à un discours de haine dans un pays peut être un argot normal dans un autre. Les auteurs suggèrent que les explications doivent être très prudentes ici, en montrant exactement quels mots ont déclenché l'alarme, afin que les humains puissent vérifier si l'IA est trop sensible ou passe à côté de l'essentiel.
• Dans les Ressources Humaines : Les entreprises utilisent l'IA pour scanner les CV. L'article révèle une vérité effrayante : ces systèmes peuvent être biaisés contre certains noms ou origines. Les explications sont cruciales ici car elles sont le seul moyen de voir le biais. Sans elles, l'IA pourrait rejeter un excellent candidat, et personne ne le saurait avant qu'il ne soit trop tard.

Le mythe du « Taille unique » et la solution à deux niveaux

L'une des plus grandes découvertes de ce document est que vous ne pouvez pas utiliser le même outil d'explication pour chaque tâche. C'est comme essayer d'utiliser un tournevis pour enfoncer un clou ; cela peut fonctionner un peu, mais ce n'est pas le bon outil.

Les auteurs soutiennent que, bien que tous ces domaines recherchent la « confiance », ils ont besoin de types de confiance différents. Un médecin a besoin d'une raison médicalement exacte ; une banque a besoin d'une raison légalement conforme ; un utilisateur de chatbot a besoin d'une raison amicale. Le document suggère une nouvelle façon de tester ces explications appelée un « Protocole d'Évaluation à Deux Niveaux ».

• Niveau 1 (Le Noyau Technique) : C'est la partie mathématique. L'explication correspondait-elle à ce que l'ordinateur a réellement fait ? (C'est ce qu'on appelle la « fidélité de l'explication » ou faithfulness). A-t-elle obtenu la bonne réponse ? (C'est la « fidélité du résultat » ou fidelity). Chaque explication doit réussir ce test de base.
• Niveau 2 (La Couche Domaine) : C'est la partie humaine. Est-ce qu'un médecin comprend réellement cela ? Est-ce qu'un régulateur bancaire accepte cela ? Est-ce qu'un client se sent rassuré ? Cette partie change selon le métier.

Le document traite également d'un problème sournois avec l'IA moderne « super intelligente » (comme celles qui rédigent des essais). Parfois, ces modèles d'IA peuvent écrire une histoire très convaincante sur la manière dont ils ont réfléchi, mais cette histoire n'est pas forcément vraie. C'est comme un étudiant qui rédige un essai parfait sur la façon dont il a résolu un problème de mathématiques, alors qu'en réalité, il a juste deviné la réponse. Les auteurs appellent cela le « Problème de la fidélité de la chaîne de pensée » (Chain-of-Thought Faithfulness Problem). Ils ont découvert que le simple fait qu'une IA dise qu'elle a raisonné étape par étape ne signifie pas qu'elle l'a réellement fait. C'est un avertissement majeur pour quiconque compte sur ces modèles pour des décisions sérieuses.

Et après ?

Le document conclut que nous progressons, mais que nous n'y sommes pas encore. Nous avons les outils pour projeter de la lumière dans la boîte noire, mais nous devons nous assurer que la lumière est de la bonne couleur pour la pièce où nous nous trouvons. Les auteurs suggèrent que les recherches futures devraient se concentrer sur la création d'explications qui changent en fonction de celui qui pose la question (explications personnalisées) et sur la recherche de moyens de prouver que le « raisonnement » de l'IA est réel et non une simple histoire inventée.

En bref, ce document est une feuille de route. Il nous dit que pour rendre l'IA véritablement utile et sûre, nous ne pouvons pas nous contenter de construire des robots plus intelligents ; nous devons construire de meilleures façons de leur parler et de les comprendre. Et tout comme dans la vie réelle, la meilleure explication est celle qui fait sens pour la personne qui écoute.