🤖 AI

Addressing the Selection Problem in Explainable AI

Cet article identifie le « problème de sélection » dans l'IA explicable, où les utilisateurs peinent à choisir des techniques d'explication efficaces en raison du cloisonnement de la recherche, et propose un outil d'orchestration de LLM multi-agents pour traduire automatiquement les requêtes des utilisateurs vers la méthode XAI appropriée.

Auteurs originaux : Claire Vlases, Katelyn Morrison

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Claire Vlases, Katelyn Morrison

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, une frustration silencieuse s'est emparée de ceux qui construisent et utilisent ces systèmes. Alors que les machines apprennent à prendre des décisions pour tout, des diagnostics médicaux aux approbations de prêts, un domaine connu sous le nom d'IA explicable est apparu pour aider les humains à comprendre comment ces décisions sont prises. L'objectif est simple : fournir une raison claire à la production d'une machine, transformant une boîte noire en quelque chose de transparent. Cependant, le paysage actuel est encombré de dizaines de méthodes différentes pour générer ces raisons. Certaines méthodes mettent en évidence les parties d'une image que l'ordinateur a regardées, tandis que d'autres montrent comment un petit changement dans l'entrée modifierait le résultat, ou elles récupèrent simplement des exemples passés similaires pour montrer comment le système se comporte habituellement. Chaque méthode répond à un type différent de question sur la logique de la machine. Le problème est que, bien que les chercheurs aient construit une vaste boîte à outils de ces méthodes d'explication, les personnes qui ont besoin de les utiliser se retrouvent souvent devant une porte verrouillée, ne sachant pas quel outil choisir ou comment demander le type d'aide approprié.

Une équipe de chercheurs de l'Université Carnegie Mellon a identifié cette confusion non pas comme une erreur de l'utilisateur, mais comme une faille fondamentale dans la conception de ces systèmes. Ils appellent cela le « problème de sélection ». Selon eux, la façon actuelle dont nous interagissons avec l'IA explicable force les utilisateurs à traduire leur propre confusion naturelle en une commande technique spécifique avant de pouvoir obtenir une explication. Imaginez une personne qui ne comprend pas pourquoi une machine a fait un certain choix ; elle pourrait penser : « Je veux savoir ce qui se passerait si je changeais ce détail » ou « J'ai besoin de voir un exemple d'un cas similaire ». Dans les systèmes actuels, l'utilisateur doit savoir que la première pensée nécessite un type d'explication spécifique appelé contre-factuel, et que la seconde nécessite une méthode d'exemplaire. Il doit ensuite trouver le bon bouton ou l'option de menu pour sélectionner cette technique spécifique. Les chercheurs soutiennent qu'attendre d'une personne ordinaire qu'elle connaisse les noms techniques et les capacités de ces différentes méthodes d'explication est une exigence injuste et irréaliste. Parce que les utilisateurs ne peuvent pas faire correspondre de manière fiable leurs propres questions aux outils techniques corrects, ils se retrouvent souvent avec des explications qui ne répondent pas réellement à ce qu'ils voulaient savoir, ce qui mène à la confusion ou à une confiance mal placée envers la machine.

Pour prouver ce point, les auteurs décomposent l'interaction en une séquence logique. Ils commencent par noter qu'un modèle d'intelligence artificielle est essentiellement une fonction qui prend une entrée et produit une sortie. Une explication est simplement un processus qui prend cette même entrée et ce même modèle pour produire une raison. Crucialement, différents processus d'explication sont conçus pour répondre à des questions structurelles différentes. L'incertitude d'un utilisateur à un moment donné est un état d'esprit spécifique, une lacune dans sa compréhension qu'il souhaite combler. Les chercheurs montrent que pour toute lacune spécifique de compréhension, seule une petite sous-partie des méthodes d'explication disponibles serait réellement utile. Pourtant, dans les systèmes que nous utilisons aujourd'hui, c'est l'utilisateur qui doit combler le fossé entre sa question en langage naturel et la méthode technique. Le système ne demande pas : « Que cherchez-vous à comprendre ? » Il attend que l'utilisateur sélectionne un outil. Comme la plupart des gens n'ont pas la formation technique pour savoir quel outil correspond à quelle question, ils choisissent souvent le mauvais. Le résultat est un système qui fournit une réponse, mais pas la bonne réponse pour le besoin spécifique de l'utilisateur.

Le papier propose une solution structurelle pour réparer ce lien brisé : un système qui gère la traduction pour l'utilisateur. Au lieu de demander à l'utilisateur de choisir un outil, le nouveau design lui demande simplement de poser sa question en français courant (ou en anglais, selon l'original). Le système utilise ensuite un outil logiciel sophistiqué, basé sur des modèles de langage étendus, pour écouter l'incertitude de l'utilisateur et l'orienter automatiquement vers la bonne méthode d'explication. Cette approche déplace la charge de la traduction de l'humain vers la machine. Le système accepte le langage naturel de l'utilisateur, détermine quel type de question est posé, puis sélectionne la technique d'explication appropriée pour fournir la réponse. Cela permet une interaction plus fluide où l'utilisateur n'a pas besoin de connaître le vocabulaire technique du domaine. Les chercheurs illustrent cela avec un prototype conçu pour l'imagerie médicale. Dans cet exemple, un médecin pourrait taper une question telle que : « Je ne suis pas sûr de la raison pour laquelle le système a signalé ce scanner », et le système déterminerait automatiquement que le médecin a besoin d'un type spécifique d'explication visuelle, puis générerait cette vue spécifique sans que le médecin ait jamais besoin de connaître le nom de la technique ou de savoir où la trouver.

Les chercheurs veillent à présenter cela comme une proposition et une formalisation d'un problème, plutôt que comme une crise résolue. Ils présentent leur idée comme une nécessité logique basée sur les limitations actuelles des interfaces utilisateur, suggérant que l'échec de l'IA explicable à gagner une confiance généralisée est en partie dû à ce décalage d'interface. Ils ne prétendent pas avoir construit un produit parfait et achevé, mais plutôt un plan directeur sur la façon dont les futurs systèmes devraient être construits. En déplaçant la tâche de mise en correspondance des questions et des outils de l'utilisateur vers le système, ils soutiennent que nous pouvons créer une relation plus efficace et plus digne de confiance entre les humains et l'intelligence artificielle. Le travail suggère que la voie à suivre ne consiste pas à construire plus d'outils d'explication, mais à construire de meilleures façons pour les gens de les demander.

Résumé Technique : Aborder le Problème de la Sélection dans l'IA Explicable

Définition du Problème : Le Problème de la Sélection
L'article identifie une barrière critique à l'adoption de l'IA explicable (XAI) : le « problème de la sélection ». Malgré une prolifération des techniques de XAI (par exemple, cartes de saillance, contrefactuels, exemplaires), les études utilisateurs indiquent que les explications disponibles sont souvent inefficaces, ignorées ou mal interprétées. Les auteurs soutiennent que cette inefficacité ne provient pas simplement de la qualité des techniques individuelles, mais de la conception structurelle des interfaces XAI conventionnelles.

Dans les systèmes actuels, les utilisateurs sont tenus de sélectionner une technique d'explication spécifique avant de recevoir tout résultat. Cela crée un décalage entre l'expression en langage naturel de l'incertitude de l'utilisateur (son « état épistémique ») et les contrôles techniques discrets offerts par l'interface. L'article formalise cela comme un échec à combler le fossé entre la requête de l'utilisateur et la technique d'explication spécifique capable de résoudre cette requête.

Méthodologie : Formalisation et Argumentation Logique
Les auteurs emploient un cadre philosophique et logique pour formaliser le problème de la sélection, en procédant par une structure de prémisse-conclusion :

Décalage Épistémique (Prémisse 1) : Les modèles d'IA sont des fonctions qui associent des entrées à des sorties. Les techniques d'explication sont des fonctions qui associent des entrées et des modèles à des types d'explications spécifiques. Crucialement, différentes techniques répondent à des questions structurellement différentes. L'incertitude d'un utilisateur est définie comme un état épistémique $\omega = (x, y, \phi)$ , où $\phi$ est l'écart spécifique de compréhension. Seul un sous-ensemble de techniques, noté $E^*(\omega)$ , peut résoudre un $\omega$ spécifique.
Charge de Traduction (Prémisse 2) : Les utilisateurs expriment l'incertitude en langage naturel ( $q \in L$ ), et non par des sélections techniques. Par conséquent, les interfaces conventionnelles exigent une sélection de technique discrète ( $\hat{e} \in E$ ) comme entrée. En conséquence, l'utilisateur doit effectuer une fonction de traduction $f_{user}: L \to E$ .
Imprévisibilité de la Correspondance (Prémisse 3) : L'article postule qu'une correspondance fiable entre les questions en langage naturel et les types de techniques XAI n'est pas une compétence que la population générale des utilisateurs possède. Les preuves empiriques (par exemple, les difficultés d'utilisation de la Banque de Questions XAI) suggèrent que les utilisateurs ne peuvent souvent pas distinguer les capacités des techniques.
Le Problème de la Sélection : Parce que les utilisateurs ne peuvent pas mapper de manière fiable leur incertitude vers la bonne technique, la technique sélectionnée $\hat{e}$ tombe fréquemment en dehors de l'ensemble adéquat $E^*(\omega)$ . Formellement, le problème de la sélection se produit lorsque $\hat{e} \notin E^*(\omega)$ .

Solution Structurelle Proposée
Pour remédier à cela, les auteurs proposent de transférer la charge de la correspondance de l'utilisateur vers le système. Ils décrivent trois exigences pour une solution structurelle :

Entrée en Langage Naturel : Le système doit accepter des requêtes en langage naturel directement, contournant ainsi la nécessité pour les utilisateurs de sélectionner des modes techniques.
Routage Adéquat : Le système doit produire des techniques qui appartiennent à l'ensemble adéquat $E^*(\omega)$ pour l'incertitude spécifique de l'utilisateur.
Traduction Effectuée par le Système : La fonction de correspondance ( $f_{sys}: L \to E^*(\omega)$ ) doit être exécutée par le système, permettant potentiellement un dialogue multi-tours pour affiner l'intention de l'utilisateur avant le routage.

Instanciation : Orchestration de LLM Multi-Agents
L'article fournit une instanciation conceptuelle de cette solution via un Système d'Orchestration de LLM Multi-Agents, spécifiquement dans le contexte de l'imagerie médicale.

Architecture : Le système utilise un mode « Intelligent » où un orchestrateur LLM central (par exemple, Gemini 2.5 Flash) reçoit la requête en langage naturel de l'utilisateur.
Mécanisme : L'orchestrateur classifie le type sous-jacent de la question de l'utilisateur et utilise l'appel de fonction (function calling) pour router la requête vers un agent XAI spécialisé (par exemple, un agent pour les contrefactuels, un autre pour les cartes de saillance).
Flexibilité : Les utilisateurs qui connaissent déjà leur technique désirée peuvent contourner l'orchestrateur et invoquer directement des « modes » spécifiques.
Objectif : Cette conception vise à absorber la fonction de correspondance dans le système, garantissant que la technique d'explication correspond à la nature structurelle de l'incertitude de l'utilisateur.

Contributions Clés

Formalisation du Problème de la Sélection : L'article définit le problème de la sélection comme un échec structurel dans la conception des interfaces XAI conventionnelles, où l'utilisateur est forcé de mapper l'incertitude en langage naturel vers des techniques techniques sans support adéquat.
Cadre Logique : Il fournit une dérivation logique rigoureuse (Prémisses 1–3) démontrant pourquoi le mapping effectué par l'utilisateur est intrinsèquement peu fiable et conduit à l'irrélevance fonctionnelle de l'explication.
Exigences de Conception : Il établit trois exigences spécifiques pour les futures interfaces XAI : entrée en langage naturel, routage de technique adéquat et traduction du côté système.
Concept de Prototype : Il offre un exemple concret de la manière dont un outil d'orchestration de LLM multi-agents peut instancier ces exigences, faisant passer la XAI de sorties statiques à des interactions interactives pilotées par requêtes.

Signification et Revendications
Les auteurs prétendent modestement que leur travail s'attaque à l'« écart d'adoption » de la XAI en la recadrant comme un problème de présentation d'interface plutôt que comme un problème purement algorithmique technique. Ils soutiennent que l'incapacité des utilisateurs à sélectionner le bon outil est une conséquence structurelle des conceptions actuelles, et non une déficience de l'utilisateur.

L'article ne prétend pas avoir validé empiriquement le système multi-agents proposé par des études utilisateurs. Au lieu de cela, il présente la formalisation et la proposition architecturale comme une étape nécessaire pour la communauté de l'XAI centrée sur l'humain. La signification réside dans le changement de paradigme de conception : les futurs systèmes XAI ne devraient pas seulement offrir plus de techniques, mais devraient activement gérer le processus de sélection pour garantir que l'explication fournie résout réellement l'incertitude spécifique de l'utilisateur. Des travaux futurs sont suggérés pour tester empiriquement la fiabilité du mapping utilisateur et comparer l'efficacité des orchestrateurs par rapport aux interfaces statiques traditionnelles.

Articles similaires