🤖 AI

Fix the Mind, Not the Move: Interpretable AI Assistance via Knowledge-Gap Localization

L'article présente SENSEI, un cadre d'IA interprétable qui améliore la collaboration humain-IA à long terme en localisant et en corrigeant les mécompréhensions sous-jacentes de l'utilisateur par le biais de suggestions ciblées plutôt qu'en se contentant de corriger les actions immédiates, atteignant ainsi des taux de réussite élevés en généralisation zero-shot à travers diverses tâches.

Auteurs originaux : Ayano Hiranaka, Ya-Chuan Hsu, Stefanos Nikolaidis, Erdem Bıyık, Daniel Seita

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ayano Hiranaka, Ya-Chuan Hsu, Stefanos Nikolaidis, Erdem Bıyık, Daniel Seita

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : Corriger la recette, pas seulement la cuisson

Imaginez que vous enseigniez à un ami comment préparer un plat complexe. Votre ami répète sans cesse la même erreur : il essaie de faire bouillir un œuf en le mettant directement au micro-ondes.

L'ancienne méthode (Corriger le mouvement) : Un assistant IA standard se contenterait de crier : « Stop ! Ne fais pas ça ! » ou de refermer physiquement la porte du micro-ondes. Cela arrête le désastre immédiat, mais votre ami pense toujours : « Oh, les micro-ondes, c'est bien pour les œufs », et il est fort probable qu'il réessaie demain avec une pomme de terre. On a corrigé l'action, mais pas la pensée.
La nouvelle méthode (SENSEI) : Le système introduit dans ce papier, appelé SENSEI, agit comme un chef cuisinier qui réalise : « Mon élève ne sait pas que les coquilles scellées explosent au micro-ondes. » Au lieu de simplement arrêter sa main, SENSEI explique la règle : « Les coquilles scellées et remplies de liquide accumulent de la pression et explosent. » Désormais, l'élève apprend une nouvelle règle. Il ne se contentera pas d'éviter de mettre des œufs au micro-ondes ; il n'y mettra pas non plus de pommes de terre ou de bocaux scellés. Il a corrigé l' esprit.

Qu'est-ce que SENSEI ?

SENSEI est un cadre conçu pour aider les assistants IA à comprendre pourquoi un humain commet des erreurs lors de tâches longues et complexes (comme cuisiner, conduire ou planifier une mission de rover) et ensuite lui enseigner la règle correcte afin qu'il ne commette plus ces erreurs.

Il repose sur un principe simple : Les gens agissent généralement de manière logique en fonction de ce qu'ils croient être vrai. S'ils font quelque chose de « mal », c'est souvent parce que leur « carnet de règles » interne sur le monde est légèrement défaillant.

Comment cela fonctionne-t-il ? (Le Détective et l'Éditeur)

SENSEI fonctionne en deux étapes principales, agissant d'abord comme un détective, puis comme un éditeur :

Le Détective (Localisation) :
Imaginez que le savoir de l'expert soit une bibliothèque de 100 carnets de règles (ex: « Comment tenir une tomate », « Comment ouvrir une porte », « Comment nettoyer une poêle »). L'élève, lui, suit un ensemble de règles différent.
SENSEI observe l'élève tenter une tâche. Il compare ses actions à celles d'un expert. Au lieu de deviner au hasard, il examine les « carnets de règles » spécifiques (composants de connaissance) pour identifier exactement lequel est erroné.
- Analogie : C'est comme un mécanicien qui écoute le moteur d'une voiture. Au lieu de dire « La voiture est en panne », il identifie précisément la pièce qui fait du bruit : « Ah, c'est la bougie d'allumage, pas les pneus. »
L'Éditeur (Correction) :
Une fois que SENSEI a trouvé la règle défectueuse, il ne se contente pas de la supprimer ; il la réécrit pour qu'elle corresponde à la version de l'expert. Il traduit ensuite cette correction technique en un conseil simple, en langage naturel, pour l'humain.
- Analogie : Si l'élève pensait que « Les portes ne s'ouvrent qu'en cliquant », SENSEI édite cette règle en « Les portes s'ouvrent en cliquant OU en appuyant sur 'A' ». Il dit ensuite à l'élève : « Hé, essaie d'appuyer sur 'A' sur la porte. »

Le tour de magie : Apprendre d'une seule erreur pour en corriger plusieurs

L'une des découvertes les plus fascinantes du papier est la Généralisation Compositionnelle Zero-Shot.

Imaginez que vous appreniez à un élève que « Le sel ressemble au sucre » est une erreur. Vous ne lui montrez que cette erreur spécifique.

L'IA classique : Si vous lui présentez ensuite une nouvelle erreur, comme « Les tomates ressemblent aux oignons », l'IA classique pourrait être confuse car elle n'a jamais vu cette combinaison exacte auparavant.
SENSEI : Parce qu'il comprend la structure de l'erreur (la confusion entre types d'objets), il peut instantanément reconnaître et corriger de nouvelles combinaisons d'erreurs qu'il n'a jamais vues auparavant. C'est comme enseigner à quelqu'un le concept de « confusion » plutôt que de lui faire mémoriser une liste d'objets confondus.

Les résultats : Est-ce que cela fonctionne vraiment ?

Les chercheurs ont testé SENSEI dans trois « mondes » différents :

Petit-déjeuner : Une tâche de cuisine impliquant des œufs, du lait et le nettoyage.
Overcooked : Un jeu de cuisine chaotique où il faut préparer une soupe et la servir.
Rover : Une mission de robot spatial pour collecter des roches et envoyer des photos.

Les conclusions :

Précision : SENSEI a réussi à identifier et à corriger environ 90 % des mécompréhensions humaines lors d'une étude utilisateur.
Efficacité : Il ne s'est pas contenté de deviner ; il a trouvé la bonne règle à corriger. Les autres méthodes soit devinaient trop de mauvaises règles (provoquant la confusion), soit passaient à côté des vrais problèmes.
Feedback Humain : Dans une étude avec 20 personnes réelles, les utilisateurs ont trouvé les conseils utiles. Même si le système donnait parfois des conseils qu'ils connaissaient déjà (fausses alertes), les utilisateurs l'ont tout de même très bien noté car les conseils corrects étaient extrêmement précieux.

L'essentiel

SENSEI change l'objectif de l'assistance par l'IA. Au lieu d'être un « agent de circulation » qui se contente de vous arrêter lors d'un mauvais mouvement, il agit comme un « tuteur » qui met à jour votre carte mentale du fonctionnement du monde. En corrigeant l'esprit (la connaissance sous-jacente), il garantit que le mouvement (l'action) sera correct, maintenant et dans le futur.

Où cela est-il utilisé ?
Selon le papier, cela est actuellement testé dans des environnements de planification simulés (comme des jeux de cuisine et des missions de robots). Les auteurs soulignent qu'il s'agit d'une étape vers la création d'assistants IA capables de véritablement enseigner aux humains, plutôt que de simplement les contrôler.

Résumé technique : Réparer l'esprit, pas le mouvement : Assistance par IA interprétable via la localisation des lacunes de connaissances

Énoncé du problème
Les assistants IA actuels dans les collaborations humain-IA reposent souvent sur un retour comportemental (par exemple, le pilotage, les alertes ou les interventions) pour corriger les actions sous-optimales de l'humain en temps réel. Bien qu'efficaces pour la mitigation immédiate des erreurs, ces interventions de type « correction de mouvement » ne traitent pas les mécompréhensions sous-jacentes qui causent des erreurs systématiques répétées. L'article soutient que la maîtrise robuste dans les tâches de prise de décision à long terme nécessite de corriger la connaissance interne de la tâche de l'humain, et non simplement sa trajectoire immédiate. Le défi central consiste à inférer les lacunes de connaissances spécifiques d'un humain (mécompréhensions) à partir de traces de comportement observées et à fournir une guidance ciblée et interprétable qui aligne le comportement futur de l'humain avec celui d'un expert, même sur de nouvelles instances de la tâche.

Méthodologie : SENSEI
Les auteurs proposent SENSEI (Structured Extraction and Neural Synthesis of Errors for Intervention), un cadre qui opère sur une représentation de connaissance structurée (spécifiquement le langage PDDL - Planning Domain Definition Language) pour localiser et corriger les lacunes de connaissances. Le système suit un pipeline d'inférence en deux étapes :

Localisation des lacunes de connaissances : Étant donné la connaissance de l'expert ( $K_E$ ), le comportement de l'expert ( $\tau_E$ ) et le comportement de l'étudiant ( $\tau_S$ ), un réseau de localisation ( $f_{loc}$ ) prédit quels composants spécifiques de la connaissance symbolique (par exemple, les types d'objets, les préconditions d'action ou les effets) sont désalignés entre l'étudiant et l'expert. Pour gérer les multiples mécompréhensions superposées, les auteurs utilisent une Perte de Généralisation par Mixup (Mixup Generalization Loss), entraînant le réseau sur des plongements synthétiques créés par interpolation entre des comportements à mécompréhension unique. Cela permet une généralisation compositionnelle zero-shot dans des scénarios à mécompréhensions multiples malgré un entraînement sur des données à mécompréhension unique.
Édition de connaissance latente et décodage : Une fois une lacune localisée, un éditeur de connaissance latente ( $f_{edit}$ ) prédit un vecteur d'édition latent pour transformer l'embedding du composant de connaissance de l'expert en la variante de l'étudiant. Un décodeur de connaissance de l'étudiant ( $f_{dec}$ ), basé sur une architecture CodeT5+, traduit ensuite cet embedding édité en langage naturel ou en texte PDDL brut, décrivant la mécompréhension spécifique de l'étudiant.

Le cadre est entraîné pour minimiser trois objectifs : la localisation précise des lacunes, la correction précise des véritables lacunes, et une édition minimale/nulle sur les composants sans lacune (pour éviter d'halluciner des erreurs).

Contributions clés

Formalisation de l'assistance axée sur la connaissance : L'article formalise l'assistance par IA comme un problème de correction de connaissances, visant à aligner la connaissance de l'étudiant ( $K_S$ ) avec la connaissance de l'expert ( $K_E$ ) pour minimiser le regret futur, plutôt que de simplement optimiser l'alignement de la trajectoire immédiate.
Cadre structuré de Diagnostic-puis-Édition : SENSEI découple le « où éditer » (localisation) du « comment éditer » (synthèse). Cette contrainte structurelle garantit que les corrections sont minimales, interprétables et ancrées dans des composants de connaissance symbolique spécifiques, réduisant ainsi les mises à jour spécieuses.
Généralisation compositionnelle Zero-Shot : Le système démontre sa capacité à désintriquer et à corriger plusieurs mécompréhensions superposées de manière zero-shot, malgré un entraînement exclusif sur des données contenant des mécompréhensions uniques.
Validation empirique : Les auteurs valident leur approche à travers trois domaines de planification complexes (Breakfast, Overcooked et Rover) ainsi qu'une étude utilisateur impliquant 20 participants.

Résultats

Expériences de simulation : Sur trois domaines, SENSEI a atteint le meilleur équilibre entre la correction des véritables lacunes et l'évitement des corrections erronées. Par exemple, dans le domaine Overcooked, SENSEI a obtenu un score F1 de système de 0,726, surpassant de manière significative les modèles monolithiques de bout en bout (0,028) et les LLM standards (0,005–0,076). Le module de localisation a identifié avec succès les composants corrects (LocRecall $\approx$ 0,83 dans Overcooked) tout en maintenant une précision élevée.
Études d'ablation : Le retrait de la perte Mixup a provoqué une chute catastrophique du rappel du système (par exemple, de 0,762 à 0,221 dans Breakfast), confirmant sa nécessité pour généraliser aux cas de mécompréhensions multiples. Le retrait de la référence de l'expert lors de l'entraînement a conduit à une précision plus élevée mais à un rappel plus faible, suggérant que l'ancrage de l'expert est crucial pour la sensibilité aux écarts.
Étude utilisateur : Dans une tâche Overcooked modifiée, SENSEI a réussi à identifier et à corriger de réelles mécompréhensions humaines induites par des instructions retenues. Le système a atteint un Rappel de Système de 0,895 et a amélioré l'alignement entre le comportement de l'utilisateur et celui de l'expert (IoU) de 0,736 à 0,844. Bien que les utilisateurs aient reçu quelques conseils non utiles (faux positifs), ils ont jugé l'utilité globale du système très positivement (4,27/5), indiquant que la guidance axée sur la connaissance est précieuse même avec des erreurs occasionnelles.

Signification et affirmations
L'article affirme que SENSEI représente un changement de paradigme, passant de « réparer le mouvement » (autonomie partagée) à « réparer l'esprit » (correction de la connaissance). En localisant les lacunes de connaissances symboliques et en synthétisant des corrections minimales et interprétables, le cadre pose les bases d'une assistance par IA qui soutient l'apprentissage et la généralisation à long terme. Les auteurs soulignent que leur approche dépasse le simple pilotage comportemental opaque pour proposer un diagnostic transparent basé sur la logique.

Cependant, l'article maintient une position modeste concernant son champ d'application et ses limites. Il reconnaît que la dépendance aux trajectoires de référence de l'expert et aux domaines PDDL prédéfinis implique une définition normative de l'« optimalité », ce qui peut pénaliser des stratégies alternatives valides dans des contextes ouverts. De plus, les auteurs notent que les systèmes de diagnostic sont sujets à des corrections erronées (hallucination de mécompréhensions), ce qui peut engendrer de la frustration chez l'utilisateur. Par conséquent, ils positionnent SENSEI comme un outil de soutien plutôt que comme un évaluateur autonome, particulièrement dans les environnements à enjeux élevés où la précision du diagnostic est critique. Ce travail ne prétend pas résoudre tous les problèmes d'apprentissage humain, mais propose une méthode structurée pour aligner la connaissance des tâches humaines avec les modèles experts dans des processus de décision à long terme.