💻 computer science

GuidedAttention: Interpretable and Correctable Visual Attention for OOD-Robust Robot Manipulation via Imitation Learning

GuidedAttention est un cadre d'apprentissage par imitation interprétable qui améliore la robustesse hors distribution dans la manipulation robotique en permettant aux utilisateurs d'inspecter et de corriger des points clés d'attention visuelle pertinents pour la tâche lors de l'initialisation du déploiement, lesquels sont ensuite automatiquement propagés tout au long de l'exécution pour guider une politique d'action basée sur la diffusion.

Auteurs originaux : Masaki Murooka, Ryoichi Nakajo, Keisuke Shirai, Tomohiro Motoda, Hanbit Oh, Ryo Hanai, Yukiyasu Domae

Publié 2026-07-27

📖 11 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Masaki Murooka, Ryoichi Nakajo, Keisuke Shirai, Tomohiro Motoda, Hanbit Oh, Ryo Hanai, Yukiyasu Domae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à effectuer une tâche, comme ramasser une tasse ou plier une serviette. Autrefois, les ingénieurs devaient écrire des milliers de lignes de code pour dire exactement au robot comment bouger son bras, où regarder et quoi saisir. C'était comme donner à un enfant un script rigide à suivre ; si le script ne correspondait pas parfaitement au monde réel, l'enfant se figeait. Aujourd'hui, nous utilisons une approche plus intelligente appelée « Apprentissage par Imitation ». Au lieu d'écrire des règles, nous montrons au robot une vidéo d'un humain effectuant la tâche, et le robot tente d'apprendre le motif en regardant. C'est comme un enfant qui apprend à faire du vélo en imitant son grand frère ou sa grande sœur.

Cependant, il y a un pièque. Lorsqu'un robot apprend de cette manière, il construit un cerveau de type « boîte noire ». Il voit le monde à travers une caméra, mais nous n'avons aucune idée de ce qu'il regarde réellement. Si le robot échoue, nous ne pouvons pas facilement dire : « Hé, tu regardais le mauvais endroit ! » parce que l'attention du robot est cachée à l'intérieur de calculs mathématiques complexes. Cela devient un gros problème quand les choses changent. Si vous déplacez la tasse à un nouvel endroit ou si vous posez un motif coloré sur la table, le robot pourrait être confus et échouer parce qu'il a été entraîné sur une configuration spécifique. C'est comme un élève qui a mémorisé les réponses à un examen mais qui panique lorsque le professeur change l'ordre des questions. Nous avons besoin d'un moyen de jeter un coup d'œil à l'intérieur de l'esprit du robot et de dire : « Non, regarde la tasse, pas l'arrière-plan ! »

C'est là qu'intervient un nouveau cadre appelé GuidedAttention. Considérez cela comme si l'on donnait au robot une paire de « lunettes magiques » qui nous montre exactement où il concentre son attention. Les chercheurs derrière ce travail, Masaki Murooka et son équipe, ont créé un système qui ne se contente pas de deviner quoi faire ; il pointe d'abord les parties importantes de l'image, comme un étudiant qui souligne les mots clés dans un manuel. Si le robot souligne la mauvaise chose, un humain peut intervenir, cliquer sur le bon endroit et dire : « Regarde ici ! » Le robot utilise ensuite ce point corrigé comme guide pour le reste de la tâche, en le suivant automatiquement au fur et à mesure que le robot se déplace.

Les chercheurs testent cette idée de deux manières : dans une simulation informatique et dans le monde réel avec un véritable bras robotique. Ils ont découvert que lorsque le robot est dans un environnement familier, il s'en sort plutôt bien tout seul. Mais quand les choses deviennent bizarres — comme déplacer la cible à un nouvel emplacement ou ajouter des blocs colorés distrayants sur la table — le robot se perd généralement. C'est là que les « lunettes magiques » brillent. Lorsque l'humain donne un petit coup de pouce au tout début de la tâche pour corriger l'attention du robot, le taux de réussite du robot grimpe de façon spectaculaire. Dans certains tests réels difficiles, corriger l'attention au début a permis au robot de réussir environ 80 % de plus souvent que s'il avait dû se débrouiller seul. Il s'avère que donner au robot un indice simple et correctable sur l'endroit où regarder est la recette secrète pour le rendre assez robuste pour gérer un monde désordonné et changeant.

Le Problème : Le Cerveau « Boîte Noire » du Robot

Imaginez que vous appreniez à un robot à lacer ses chaussures. Vous lui montrez une vidéo, et le robot apprend à copier vos mouvements. Mais voici le problème : le robot ne « voit » pas la chaussure comme vous le faites. Il voit un amas de pixels. Dans l'apprentissage robotique moderne, nous utilisons ce qu'on appelle des politiques de bout en bout (End-to-End policies). Cela signifie que le robot prend une image en entrée et produit un mouvement en sortie, en sautant toutes les étapes intermédiaires où un humain pourrait expliquer ce qui se passe.

Le problème est que ce processus est une « boîte noire ». Nous ne savons pas à quoi le robot prête attention. Si le robot échoue à lacer la chaussure, nous ne pouvons pas facilement dire s'il regardait les lacets, le sol ou une ombre. C'est comme essayer de réparer le moteur d'une voiture sans pouvoir voir à l'intérieur du capot. Pire encore, si vous déplacez la chaussure à un autre endroit sur la table (une situation appelée Hors-Distribution ou OOD - Out-of-Distribution), le robot pourrait être complètement confus car il a été entraîné sur la chaussure étant à un endroit précis. C'est comme un élève qui a mémorisé la réponse « 5 » pour un problème de mathématiques mais qui échoue lorsque les nombres changent, car il n'a pas appris le concept, mais seulement l'exemple spécifique.

La Solution : GuidedAttention (Les « Lunettes Magiques »)

Les auteurs proposent une solution appelée GuidedAttention. Au lieu de laisser le robot deviner ce qu'il doit regarder, ils le forcent à prédire un ensemble de points clés (keypoints) — de petits points qui marquent les parties importantes de l'image. Pensez à ces points clés comme une carte au trésor. Le robot doit dessiner un « X » sur l'endroit qu'il doit saisir (comme le bout d'une corde) et un autre « X » sur la cible (comme le trou dans lequel il doit passer).

Voici la partie intéressante : ces « X » sont visibles pour nous. Il s'agit d'une représentation intermédiaire interprétable. Cela signifie que nous pouvons voir exactement ce que le robot considère comme important. Si le robot dessine un « X » au mauvais endroit, un humain peut intervenir et déplacer le « X » au bon endroit. C'est la partie correctible.

Une fois que l'humain a corrigé le « X » au tout début de la tâche, le robot n'a plus besoin d'aide. Il utilise un module de suivi (tracking module) (comme une caméra intelligente qui suit un objet en mouvement) pour garder ces « X » verrouillés sur les bons emplacements pendant que le robot se déforme. C'est comme donner au robot un post-it qui dit « Regarde ici ! » puis demander à un ami de suivre ce post-it avec un pointeur laser pour le reste du jeu.

Comment ça marche : Le Nouveau Cerveau du Robot

Le système utilise un type d'IA appelé Politique de Diffusion (Diffusion Policy). Vous pouvez voir cela comme un robot qui apprend par « débruitage » (denoising). Imaginez une image couverte de bruit statique. Le travail du robot est de supprimer lentement le bruit pour révéler le mouvement correct. Habituellement, le robot essaie de deviner le mouvement en se basant sur l'ensemble de l'image floue.

Dans ce nouveau système, le robot prédit d'abord les points clés (les « X »). Ensuite, il utilise ces « X » pour guider le processus de débruitage. C'est comme dire au robot : « Ignore l'arrière-plan désordonné ; concentre-toi uniquement sur la zone autour de ces deux points. »

Les auteurs introduisent une astuce ingénieuse appelée le Mécanisme de Substitution de Points Clés (Keypoint Override Mechanism).

Entraînement : Le robot apprend à prédire les points en regardant des humains effectuer la tâche. Les humains ne marquent les points que dans la toute première image de la vidéo, et un programme informatique les suit pour le reste de la vidéo.
Déploiement (La tâche réelle) : Lorsque le robot tente la tâche de son côté, il prédit les points. Si le robot réussit, tant mieux ! Mais si le robot est confus (peut-être parce que la table est différente), un humain peut cliquer pour corriger les points une seule fois au début.
La Magie : Le système utilise une astuce mathématique qui garantit que les points « corrigés » font toujours sens pour le cerveau du robot. Il ne se contente pas de remplacer les points ; il remplace la signification des points afin que le robot comprenne parfaitement la correction.

Les Résultats : Est-ce que cela fonctionne vraiment ?

L'équipe a testé cela dans deux contextes : une simulation informatique (un monde virtuel) et le monde réel avec un véritable bras robotique (Universal Robots UR5e).

Dans la Simulation :
Ils ont testé trois tâches difficiles :

Câble : Guider un câble flexible à travers un passage étroit.
Anneau : Placer un anneau sur un poteau.
Particule : Ramasser de petites particules dans une boîte.

Ils ont rendu les tâches plus difficiles en déplaçant les cibles à de nouveaux endroits (OOD Positionnel) ou en changeant la texture de la table avec des motifs colorés (OOD d'Apparence).

Sans aide : Les robots standards (modèles de référence) échouaient souvent lorsque les choses changeaient. Par exemple, lors du test d'« Apparence OOD » (motifs colorés), le robot standard ne réussissait que 28,9 % du temps.
Avec GuidedAttention (Autonome) : Le robot s'en sort mieux, avec un succès d'environ 45,6 %.
Avec GuidedAttention (Correction Humaine) : Lorsqu'un humain a corrigé les points au début, le taux de réussite a bondi à 67,8 %. C'est une amélioration massive !

Dans le Monde Réel :
Ils ont testé avec de vrais robots sur des tâches comme mettre une tasse dans une autre tasse, ramasser une chaîne et plier une serviette.

OOD Positionnel (Déplacement de la cible) : Les robots standards ont eu du mal, la base DP n'atteignant que 35,6 % de réussite. GuidedAttention, même sans aide, a fait mieux. Mais avec une seule correction humaine au début, le taux de réussite a grimpé à 71,1 %.
OOD d'Apparence (Table désordonnée) : C'était le test le plus difficile. Un robot standard a échoué de manière significative, atteignant 0 % de réussite sur la tâche de la serviette. GuidedAttention sans aide a également eu du mal, ne réussissant que 13,3 % du temps. Mais avec la correction humaine, le robot a réussi 90 % du temps !

Pourquoi cela importe

L'article montre que nous n'avons pas besoin de construire un robot qui sait tout. Au lieu de cela, nous pouvons construire un robot qui sait comment regarder, et nous pouvons lui donner un petit coup de pouce lorsqu'il est confus.

Les auteurs ont constaté que les gains les plus importants survenaient lorsque le robot était dans un environnement nouveau ou désordonné. Dans des contextes familiers, le robot était déjà correct. Mais quand le monde changeait, la capacité pour un humain de dire : « Non, regarde la tasse, pas l'arrière-plan », a sauvé la mise.

L'article écarte également d'autres idées. Ils ont essayé de simplement placer une boîte ou un point sur l'écran pour dire au robot où regarder (appelé « prompt par superposition de marqueurs »), mais cela n'a pas aussi bien fonctionné. Le robot doit prédire les points lui-même pour pouvoir apprendre le motif, mais être capable de les corriger lorsqu'il se trompe.

Les Limites

Les auteurs sont honnêtes sur ce que leur système ne peut pas encore faire.

Points clés simples : Le système suppose que quelques points suffisent à décrire toute la tâche. Si une tâche est extrêmement complexe, comme jongler avec dix balles, quelques points pourraient ne pas suffire.
Uniquement en 2D : Les points sont juste sur l'image plate. Si le robot a besoin de connaître la profondeur de quelque chose, ou si le point est caché derrière un objet, le système pourrait être confus.
Problèmes de suivi : Le système repose sur un tracker pour suivre les points. Si le robot bouge trop vite ou si l'objet est bloqué pendant un certain temps, le tracker pourrait perdre le point.

Conclusion

GuidedAttention est comme donner à un robot une paire de lunettes qui montrent ce qu'il pense. Cela comble le fossé entre le cerveau « boîte noire » du robot et notre capacité humaine à le guider. En nous permettant de corriger sa focalisation une seule fois au début, le robot peut gérer des environnements désordonnés et changeants bien mieux qu'auparavant. Ce n'est pas une baguette magique qui résout tout, mais c'est une étape puissante vers des robots assez intelligents pour apprendre, mais assez flexibles pour nous écouter quand ils sont bloqués.

Résumé Technique : GuidedAttention pour la manipulation robotique robuste aux OOD (Hors-Distribution)

1. Énoncé du Problème

Les politiques visuomotrices de bout en bout, bien que capables d'apprendre des comportements dextres par l'expérience, souffrent d'une limitation critique : elles n'offrent que peu d'opportunités aux humains pour comprendre ou corriger l'attention visuelle de la politique pendant l'exécution. Dans les pipelines modulaires traditionnels, les opérateurs humains peuvent intervenir en se basant sur des indices visuels, mais dans les systèmes de bout en bout, la politique doit découvrir entièrement seule les indices visuels pertinents pour la tâche. Par conséquent, ces politiques échouent souvent dans des scénarios hors-distribution (OOD) — comme lorsque les positions ou les apparences des objets changent — simplement parce qu'elles manquent d'un indice simple et crucial qu'un humain pourrait aisément fournir. Les méthodes existantes reposent soit sur une supervision humaine continue, soit manquent d'une interface explicite et interprétable pour corriger la focalisation de la politique.

2. Méthodologie : Cadre GuidedAttention

Les auteurs proposent GuidedAttention, un cadre d'apprentissage par imitation visuomotrice qui introduit l'attention visuelle interprétable et correctable comme une représentation intermédiaire explicite. L'architecture centrale, nommée Diffusion Policy with GuidedAttention (DP-GA), fonctionne comme suit :

A. Architecture de la Politique

Au lieu de conditionner la génération d'actions directement sur des caractéristiques visuelles globales (par exemple, issues de CNN ou d'encodeurs de nuages de points), DP-GA insère une couche d'attention visuelle explicite entre la perception et l'action :

Entrée : Observations RGB multi-vues et états proprioceptifs des articulations.
Encodeur d'Attention Visuelle (AttnEnc) : Une architecture de type DETR (backbone ResNet-18 + encodeur-décodeur Transformer) prédit un ensemble de $N_k$ points clés d'attention ( $p_i$ ) pertinents pour la tâche et leurs caractéristiques d'attention correspondantes ( $f_i$ ) à partir des images de la caméra.
Politique d'Action : Une politique de diffusion de débruitage basée sur un CNN (backbone U-Net) est conditionnée par la concaténation des caractéristiques proprioceptives et des caractéristiques d'attention extraites.

B. Entraînement et Annotation

Collecte de Données : Les utilisateurs annotent les points clés pertinents pour la tâche uniquement sur l'image initiale de chaque démonstration téléopérée.
Propagation : Un modèle de suivi prêt à l'emploi (Co-Tracker) propage ces points clés à travers les images restantes de la démonstration. Les points clés statiques restent fixes.
Fonctions de Perte : Le modèle est entraîné pour minimiser :
1. Perte de Point Clé ( $L_{kp}$ ) : Erreur quadratique moyenne (MSE) entre les coordonnées des points clés prédits et réels.
2. Perte d'Alignement de Caractéristiques ( $L_{feat}$ ) : Assure la cohérence entre les caractéristiques prédites par l'encodeur et les caractéristiques reconstruites à partir des coordonnées réelles.

C. Mécanisme de Surcharge de Points Clés (Inférence)

Une caractéristique unique de GuidedAttention est la capacité des utilisateurs d'intervenir pendant le déroulement sans supervision continue :

Exécution Autonome : La politique prédit les points clés et les actions de manière autonome.
Correction Unique : Si l'attention prédite dévie (par exemple, en raison de conditions OOD), l'utilisateur peut cliquer pour corriger un sous-ensemble de points clés uniquement lors de l'initialisation du déroulement.
Propagation Automatique : Les coordonnées corrigées sont converties en caractéristiques d'attention via une application inverse ( $h^{-1}_\theta$ ) et sont suivies automatiquement tout au long de l'exécution.
Robustesse de l'Entraînement : Pour garantir que le modèle de diffusion puisse gérer à la fois les caractéristiques prédites et corrigées, le processus d'entraînement utilise un routage de caractéristiques aléatoire, sélectionnant aléatoirement si chaque caractéristique de point clé provient du chemin de prédiction ou du chemin de surcharge.

3. Contributions Clés

Représentation Intermédiaire Explicite : Le papier introduit les points clés d'attention visuelle comme une couche intermédiaire interprétable et lisible par l'humain entre la perception et l'action, permettant aux utilisateurs d'inspecter et de corriger la focalisation de la politique.
Architecture DP-GA : Une nouvelle politique basée sur la diffusion qui conditionne la génération d'actions sur ces caractéristiques d'attention, supportant un flux de travail de "correction unique, suivi automatique".
Robustesse aux Décalages de Distribution : Le cadre démontre que la correction guidée par l'humain permet de récupérer efficacement la focalisation visuelle pertinente pour la tâche lorsque la prédiction autonome échoue sous des conditions OOD de position et d'apparence.

4. Résultats Expérimentaux

La méthode a été évaluée en simulation (MuJoCo) et en conditions réelles avec un robot UR5e sur des tâches telles que l'enfilage de câbles, le placement d'anneaux, le ramassage de particules, l'insertion de tasses, la manipulation de chaînes et le pliage de serviettes.

Résultats en Simulation

Performance : DP-GA a systématiquement surpassé les bases (Standard Diffusion Policy et ACT) dans les conditions ID (en distribution) et OOD.
Gains OOD : Sous des conditions OOD de position et d'apparence, DP-GA avec correction humaine optionnelle a atteint des taux de réussite 20 à 30 points de pourcentage (pp) plus élevés que la base Standard Diffusion Policy.
Ablation : La suppression du mécanisme de routage de caractéristiques a provoqué une chute drastique d'environ 60 pp lorsque la correction était activée, soulignant la nécessité d'entraîner le modèle à accepter à la fois les caractéristiques prédites et corrigées.

Résultats en Réel

Généralisation : Les variantes de DP-GA ont surpassé les bases dans les conditions ID de 5 à 30 pp.
Résilience OOD : En OOD de position, DP-GA a maintenu des taux de réussite plus élevés que les bases même sans correction. Avec la correction, il a obtenu une amélioration supplémentaire de 20 à 40 pp.
OOD d'Apparence : Dans la tâche de "Pliage de Serviette" avec un encombrement visuel sévère, les bases ont échoué de manière significative. DP-GA avec correction humaine a récupéré la performance, montrant une amélioration d'environ 80 pp par rapport à son exécution autonome et de 40 pp par rapport à la base.
Analyse Qualitative : Les visualisations ont confirmé que DP-GA maintenait la focalisation sur les structures pertinentes pour la tâche (ex: extrémités de chaîne, bords de tasse) là où les bases perdaient leur focalisation, et que la correction unique a réussi à guider le robot à travers des plis complexes malgré les distracteurs visuels.

5. Signification et Revendications

Le papier affirme que GuidedAttention fournit une solution pratique à la nature "boîte noire" des politiques visuomotrices de bout en bout. En traitant l'attention visuelle comme une interface explicite et correctable, le cadre comble le fossé entre l'intuition humaine et l'exécution autonome. Les auteurs soulignent que cette approche permet aux robots de récupérer des échecs de perception dans des environnements OOD exigeants sans nécessiter de supervision humaine continue, améliorant ainsi la robustesse et la fiabilité de l'apprentissage par imitation dans des tâches de manipulation en conditions réelles.

6. Limites

Les auteurs reconnaissent plusieurs contraintes :

Suffisance des Points Clés : La méthode suppose qu'un petit nombre de points clés définis manuellement peut représenter toutes les structures pertinentes pour la tâche, ce qui peut ne pas être vrai pour des scénarios très complexes.
Limitations 2D : Les annotations reposent sur des coordonnées 2D et ne tiennent pas explicitement compte de la profondeur ou de l'occlusion, ce qui pourrait dégrader les performances si les points clés deviennent invisibles.
Dépendance au Suivi : Le système repose sur un suivi prêt à l'emploi (Co-Tracker) ; les performances peuvent diminuer dans des scénarios présentant de fortes déformations ou des occlusions prolongées, bien que les points clés statiques atténuent partiellement ce problème.