🤖 AI

MemCorr-DP: Counterfactual Correspondence Conditioning for a Diffusion Policy Guided by a Reference

MemCorr-DP est une politique de diffusion qui améliore la robustesse visuomotrice face aux décalages spatiaux et de point de vue cumulés en élevant les correspondances de caractéristiques 2D en relations 3D explicites avec une trajectoire de référence et en employant un conditionnement contrefactuel pour aligner la géométrie avec la scène actuelle.

Auteurs originaux : Tan Su, Haoxiang Yang, Ruxin Wang, Binghui Xie

Publié 2026-09-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tan Su, Haoxiang Yang, Ruxin Wang, Binghui Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots qui apprennent en regardant les humains accomplir une tâche deviennent de plus en plus courants, mais ils sont confrontés à une limitation tenace : ils échouent souvent dès que le monde change légèrement. Si un robot apprend à ouvrir une porte en se tenant à un endroit précis, il peut être confus si la porte est déplacée de quelques centimètres seulement ou si la caméra qui observe la scène change d'angle. Cela se produit parce que de nombreux contrôleurs de robots reposent sur la mémorisation de motifs visuels spécifiques, comme la forme exacte d'une poignée de porte dans un coin précis de l'image, plutôt que sur la compréhension de la géométrie sous-jacente de l'interaction. Lorsque la scène change, le motif familier disparaît et le plan du robot s'effondre. Pour construire des machines capables de véritablement s'adapter, les chercheurs exploreient des moyens d'apprendre aux robots à se concentrer sur la relation spatiale entre les objets et leurs propres mouvements, plutôt que sur les simples pixels d'un écran. Cette approche vise à créer une forme de « mémoire musculaire » qui comprend comment un préhenseur doit se déplacer par rapport à un objet, quel que soit l'endroit où cet objet se trouve ou l'angle sous lequel la caméra le regarde.

Dans une nouvelle étude, des chercheurs ont développé un système appelé MemCorr-DP qui s'attaque à ce problème en apprenant à un robot à aligner ses actions avec un exemple de réussite enregistré, même lorsque la scène est très différente. L'idée centrale est simple mais puissante : au lieu d'essayer de mémoriser l'apparence d'une tentative réussie, le robot apprend à faire correspondre la géométrie physique de sa situation actuelle à la géométrie d'une trajectoire enregistrée et réussie. Imaginez un robot essayant d'ouvrir une porte. Les chercheurs lui fournissent l'enregistrement vidéo d'une ouverture réussie. Alors que le robot tente la tâche dans un nouvel emplacement avec un angle de caméra différent, il utilise un système de correspondance visuelle pour trouver des points correspondants sur la porte et sur la main du robot dans la vue en direct et dans la vidéo enregistrée. Il élève ensuite ces points correspondants dans un espace tridimensionnel partagé, créant ainsi un ensemble de relations qui décrivent où se trouve la main du robot par rapport à la porte, et où se trouvait la main dans l'enregistrement par rapport à la porte au même moment. Cela permet au robot de voir que, même si la porte est à un endroit différent, la relation physique entre la main et la poignée est la même, et qu'il peut ainsi poursuivre le mouvement correct.

Les chercheurs ont testé ce système lors d'une tâche simulée où un robot doit ouvrir et fermer une porte. Ils ont délibérément rendu la tâche difficile en déplaçant la porte vers des positions très éloignées de la plage observée par le robot pendant son entraînement et en décalant l'angle de la caméra de quinze degrés. Dans ces conditions difficiles, le nouveau système a réussi dans 96,67 % des tentatives. En comparaison, un contrôleur de robot standard qui reposait uniquement sur des images visuelles, sans cette correspondance géométrique, n'a réussi que dans 88 % des cas. La différence peut sembler faible, mais dans le monde de la robotique, un taux d'échec de 12 % contre 3 % représente un écart massif de fiabilité. L'étude a montré que le succès du système dépendait fortement de l'utilisation des relations tridimensionnelles complètes entre les points. Lorsque les chercheurs ont supprimé la correspondance détaillée point par point pour la remplacer par des informations plus simples, telles que le centre de la porte ou la direction générale du mouvement, le taux de réussite a chuté de manière significative. Cela a prouvé que le robot avait besoin de la carte spatiale précise fournie par le système de correspondance pour naviguer dans ces changements difficiles.

Pour s'assurer que le robot suivait réellement les instructions de la vidéo de référence et ne se contentait pas de deviner, les chercheurs ont introduit une méthode d'entraînement ingénieuse. Ils ont appris au robot à distinguer l'ouverture de la fermeture d'une porte en lui donnant exactement la même position de départ et la même entrée bruitée et incertaine, tout en lui demandant de prédire l'action pour deux résultats différents basés sur deux vidéos de référence différentes. Si le robot ne pouvait pas faire la différence entre l'ouverture et la fermeture lorsque la référence changeait, c'est qu'il n'apprenait pas la bonne leçon. Cet entraînement « contrefactuel » a forcé le système à prêter une attention particulière aux détails spécifiques de la trajectoire de référence. Les résultats ont montré que lorsqu'on donnait au robot la mauvaise vidéo de référence, il tentait la mauvaise action, prouvant qu'il répondait véritablement aux directives fournies par la référence plutôt que de s'appuyer sur une habitude pré-apprise.

L'étude a également examiné la capacité du système à gérer les erreurs de correspondance visuelle. Dans le monde réel, la correspondance de points entre deux images différentes n'est jamais parfaite ; il existe toujours une petite erreur. Les chercheurs ont constaté que leur système restait robuste même lorsque la correspondance était imparfaite, maintenant des taux de réussite élevés même lorsque les positions calculées étaient décalées de plusieurs centimètres. Cette résilience suggère que le système n'a pas besoin d'un alignement au pixel près pour fonctionner ; il lui suffit d'une approximation suffisante des relations tridimensionnelles pour guider les actions du robot. Les chercheurs ont noté que, bien que le système fonctionne bien dans leur simulation, il n'a pas encore été testé sur des robots physiques ou sur d'autres types de tâches. L'évaluation était limitée à une seule instance de porte et à des types spécifiques de mouvements et de décalages de caméra. Cependant, les résultats fournissent une preuve solide que la modélisation explicite des relations tridimensionnelles entre un robot, un objet et un exemple de référence est une voie prometteuse pour créer des robots capables de généraliser leurs compétences dans des environnements nouveaux et imprévisibles.

Résumé Technique : MemCorr-DP

Énoncé du Problème

Les politiques visuomotrices issues de l'apprentissage par imitation (behavior cloning) présentent souvent une grande précision au sein de leur distribution d'entraînement, mais échouent lorsque la position des objets et les points de vue de la caméra changent simultanément. Bien qu'une trajectoire de référence réussie contienne l'information géométrique nécessaire pour transférer une interaction à une nouvelle scène, les politiques standards peinent à aligner cette géométrie avec l'observation actuelle et restent sensibles à celle-ci lors du processus de génération d'actions. Plus précisément, les politiques de diffusion peuvent trop dépendre de l'entrée d'action bruitée pour inférer le comportement, affaiblissant ainsi leur dépendance vis-à-vis de la référence. De plus, un écart existe entre les conditions géométriques parfaites disponibles lors de l'entraînement et les conditions d'appariement visuel imparfaites rencontrées lors de l'exécution.

Méthodologie

Les auteurs proposent MemCorr-DP, une politique de diffusion conçue pour combler cet écart en conditionnant la génération d'actions sur des relations 3D explicites entre une trajectoire de référence et la scène en direct. La méthode opère via les composants suivants :

1. Construction des Relations 3D

À chaque étape de replanification, le système utilise un appariement RoMa v2 gelé pour établir des correspondances de pixels denses entre la référence et les observations RGB-D actuelles.

Élévation (Lifting) : Les correspondances valides sont élevées dans un référentiel de simulateur 3D partagé.
Tokens de Relation : Pour chaque point apparié, le système construit un ensemble de tokens de relation à 18 dimensions. Ces tokens encodent :
- La position du préhenseur (gripper) actuel par rapport à la géométrie de la scène actuelle.
- La position du préhenseur de référence par rapport à la géométrie de référence.
- Les décalages de mouvement futurs du préhenseur de référence.
- Le déplacement entre les scènes de requête et de référence.
Entrée : Jusqu'à 16 points de référence sont appariés, générant un tableau de tokens de relation fixe de $64 \times 18$ (incluant les décalages futurs) qui sert d'entrée de conditionnement pour la politique.

2. Architecture de Diffusion d'Action

La politique est un débruiteur d'action basé sur un Transformer (1,61 M de paramètres) qui traite les 64 tokens de relation et l'état robotique 9D actuel. Elle utilise quatre blocs Transformer d'action pour débruiter une séquence d'actions de 16 étapes, où chaque action consiste en un déplacement de l'effecteur terminal en 3D et une commande scalaire du préhenseur.

3. Dénouage Apparié Contrefactuel

Pour garantir que le comportement de la politique dépend strictement de la référence sélectionnée plutôt que de fuites provenant de l'entrée d'action bruitée, les auteurs introduisent un objectif de dénoising apparié contrefactuel.

Mécanisme : Pendant l'entraînement, des comportements opposés (par exemple, ouvrir vs fermer une porte) sont appariés. Ils partagent exactement le même état physique du robot et la même entrée d'action bruitée ( $z_t$ ).
Différenciation : Les seules différences sont la trajectoire de référence et la cible de débruitage propre ( $\epsilon_b$ ).
Effet : Cela force le modèle à résoudre les cibles d'action distinctes uniquement sur la base de l'entrée de référence, empêchant l'action bruitée de servir de raccourci pour l'identification du comportement.

4. Stratégie d'Entraînement en Deux Étapes

Le processus d'entraînement consiste en deux étapes pour gérer la divergence entre les conditions d'entraînement et d'exécution :

Étape 1 : Le modèle est entraîné sur des relations géométriques de vérité terrain pour apprendre la correspondance idéale.
Étape 2 (Affinage) : Le modèle est affiné avec un mélange de conditions : 25 % de vérité terrain, 50 % de correspondances RoMa v2 mises en cache, et 25 % de relations corrompues (simulant les erreurs d'appariement et les modèles de validité observés lors de l'exécution). Cela adapte la politique au bruit et aux erreurs inhérents à l'appariement visuel en conditions réelles.

Principales Contributions

Représentation de Relation 3D : Une nouvelle interface de conditionnement pour le contrôle par diffusion qui connecte la géométrie de la scène actuelle avec les états du préhenseur démontrés et le mouvement futur de référence dans un référentiel 3D partagé.
Objectif Apparié Contrefactuel : Un mécanisme d'entraînement qui assigne les mêmes états et la même entrée bruitée à des comportements opposés, obligeant la trajectoire de référence à résoudre la cible d'action spécifique.
Stratégie d'Entraînement Robuste : Une approche en deux étapes qui apprend à partir de relations géométriques exactes, puis s'adapte aux erreurs de correspondance mesurées via un affinement à conditions mixtes.

Résultats Expérimentaux

La méthode a été évaluée sur la tâche "Meta-World Door" impliquant des actions d'ouverture et de fermeture. L'évaluation s'est concentrée sur des décalages combinés où la position de la porte a été déplacée vers les bandes d'entraînement les plus externes (extrapolation) et le point de vue de la caméra de requête a été décalé de $\pm 15^\circ$ .

Performance : Sous la condition de décalage combiné, MemCorr-DP a atteint un taux de succès en boucle fermée de 96,67 %. Cela a nettement surpassé une base Visual Transformer avec la même architecture d'action (88,00 %) et une politique U-Net visuelle standard (74,67 %).
Études d'Ablation :
- Représentation : Les relations 3D complètes ont nettement surpassé les contrôles utilisant uniquement des vecteurs de mouvement ou des centroïdes d'objets, indiquant que l'ensemble complet des relations géométriques est critique.
- Entraînement Apparié : L'entraînement apparié contrefactuel a réussi à supprimer le comportement lorsqu'une référence "opposée" était fournie, alors que l'entraînement standard échouait souvent à distinguer la direction de la référence.
- Robustesse : Le système a maintenu des taux de succès élevés même lorsque les erreurs de correspondance 3D augmentaient de manière significative (de ~11 mm à ~43 mm) sous des décalages extrêmes.

Signification et Revendications

L'article affirme que les relations de référence 3D explicites fournissent une interface de conditionnement plus robuste pour les politiques visuomotrices lorsque les changements spatiaux et de point de vue sont combinés. En élevant les correspondances visuelles dans un cadre 3D partagé et en imposant la dépendance à la référence via un entraînement contrefactuel, MemCorr-DP préserve la géométrie de l'interaction démontrée tout en l'adaptant à la scène actuelle.

Les auteurs notent que leurs conclusions sont spécifiques à l'instance "Door" évaluée et aux changements de distribution testés (translation de position et changements d'azimut de la caméra). Ils ne prétendent pas une généralisation à différentes catégories d'objets, rotations ou déploiements de robots physiques sans tests supplémentaires, reconnaissant les limites concernant la segmentation, l'étalonnage de la profondeur et les erreurs d'actionneur dans des environnements réels.