Résumé Technique : MirrorDuo

Énoncé du Problème

L'apprentissage par imitation basé sur l'image (Behavior Cloning - BC) offre une voie évolutive pour l'acquisition de compétences robotiques, mais fait face à des contraintes de l'efficacité des données, particulièrement lorsqu'il s'agit de généraliser à travers des variations spatiales dans les configurations d'espace de travail ou des configurations de scènes asymétriques. Bien que les méthodes exploitant des entrées 3D (par exemple, des nuages de points) puissent tirer parti de l'équivariance de transformation rigide SE(3) pour synthétiser des démonstrations transformées, l'application de telles transformations aux images RGB 2D produit souvent des résultats incohérents. Les tentatives existantes pour approximer la symétrie en 2D, telles que la rotation SO(2) d'images en troisième personne, sont limitées aux contextes intra-domaine et ne permettent pas de soutenir une généralisation plus large. De plus, la symétrie de réflexion — une propriété naturelle de nombreuses tâches de manipulation (par exemple, les variantes de ramassage et dépôt gauche-droite) — reste sous-explorée dans les politiques basées sur l'image en raison des défis liés au maintien de la cohérence sémantique entre les images miroirs et les actions de l'effecteur terminal à 6 degrés de liberté (6-DoF), notamment lorsque des artefacts visuels (ex: asymétrie du poignet du robot, textures de l'arrière-plan) sont présents.

Méthodologie : MirrorDuo

Les auteurs proposent MirrorDuo, une formulation générale pour incorporer la symétrie de réflexion dans l'apprentissage visuomoteur. L'innovation centrale est une transformation basée sur la réflexion qui opère conjointement sur les observations RGB (tant "eye-in-hand" que en troisième personne), les états proprioceptifs et les actions complètes de l'effecteur terminal à 6-DoF pour générer un contrepartie miroir sémantiquement et physiquement cohérente pour chaque démonstration originale.

Composants Techniques Clés

1. Miroir de l'Espace de Pose :

   • Pour assurer la cohérence avec le miroir de l'image (retournement horizontal), les auteurs définissent une opération de miroir dans l'espace de pose. Pour une pose d'effecteur $X_H$ dans le référentiel de la caméra, la pose miroir $X^*_H$ est dérivée via $X^*_H = X_C E X^{-1}_C X_H E$, où $E = \text{diag}([-1, 1, 1, 1])$.
   • Indépendance des Extrinsèques de la Caméra : Pour éviter la dépendance vis-à-vis des paramètres extrinsèques de la caméra ($X_C$) souvent indisponibles, la méthode re-paramètre les poses en systèmes de coordonnées locaux (pose delta $\Delta X_H$ ou pose relative $\delta X_H$). Cela permet à l'opération de miroir de s'exprimer comme $\Delta X^*_H = E \Delta X_H E$, rendant l'approche indépendante du jeu de données.
   • Gestion de la Discontinuité SO(3) : La réflexion dans SO(3) peut provoquer des changements abrupts de rotation. Pour garantir que le robot commence la compétence miroir à partir d'une configuration quasi identique, la méthode impose une rotation d'alignement constante $Q$ qui mappe l'axe d'outil moyen des poses initiales vers l'axe X du monde, atténuant ainsi les discontinuités.

2. Opérateur de Miroir Unifié ($M$) :

   • La méthode définit un opérateur unifié $M$ qui applique un retournement horizontal aux images ($M_I$) et une multiplication élément par élément par un vecteur de motif de signe $\rho$ aux poses et actions vectorisées. Cela crée un jeu de données apparié de tuples originaux et miroirs $(o_t, a_t)$ et $(M(o_t), M(a_t))$.

3. Deux Applications Complémentaires :

   • MirrorAug (Augmentation de Données) : Une stratégie où, lors de l'échantillonnage par lots, une partie des données d'entraînement est remplacée par sa contrepartie miroir. Cela étend la distribution d'entraînement pour inclure des configurations miroirs sans modifier l'architecture du réseau.
   • MirrorDiffusion (Prior Structurel) : Une politique de diffusion réflexive-équivariante où la transformation de miroir est intégrée comme un biais inductif au sein du processus de diffusion latente. Le réseau de politique utilise des CNN pilotables (Steerable CNNs) E(n)-équivariants pour imposer que la fonction de prédiction du bruit commute avec les transformations de réflexion ($\pi(M(o)) = M(\pi(o))$).

4. Gestion de l'Asymétrie Visuelle :

   • Les auteurs reconnaissent que le miroir introduit des artefacts visuels hors-distribution (OOD) (ex: un robot droit paraissant gauche dans le miroir, ou des textures de table asymétriques).
   • Pour atténuer cela, l'approche combine MirrorDuo avec un Overlay Aléatoire (augmentation des arrière-plans) et des backbones visuels pré-entraînés (ResNet-18 sur ImageNet) pour renforcer la robustesse aux variations non pertinentes de la tâche.

Contributions Clés

• Formulation Cohérente avec la Réflexion : Une nouvelle méthode pour générer des paires de démonstrations miroirs qui sont cohérentes à travers les images 2D, la proprioception 3D et les actions 6-DoF, réalisant efficacement le principe "collecter un, en obtenir un gratuitement".
• Utilité Duale : Le cadre sert à la fois de stratégie d'augmentation de données (MirrorAug) et de prior structurel pour l'apprentissage de politiques équivariantes (MirrorDiffusion), adaptable aux pipelines standards comme le Behavior Cloning (BC) et les Diffusion Policies.
• Généralisation aux Miroirs Inconnus : La méthode permet un transfert de compétence efficace vers des espaces de travail miroirs avec seulement zéro ou cinq démonstrations dans l'arrangement cible, surpassant significativement les baselines standards dans les régimes de faibles données.
• Robustesse à l'Asymétrie : L'article démontre que la symétrie de réflexion peut être exploitée même en présence d'asymétries visuelles significatives (conception du robot, textures d'arrière-plan) lorsqu'elle est combinée avec des techniques de généralisation visuelle légères.

Résultats Expérimentaux

Les auteurs ont évalué MirrorDuo sur le jeu de données MimicGen (simulation) et sur une installation réelle avec un Franka Emika pour deux tâches : un ramassage et dépôt de peluche (un côté) et un empilement de blocs (deux côtés).

• Transfert Un-Côté (Simulation & Réel) :

  • Dans les configurations où les démonstrations sont confinées à un seul côté de l'espace de travail, les politiques standards entraînées sur les données originales échouaient à se généraliser au côté miroir (taux de succès proche de 0 % pour certaines baselines).
  • MirrorAug combiné à la généralisation visuelle (Random Overlay + poids pré-entraînés) a permis aux politiques d'atteindre des performances quasi identiques à celles du domaine d'origine sur le côté miroir avec seulement 5 démonstrations supplémentaires du côté opposé.
  • MirrorDiffusion (équivariante) a échoué au transfert zero-shot en raison de l'injection de bruit brisant la symétrie globale pendant le processus de diffusion inverse, mais a récupéré des performances avec un minimum de données du côté opposé.

• Efficacité des Données Deux-Côtés :

  • Lorsque les démonstrations étaient distribuées sur les deux côtés, MirrorDuo a considérablement amélioré l'efficacité des données.
  • Dans les régimes de faibles à moyennes données (50–200 démos), MirrorAug et MirrorDiffusion ont produit des gains de performance constants (ex: +31 % sur Square D0) par rapport aux baselines.
  • Dans les régimes de hautes données, les gains de performance ont plafonné, et dans certaines tâches complexes à long horizon, un léger déclin de performance a été observé, attribué à des frontières de décision fragmentées causées par des distributions d'observations conflictuantes provenant de tâches quasi identiques.

• Validation en Monde Réel :

  • Sur la tâche réelle de la peluche, Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pré-entraîné) a atteint 83,3 % de succès sur la configuration miroir avec seulement 5 démos miroirs, égalant sa performance en domaine d'origine.
  • La standard Diffusion Policy entraînée sur les données d'un seul côté n'a atteint que 3,3 % de succès sur la configuration miroir.
  • Les auteurs notent que bien que MirrorDiffusion soit théoriquement élégante, la standard Diffusion Policy avec MirrorAug et des techniques de généralisation visuelle s'est avérée plus pratique, offrant des performances supérieures sous des conditions visuelles difficiles et une convergence d'entraînement plus rapide.

Signification et Revendications

L'article affirme que MirrorDuo établit la symétrie de réflexion comme un biais inductif puissant et sous-exploré pour un apprentissage robotique scalable et généralisable. En exploitant le chevauchement entre les domaines originaux et miroirs, l'approche permet aux robots de généraliser à des configurations d'espace de travail inconnues avec un minimum de données supplémentaires.

Les auteurs soulignent que bien que la projection des réflexions 3D dans les observations visuelles 2D introduise de la complexité (asymétries visuelles), ces défis peuvent être gérés efficacement. Le travail démontre que l'apprentissage cohérent avec la réflexion est hautement compatible avec les pipelines basés sur l'image, offrant une solution pratique au coût élevé de la collecte de diverses démonstrations robotiques. L'article conclut qu'en combinant la symétrie de réflexion avec des techniques de généralisation visuelle légères, il est possible de permettre aux politiques de tolérer les asymétries visuelles du robot et de l'environnement, facilitant un déploiement robuste dans des environnements réels variés.