Résumé Technique : See2Act – Modèles de Diffusion pour la Perception Active en Imitation Robotique

Problématique

Les méthodes actuelles d'apprentissage par imitation (IL) pour le contrôle visuomoteur supposent généralement une observabilité complète et des points de vue fixes, confondant ainsi les capacités de « voir » et de « agir ». Dans des environnements réalistes, les objets sont fréquemment occultés, ce qui nécessite que les robots recherchent activement des informations pertinentes pour la tâche avant de les manipuler. Les approches existantes font face à une limitation fondamentale : les démonstrations entremêlent la sélection du point de vue et la manipulation, pourtant l'IL standard les traite séparément ou suppose que l'information visuelle requise est déjà visible.

• Les politiques à vue fixe échouent lorsque les régions pertinentes pour la tâche sont occultées.
• Les méthodes de sélection de vue multi-vues ou passives (par exemple, sélectionner la meilleure vue parmi un ensemble prédéfini) n'enseignent pas à la politique comment déplacer la caméra pour résoudre les occlusions de manière dynamique.
• Inefficacité des données : Augmenter simplement les démonstrations avec des points de vue supplémentaires augmente les besoins en données de manière combinatoire sans enseigner à la politique quels points de vue sont utiles pour des actions spécifiques.

Le défi central est d'apprendre une politique qui détermine conjointement où voir et comment agir à partir de démonstrations limitées, particulièrement sous une occlusion sévère.

Méthodologie : See2Act

Les auteurs proposent See2Act, un cadre d'apprentissage par imitation basé sur la diffusion qui couple le débruitage de l'action et l'affinement du point de vue au sein d'une boucle générative unique. L'idée centrale est que la trajectoire de diffusion sert de trajectoire sur les actions et les points de vue.

1. Stratégie d'entraînement

La politique est entièrement entraînée en simulation à l'aide d'un jumeau numérique, en exploitant des jeux de données de manipulation hors ligne.

• Actions par images clés (Keyframe Actions) : Les démonstrations sont décomposées en actions cibles par images clés ($a_0$), représentant les poses de l'effecteur terminal pour les opérations de saisie/dépose.
• Ancrage du point de vue : Au lieu d'un repère mondial fixe, les actions sont représentées dans le repère de la caméra. Pour chaque étape de diffusion $t$, une pose de caméra $C_t$ est générée.
  • Ancres : La trajectoire est ancrée entre une vue globale large ($C_T$) et une vue centrée sur la cible ($C_0$) dérivée directement de l'action par image clé $a_0$.
  • Interpolation : Les poses intermédiaires $C_t$ sont générées via une interpolation linéaire pour la position et une interpolation sphérique linéaire (SLERP) pour l'orientation entre $C_T$ et $C_0$.
• Processus de bruitage : L'action cible $a_0$ est transformée dans le repère de la caméra $C_t$ pour créer une action dépendante du point de vue $\hat{a}_0$. Un bruit gaussien est ajouté pour créer une action bruitée $\hat{a}_t$.
• Objectif : Un encodeur visuel et un réseau de prédiction de bruit sont entraînés pour prédire le bruit $\epsilon$ étant donné l'observation $O_t$ (rendue à partir de $C_t$) et l'action bruitée $\hat{a}_t$. Le modèle apprend à débruiter l'action tout en apprenant implicitement le point de vue informatif correspondant.

2. Inférence : Inférence de Point de Vue Active

Au moment du test, la politique effectue un processus de diffusion inverse couplé :

1. Initialisation : Commencer par une vue globale ($C_T$) et une estimation d'action bruitée.
2. Affinement itératif : À chaque étape de débruitage $t$ :
   • Capturer l'observation actuelle $O_t$.
   • Prédire le bruit et mettre à jour l'estimation de l'action dans le repère de la caméra.
   • Transformer l'estimation de l'action affinée vers le repère mondial.
   • Repositionner la caméra : Calculer une nouvelle pose de caméra $C_{t-1}$, plus centrée sur la cible, basée sur l'estimation d'action mise à jour (en utilisant la même logique d'interpolation qu'à l'entraînement).
   • Capturer la nouvelle observation $O_{t-1}$.
3. Exécution : Cette boucle se poursuit jusqu'à $t=0$, aboutissant à une action finale et à une séquence de poses de caméra qui résolvent activement les occlusions. La politique sélectionne le déroulement présentant la plus faible variance dans les changements de pose de la caméra pour garantir la stabilité.

Contributions Clés

1. Cadre See2Act : Une politique agnostique au point de vue qui apprend le couplage entre point de vue et action en exploitant des jumeaux numériques et une stratégie d'entraînement novatrice où les trajectoires de caméra sont entièrement supervisées par des étiquettes d'action.
2. Inférence de Point de Vue Active : Un mécanisme de test qui affine de manière itérative la pose de la caméra du robot et l'action prédite simultanément, permettant au robot de résoudre les occlusions de manière autonome sans étapes de planification ou de récompenses distinctes.
3. Performance de Benchmark :
   • Ravens : A atteint un taux de succès moyen de 91 % sur quatre nouvelles tâches lourdes en occlusion, surpassant nettement les bases à vue fixe, multi-vues et de zoom uniquement.
   • RLBench : A atteint un taux de succès moyen de 81,1 % sur neuf tâches, surpassant les politiques 3D et multi-vues de pointe (ex: RVT-2, PerAct) malgré l'utilisation d'une seule vue 2D repositionnée activement par étape.
4. Transfert Sim-to-Real Zero-Shot : Démontré sur un robot physique UR10 avec une caméra de profondeur montée sur le poignet. En utilisant seulement 50 démonstrations collectées dans un jumeau numérique, la politique a atteint un taux de succès de 95 % sur des tâches de saisie et dépose réelles avec des occlusions significatives, sans aucun ajustement (fine-tuning) dans le monde réel.

Résultats Expérimentaux

• Résolution d'Occlusion : Sur les tâches Ravens (ex: bin-picking, put-within-shelf), les bases à vue fixe (Conv-MLP, Diff-MV) ont échoué (0 % de succès). La sélection de vue passive (Diff-MV-Entropy) a atteint jusqu'à 64 % mais a peiné face aux occlusions complexes. See2Act a atteint jusqu'à 100 % de succès, démontant que l'affinement actif itératif est nécessaire pour découvrir les régions cachées.
• Comportement de Recherche : Dans la tâche bin-search, See2Act a exhibited un comportement de recherche émergent, réorientant la caméra pour inspecter des bacs alternatifs lorsque le vu actuel était vide, atteignant 100 % de succès là où les bases marquaient 0 %.
• Manipulation de Précision : Dans le cas de la manipulation réelle de type shelf-kitting (nécessitant une tolérance de 1–2 mm), See2Act a atteint 95 % de succès contre 25 % pour les méthodes à vue fixe. La capacité de déplacer la caméra près de la cible pendant le débruitage a fourni le détail géométrique nécessaire à l'insertion de haute précision.
• Robustesse : La politique a montré une robustesse aux poses de caméra initiales hors distribution, la performance ne chutant que marginalement (8–10 %) lorsqu'elle partait de points de vue en dehors de la distribution d'entraînement.

Signification et Revendications

L'article affirme que See2Act comble une lacune critique dans l'apprentissage par imitation en traitant la manipulation comme un processus couplé d'affinement de l'action et d'acquisition de preuves visuelles.

• Apprentissage Unifié : Il démontre que « où voir » et « comment agir » peuvent être appris conjointement à partir de données hors ligne sans annotations de point de vue explicites ou récompenses d'apprentissage par renforcement pour la perception.
• Efficacité : L'approche atteint une performance robuste avec des données limitées (50 démos) et se transfère en zero-shot dans le monde réel, surmontant le fossé sim-to-real grâce à l'utilisation d'observations de profondeur et d'un affinement de point de vue actif.
• Limites : Les auteurs reconnaissent que le fait de nécessiter une nouvelle observation à chaque étape de débruitage introduit de la latence, rendant l'exécution plus lente que les méthodes à vue fixe. Des travaux futurs sont suggérés pour étendre le cadre à la prédiction de trajectoire dense pour la manipulation dextre et dynamique.

Ce travail établit que la perception active, lorsqu'elle est intégrée directement dans la boucle de débruitage de la diffusion, permet aux robots de résoudre la partiabilité de l'observation d'une manière que les méthodes à vue fixe, multi-vues et de sélection passive ne peuvent pas égaler.