Résumé technique : Prédiction de trajectoire visuelle spatialement sollicitée pour la manipulation égocentrique

Définition du problème : Prédiction de trajectoire visuelle spatialement sollicitée (SP-VTP)

Les politiques actuelles de manipulation robotique reposent souvent sur des instructions linguistiques ou des identifiants de tâches discrets pour spécifier les objectifs. Cependant, dans des environnements encombrés contenant des objets visuellement similaires, les descriptions linguistiques (par exemple, « prenez la fourchette ») ou les identifiants de tâches peuvent être ambigus ou échouer à identifier l'instance spécifique ou la région de dépôt. Les auteurs soutiennent que, dans de tels scénarios, la spécification de l'objectif est intrinsèquement spatiale avant d'être linguistique : « prenez cet objet et déposez-le là ».

Pour répondre à ce défi, l'article formalise un nouveau cadre appelé Prédiction de trajectoire visuelle spatialement sollicitée (SP-VTP). Dans ce cadre :

• Entrée : Le modèle reçoit une image égocentrique de la première image avec des sollicitations spatiales statiques (points ou boîtes englobantes) indiquant l'objet cible et la région de dépôt cible.
• Tâche : Le modèle doit prédire les futures trajectoires de l'effecteur terminal (EE) à partir d'observations égocentriques en flux continu.
• Sortie : Contrairement à l'ancrage visuel ou au suivi qui produisent des masques ou des boîtes, la sortie est une séquence de mouvements relatifs 6D de l'EE et d'états de la pince.
• Défis : Le problème combine quatre difficultés distinctes :
  1. Spécification de tâche statique : L'objet et la cible sont définis uniquement dans la première image.
  2. Exécution dynamique : La caméra bouge, l'EE occulte la scène, et les objets se déplacent après la préhension.
  3. Désambiguïsation d'instance : L'encombrement et les distracteurs de même catégorie nécessitent un suivi persistant au niveau de l'instance.
  4. Mouvement dépendant de la phase : La même paire objet-cible peut nécessiter des mouvements différents à différentes phases d'exécution.

Méthodologie

Jeu de données : EgoSPT

Pour étudier la SP-VTP, les auteurs introduisent EgoSPT, un jeu de données de trajectoires de manipulation spatialement sollicitées en vue égocentrique.

• Collecte : Les données ont été collectées à l'aide d'une interface de manipulation universelle (UMI) modifiée, équipée d'un GoPro (objectif grand angle 170°) pour la vidéo égocentrique et d'un iPhone pour le suivi de trajectoire 6-DoF de l'EE via SLAM visuel-inertiel.
• Contenu : Le jeu de données contient 2 841 épisodes de prise et de dépôt impliquant cinq fourchettes visuellement similaires et neuf cibles (assiettes, bols, tasses).
• Structure : Il est organisé en trois scènes avec une difficulté croissante :
  • Scène 1 : Dispositions structurées (conditions propres).
  • Scène 2 : Dispositions encombrées (distracteurs et ambiguïté spatiale).
  • Scène 3 : Sous-scènes aléatoirement encombrées avec des démonstrations éparses par configuration.
• Annotations : Chaque épisode inclut des annotations d'ancrage d'objet et de cible pour la première image (boîtes englobantes) et des trajectoires 3D de l'EE récupérées.

Modèle : SPOT (Politique Objet-Cible Spatialement Sollicitée)

Les auteurs proposent SPOT, une politique conçue pour fusionner les sollicitations spatiales avec les observations visuelles afin de générer des segments de trajectoire futurs. L'architecture se compose de trois modules principaux :

1. Encodeur de tâche :

   • Traite la première image ($I_0$) et les sollicitations spatiales (objet $p_{obj}$ et cible $p_{tgt}$).
   • Représentation double des sollicitations : Les sollicitations sont encodées de deux manières complémentaires :
     • Visuel : Les boîtes englobantes sont rendues sur la première image.
     • Coordonnées : Les coordonnées des boîtes sont encodées comme des jetons spatiaux en utilisant des caractéristiques de position de Fourier et un MLP.
   • Fusion : Un backbone ViT-B/14 DINOv2 figé extrait des jetons d'image. Les jetons de sollicitation (avec rôle intégré) interrogent ces jetons visuels via une attention croisée pour extraire des preuves pertinentes pour la tâche, fusionnant le contexte global de la scène avec les informations spécifiques à l'objet/cible.

2. Encodeur d'observation :

   • Encode l'image égocentrique actuelle ($I_t$) en utilisant le même backbone visuel figé pour garantir un espace visuel partagé avec l'encodeur de tâche.
   • Intègre l'historique récent de la trajectoire ($h_t$) via un MLP léger et des embeddings de position temporelle.
   • Concatène les jetons visuels actuels et les jetons d'historique pour former le contexte d'exécution.

3. Générateur de trajectoire :

   • Prend les jetons de tâche et d'observation concaténés comme conditionnement.
   • Prédit un segment de trajectoire futur ($A_t \in \mathbb{R}^{H \times 10}$) représentant la translation relative, la rotation 6D et la largeur de la pince.
   • Objectif : L'implémentation par défaut utilise l'Appariement de flux (Flow Matching) pour prédire le champ de vitesse de la trajectoire, bien qu'une tête de diffusion soit également prise en charge. Le modèle est entraîné pour débruiter les jetons de trajectoire interpolés.

Protocole d'évaluation

L'article met l'accent sur les divisions conscientes de la scène pour éviter les fuites de données et la surestimation de la généralisation. Tous les épisodes d'une même unité de scène sont maintenus dans une seule partition (entraînement ou validation). Les métriques d'évaluation incluent l'erreur de déplacement final (FDE), la position L2, la rotation L2 et la largeur de la pince L1.

Résultats clés

Sollicitations de base

Les expériences comparant différentes modalités de sollicitation (Aucune sollicitation, Point, BBox, Visuel, BBox+Visuel) démontrent que les sollicitations spatiales améliorent considérablement les performances par rapport aux bases non sollicitées.

• La combinaison des Sollicitations Visuelles (boîtes rendues) et des Sollicitations de Coordonnées (jetons de boîte) produit les meilleurs résultats globaux, réduisant l'FDE de 0,1739 (Aucune sollicitation) à 0,1147.
• Les sollicitations visuelles seules sont particulièrement efficaces pour la précision de la rotation, tandis que les sollicitations de coordonnées fournissent une géométrie explicite bénéfique pour la translation dans des scènes encombrées.

Études d'ablation

• Encodeur de vision : DINOv2-Base surpasse les autres modèles de base (SigLIP, SAM, EVA2, PE) en précision de point final et de translation, en particulier dans les scènes encombrées (Scène 2 et 3).
• Figé vs Défigé : Le maintien du backbone visuel figé produit une meilleure généralisation que son affinage, suggérant que l'adaptation du backbone à la distribution de tâches limitée conduit au surapprentissage.
• Tête de trajectoire : La tête Appariement de flux surpasse systématiquement la tête de diffusion sur toutes les métriques.
• Horizon d'historique : Un horizon d'historique modéré ($K=4$) offre le meilleur équilibre, fournissant un contexte de mouvement suffisant sans introduire d'observations obsolètes.

Performance qualitative

Les visualisations montrent que SPOT infère avec succès la phase de mouvement locale correcte à partir des sollicitations statiques et des observations actuelles. Bien que l'assemblage à long horizon accumule une dérive locale (erreurs cumulatives), le modèle préserve la structure géométrique grossière de la trajectoire de manipulation, y compris les mouvements d'approche et de retour.

Signification et revendications

L'article revendique l'établissement de la SP-VTP comme une nouvelle condition de tâche simple et évolutive pour la manipulation égocentrique. Ses contributions principales sont :

1. Formalisation : Définition du premier cadre qui présente la manipulation égocentrique comme une prédiction de trajectoire centrée sur la vision et sollicitée spatialement, distincte de la planification conditionnée par le langage ou du suivi standard.
2. Jeu de données : Introduction d'EgoSPT, qui fournit les annotations d'ancrage nécessaires et la récupération de mouvement 3D pour étudier ce problème.
3. Politique : Proposition de SPOT, qui démontre que la fusion des sollicitations spatiales rendues et par coordonnées avec l'historique visuel prédit efficacement les trajectoires futures dans de nouvelles configurations de scène.
4. Évaluation : Établissement d'un protocole d'évaluation conscient de la scène qui teste la véritable généralisation inter-scène plutôt que la mémorisation de la disposition.

Les auteurs positionnent la sollicitation spatiale comme une interface directe et à faible ambiguïté pour spécifier les objectifs de manipulation dans des environnements encombrés, offrant une alternative pratique aux instructions basées sur le langage lorsque le contexte visuel est primordial.