Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

Résumé Technique : Apprentissage de la navigation de dernier mètre au niveau de la catégorie à partir de démonstrations RGB d'une instance unique

Définition du Problème
L'article traite d'une lacune critique dans la manipulation mobile : le décalage entre la navigation globale et l'exécution de la manipulation. Alors que les systèmes de navigation globale garantissent généralement une précision grossière de l'ordre du mètre (par exemple, s'arrêter à moins d'un mètre d'une cible), les politiques de manipulation nécessitent une précision de l'ordre du centimètre pour la position et du degré pour l'orientation afin de fonctionner de manière fiable au sein de leur distribution d'entraînement. Les solutions existantes pour un positionnement de haute précision reposent souvent sur des a priori coûteux ou fragiles, tels que des cartes haute résolution, des champs de radiance neuronale (NeRF), des caméras de profondeur ou des LiDAR. Les auteurs définissent le problème de la « navigation du dernier mètre » comme l'étape spécifique située entre la planification de trajectoire globale et la manipulation, visant à atteindre un alignement précis par rapport à un objet cible en utilisant uniquement des observations RGB embarquées, sans capteurs de profondeur, LiDAR ou a priori de carte.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par imitation centré sur l'objet, entraîné sur une instance unique d'une catégorie d'objets (par exemple, une chaise verte spécifique) qui se généralise à des instances inédites. Le système est formulé comme une tâche d'apprentissage par imitation comportementale (BC) où une politique $\pi$ associe des entrées multimodales à des primitives de mouvement discrètes (avance, déplacement latéral, rotation).

1. Entrées : La politique se conditionne sur trois entrées :

   • Observation Actuelle ($O_t$) : Images RGB multi-vues (avant, arrière, gauche, droite) provenant des caméras embarquées.
   • Observation de l'Objectif ($O_{goal}$) : Images RGB capturées à la pose terminale souhaitée.
   • Prompt Textuel ($\phi_{text}$) : Une description en langage naturel de l'objet cible.

2. Architecture : Le système se compose de trois modules (Fig. 2) :

   • Encodeur de Vision : Utilise un encodeur DINOv2 pré-entraîné et gelé pour extraire des plongements de caractéristiques sémantiquement riches à partir des images actuelles et de l'objectif.
   • Module de Segmentation : Un processus en deux étapes piloté par le texte utilisant OwlV2 pour la détection initiale de l'objet et la génération de la boîte englobante (bounding box), suivi de SAM2 pour affiner le masque de segmentation. Ce module isole l'objet cible de l'arrière-plan.
   • Décodeur d'Action : Le décodeur intègre les coordonnées de la boîte englobante (encodées sous forme d'embedding de boîte) avec les plongements visuels masqués. Crucialement, il calcule une matrice de score spatiale ($S \in \mathbb{R}^{64 \times 64}$) représentant la similitude cosinus par paire entre les jetons spatiaux des vues actuelle et de l'objectif. Cette matrice encode explicitement le décalage spatial entre la vue actuelle et l'objectif. La matrice aplatie et l'embedding de la boîte sont injectés dans un réseau de neurones à propagation avant (feedforward) pour prédire des actions discrètes.

3. Mécanisme d'Arrêt Auxiliaire : Pour remédier à la difficulté d'apprendre un arrêt précis à partir de données de démonstration bruitées, les auteurs introduisent un dépassement basé sur des règles. Le robot s'arrête si l'Intersection sur Union (IoU) entre les masques actuel et cible est supérieure à 0,6 et que la différence du centre de masse horizontal est inférieure à 25 pixels.

Contributions Clés

1. Cadre Centré sur l'Objet : Un nouveau cadre d'apprentissage par imitation qui résout le problème de la navigation du dernier mètre, produisant des poses de base prêtes pour la manipulation en utilisant uniquement des entrées RGB.
2. Généralisation Instance-à-Catégorie : Démonstration qu'un modèle entraîné sur une seule instance d'objet peut se transférer de manière fiable à des instances inédites de la même catégorie à travers divers environnements et conditions d'éclairage.
3. Validation par Efficacité de Capteurs : Validation en conditions réelles prouvant qu'une navigation précise du dernier mètre est réalisable sans profondeur, LiDAR ou a priori de carte, répondant aux contraintes pratiques où ces capteurs peuvent être indisponibles ou trop coûteux.

Résultats Expérimentaux
Le système a été évalué sur un robot Boston Dynamics Spot dans des environnements intérieurs et extérieurs.

• Métriques : Deux métriques ont été introduites : l'Alignement des Bords (évaluant l'alignement avec une limite linéaire de vérité terrain) et l'Alignement de l'Objet (évaluant l'orientation visuelle de l'objet cible via la distance du centre de masse).
• Performance :
  • Sur l'instance vue (la chaise d'entraînement), le système a atteint 94 % de succès en évaluation de vérité terrain et 96,67 % en évaluation visuelle.
  • Sur les instances inédites (différentes chaises), le système a atteint 74,58 % de succès en alignement des bords et 89,42 % en alignement d'objet.
  • Le cadre s'est également généralisé à d'autres catégories (organisateurs de tiroirs et valises) avec des taux de succès moyens de 60 à 96 % selon la métrique et la catégorie.
• Ablation : Les comparaisons ont montré que l'ancrage visuel implicite (sans segmentation explicite) échouait complètement (0 % de succès), et que la Matrice de Score explicite était cruciale pour la généralisation au niveau de la catégorie par rapport aux mécanismes de cross-attention standards. Le mécanisme d'arrêt auxiliaire était essentiel pour convertir le succès de la navigation en achèvement de la tâche.
• Modes de Défaillance : Les principaux modes de défaillance ont été attribués à l'instabilité de la segmentation dans des conditions d'éclairage difficiles (ex: environnements sombres) et au bruit inhérent aux données de démonstration concernant les positions d'arrêt finales.

Signification et Revendications
L'article affirme qu'une navigation précise du dernier mètre peut être réalisée au niveau d'une catégorie en utilisant uniquement des observations RGB, offrant une voie évolutive vers une manipulation mobile unifiée. En supprimant la dépendance aux capteurs de profondeur, au LiDAR ou aux cartes pré-construites, l'approche abaisse la barrière matérielle pour le déploiement de manipulateurs mobiles autonomes dans des environnements humains dynamiques et réels. Les auteurs soulignent que leur méthode comble l'écart du « dernier mètre », permettant aux robots d'atteindre des poses prêtes pour la manipulation qui permettent aux politiques de manipulation en aval de fonctionner dans leur distribution d'entraînement, réduisant ainsi les échecs d'exécution. Le travail suggère que bien que les performances actuelles soient limitées par la qualité de la segmentation et la visibilité non obstruée, l'approche proposée, centrée sur l'objet et pilotée par les données, fournit une base robuste pour les avancées futures de la manipulation mobile basée sur la vision.