Résumé Technique : RelAfford6D

Énoncé du Problème

La manipulation robotique en monde ouvert fait face à un « écart perception-action » fondamental : la difficulté de transformer des observations multimodales de haute dimension en commandes de contrôle physique de bas niveau précises. Bien que les récentes politiques basées sur les données et les paradigmes fondés sur les modèles de fondation aient tenté de combler cet écart, elles souffrent d'un goulot d'étranglement critique dans la représentation des objets. Les approches existantes reposent souvent sur des points de contact isolés (par exemple, des cartes thermiques 2D, des points clés 3D épars) ou des champs d'énergie implicites. Ces représentations manquent des contraintes cinématiques rigoureuses et explicites nécessaires pour manipuler des objets articulés complexes. Par exemple, ouvrir un micro-ondes avec succès ne consiste pas seulement à atteindre une poignée ; c'est strictement régi par la géométrie relative de corps rigide entre la porte et le corps principal. Les méthodes actuelles échouent fréquemment à encoder ces géométries relatives continues, menant à des violations cinématiques (par exemple, tirer une porte à pivotement selon une ligne droite) et à une faible généralisation dans des contextes de monde ouvert sans entraînement spécifique à la tâche.

Méthodologie

Les auteurs proposent RelAfford6D, un nouveau cadre sans entraînement centré sur un Graphe d'Affordance Relationnelle 6D. Ce cadre comble l'écart entre le raisonnement sémantique abstrait et le contrôle physique via un pipeline en trois étapes :

1. Génération de la Topologie Sémantique

Ce module traite le défi de déduire la chaîne cinématique sous-jacente d'objets non vus à partir d'instructions en langage naturel de forme libre.

• Base de Connaissances : Le système utilise une base de connaissances cinématiques structurée dérivée du jeu de données PartNet-Mobility. Les objets sont abstraits en paires relationnelles consistant en une partie d'interaction primaire ($s_p$) et une partie d'ancrage physique ($s_a$), liées par un type de contrainte cinématique (par exemple, pivotement, translation).
• Raisonnement Augmenté par Récupération : Un Grand Modèle de Langage (LLM) est guidé par la Génération Augmentée par Récupération (RAG). Le système récupère les chaînes cinématiques pertinentes de la base de connaissances en fonction de la requête de l'utilisateur et les injecte comme priors dans le LLM.
• Sortie : Le LLM produit une topologie de nœuds relationnels rigoureuse $((s_p, s_a), a)$, identifiant explicitement les parties en interaction et la variété de contrainte géométrique spécifique (par exemple, « tourner » implique une contrainte de pivotement).

2. Mise en Terre Visuelle Métrique

Ce module élève les nœuds topologiques abstraits en poses SE(3) métriques précises, comblant l'écart sémantique-géométrique.

• Segmentation : En utilisant le modèle de vision de fondation SAM3, le système effectue une segmentation guidée par le langage pour générer des masques binaires fins pour les parties primaire et d'ancrage basés sur la topologie inférée.
• Estimation de Pose : Les régions RGB-D masquées sont traitées par un estimateur de pose agnostique à la catégorie (FoundationPose). Cette étape instancie les nœuds abstraits en poses 6D explicites ($T^*_P$ et $T^*_A$) dans le système de coordonnées du monde.
• Résultat : La sortie est un graphe spatial instancié $\Psi = \{(T^*_P, T^*_A)\}$, fournissant les conditions limites exactes requises pour l'exécution physique sans dépendre de modèles pré-entraînés spécifiques à une catégorie.

3. Exécution Cinématique Pilotée par Contraintes

Le dernier module formule l'exécution de l'action comme un problème de satisfaction de contrainte cinématique SE(3) continu, remplaçant les politiques apprises par un contrôle de rétroaction géométrique.

• Définition de la Variété : Le jeton sémantique (par exemple, « tirer », « tourner ») agit comme un sélecteur pour une variété de contrainte géométrique spécifique ($M_a$).
  • Translation (Tirer) : Le mouvement est restreint à une translation 1D le long d'un axe défini par rapport à l'ancre.
  • Pivotement (Tourner) : Le mouvement suit une orbite de rotation 1D autour d'un axe de pivot ancré à la partie d'ancrage.
• Synthèse de Trajectoire : Le système synthétise analytiquement les trajectoires en suivant ces variétés. Un planificateur global (RRT-Connect) gère l'évitement d'obstacles pour la phase d'approche, tandis que la phase d'exécution locale suit strictement la variété de contrainte 1D.
• Replannification en Boucle Fermée : Pour assurer la robustesse face aux perturbations dynamiques, le système emploie un mécanisme de suivi en boucle fermée (5 Hz) utilisant FoundationPose. Si la pose de l'ancre suivie dévie de l'état planifié au-delà d'un seuil géométrique, le système ré-instancie immédiatement la variété en utilisant les coordonnées en direct et resynthétise analytiquement la trajectoire restante.

Principales Contributions

1. Graphe d'Affordance 6D Relationnel : Une nouvelle représentation intermédiaire qui modélise la manipulation comme des relations SE(3) conditionnées par les pièces, encodant explicitement les contraintes de corps rigide et d'articulation plutôt que des points de contact isolés.
2. Ontologie Cinématique Structurée au Niveau des Pièces : Une méthode pour encoder des priors relationnels réutilisables qui permet l'inférence de topologie sémantique zero-shot directement à partir du langage naturel, éliminant le besoin de modèles spécifiques à chaque catégorie.
3. Optimisation de Contrainte en Boucle Fermée : Une reformulation de la manipulation comme une optimisation continue sur une variété de contrainte SE(3) relationnelle. Cela remplace les politiques de bout en bout apprises par un contrôle de rétroaction géométrique physiquement ancré.
4. Généralisation Sans Entraînement : Le cadre atteint des performances zero-shot robustes dans des environnements de simulation et du monde réel sans nécessiter d'entraînement ou de démonstrations spécifiques à la tâche.

Résultats Expérimentaux

Les auteurs ont évalué RelAfford6D par rapport à des bases de référence de pointe (incluant Where2act, FlowBot3D, ManipLLM et RoboMamba) dans deux configurations :

• Manipulation d'Objets Articulés : Sur un benchmark de 10 tâches cinématiques complexes (ex: ouvrir des tiroirs, visser des bouteilles), le RelAfford6D sans entraînement a atteint un taux de réussite moyen de 74 %. Cela surpasse tous les baselines basés sur les données, qui nécessitaient un entraînement sur 10 000 trajectoires. Les auteurs attribuent cela à l'application explicite des contraintes de variété SE(3), ce qui empêche les violations cinématiques communes aux méthodes qui infèrent des points de contact isolés.
• Manipulation d'Objets Rigides : Sur des tâches classiques (prendre, empiler, pousser des cubes), la méthode a atteint des taux de réussite de 100 %, démontrant que le cadre se généralise au-delà des mécanismes articulés vers des tâches de corps rigides sans ré-entraînement.
• Études d'Ablation : Les expériences ont confirmé que supprimer la récupération de connaissances cinématiques, remplacer les modèles de vision de fondation ou désactiver la replanification dynamique de la variété dégradait significativement les performances (faisant chuter les taux de réussite entre 35 % et 68,5 %), validant la nécessité de chaque composant.

Signification et Revendications

L'article affirme que RelAfford6D répond fondamentalement à la tension entre expressivité et contraintes physiques cinématiques dans la manipulation robotique. En changeant le paradigme de « apprendre à agir » via des caractéristiques latentes vers « résoudre pour agir » via des contraintes géométriques explicites, le système atteint :

• Robustesse : Une résistance sans précédent aux perturbations externes dynamiques grâce à la replanification continue en boucle fermée.
• Généralisation : Des capacités zero-shot supérieures à travers diverses catégories d'objets et types de tâches sans données spécifiques à la tâche.
• Validité Physique : La génération de trajectoires cinématiquement valides qui respectent strictement la géométrie des articulations physiques des objets articulés, une capacité souvent absente des approches basées sur les données.

Les auteurs positionnent ce travail comme une étape vers la capacité des robots à interagir de manière fiable avec des objets physiquement divers et non vus dans des scénarios de monde ouvert en ancrant la sémantique abstraite dans un contrôle physique rigoureux.