HeRO: Hierarchical 3D Semantic Representation for Pose-aware Object Manipulation

Ce papier présente HeRO, une politique d'apprentissage par imitation basée sur la diffusion qui utilise des champs sémantiques hiérarchiques pour fusionner la géométrie et la sémantique, permettant ainsi une manipulation d'objets sensible à la pose avec des performances record.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment ranger une paire de chaussures ou accrocher une tasse à un crochet. Si vous lui donnez juste une photo en 2D, il voit une forme plate. S'il utilise un modèle 3D simple, il voit un tas de points géométriques, comme un nuage de poussière.

Le problème ? Le robot ne sait pas quelle partie de l'objet est importante. Pour ranger une chaussure, il doit savoir où est le bout (le "doigt") et où est le talon. Pour accrocher une tasse, il doit trouver la poignée. Sans cette compréhension, le robot risque de saisir la tasse par le fond ou de mettre la chaussure à l'envers.

C'est là qu'intervient HeRO, la nouvelle méthode présentée dans cet article. Voici comment elle fonctionne, expliquée simplement :

1. Le Problème : Le robot est "myope" sur le sens

Les robots actuels sont très forts en géométrie (ils savent où sont les objets dans l'espace), mais ils sont un peu "aveugles" au sens. C'est comme si vous aviez un sculpteur très habile qui peut copier la forme exacte d'une pomme, mais qui ne comprend pas qu'il faut la manger par le haut et non par la tige.

2. La Solution : HeRO, le "Super-Regard"

HeRO donne au robot deux types de "lunettes" spéciales pour voir les objets, et il les combine pour créer une vision parfaite :

• Lunette 1 (DINOv2) : C'est comme un expert en détails. Il voit très bien les contours, les textures et les différences fines entre les objets. Il sait dire "ceci est différent de cela".
• Lunette 2 (Stable Diffusion) : C'est un expert en "ambiance" et en cohérence globale. Il comprend l'histoire de l'objet et assure que tout s'assemble logiquement, comme un puzzle qui tient bien.

L'astuce de HeRO : Au lieu de choisir l'une ou l'autre, il fusionne ces deux regards. Il crée une carte 3D de l'objet où chaque point a non seulement sa forme, mais aussi son "sens" (ex: "je suis le talon", "je suis la poignée").

3. La Hiérarchie : Le Chef et les Équipes

Une fois que le robot a cette carte détaillée, il ne la traite pas d'un seul bloc. HeRO utilise une approche en deux niveaux, comme une grande entreprise :

• Le Chef (Conditionnement Global) : Il regarde l'ensemble de la scène. "Où sommes-nous ? Quelle est la tâche globale ?" Il donne le contexte général.
• Les Équipes Spécialisées (Conditionnement Local) : Le robot découpe l'objet en petites parties (les zones de la chaussure, les zones de la tasse). Chaque équipe se concentre sur un détail précis.
  • L'innovation clé : Souvent, les robots se trompent en pensant que la "partie 1" est toujours le talon. HeRO est intelligent : il comprend que la "partie 1" peut être le talon sur une chaussure et la poignée sur une autre tasse. Il ne se fie pas à un ordre fixe, mais à la fonction de la partie. C'est comme si le robot disait : "Peu importe où c'est rangé, je reconnais que c'est la poignée !"

4. Le Résultat : Une Danse Parfaite

Grâce à cette combinaison de détails précis et de compréhension globale, le robot apprend à manipuler les objets avec une élégance nouvelle.

• Avant : Le robot prenait une chaussure, la posait n'importe comment, et échouait souvent.
• Avec HeRO : Le robot voit le talon, aligne le bout, et pose la chaussure parfaitement, même si c'est une paire de chaussures qu'il n'a jamais vue auparavant.

En résumé

Imaginez que vous apprenez à un enfant à ranger ses jouets.

• Les anciennes méthodes lui disaient : "Mets le cube dans le coin." (Géométrie pure).
• HeRO lui dit : "Voici le camion (c'est le jouet), voici la roue (c'est la partie à saisir), et voici le garage (c'est la destination). Assure-toi que la roue regarde vers l'avant."

Les tests montrent que cette méthode est bien meilleure que les précédentes : elle réussit à ranger des chaussures doubles avec 12 % de réussite en plus que les meilleurs robots actuels. C'est un grand pas vers des robots qui ne font pas que "voir" les objets, mais qui les comprennent.

Résumé technique

1. Problématique

L'apprentissage par imitation pour la manipulation robotique a évolué des politiques basées sur des images 2D vers des représentations 3D explicites (nuages de points, voxels) pour mieux capturer la géométrie. Cependant, les méthodes purement géométriques actuelles souffrent d'un manque de sémantique au niveau des parties (part-level semantics).

Pour des tâches de manipulation conscientes de la pose (pose-aware), comme placer une paire de chaussures en alignant correctement le bout (toe) et le talon (heel), ou accrocher une tasse par son anse, il est crucial de distinguer les parties fonctionnelles de l'objet. Les approches existantes (comme G3Flow) tendent à produire des représentations sémantiques globales et lisses, ce qui rend les parties distinctes (ex: bout vs talon) indiscernables, entraînant des échecs dans les tâches nécessitant une précision fine.

2. Méthodologie : HeRO

HeRO propose un cadre basé sur la diffusion qui couple la géométrie et la sémantique via des champs sémantiques hiérarchiques. L'architecture se compose de trois modules principaux :

A. Levage Sémantique Dense (Dense Semantic Lifting)

Ce module vise à construire un champ sémantique 3D dense, plus discriminant que les méthodes précédentes, en fusionnant deux types de modèles de fondation (Foundation Models) :

• DINOv2 : Fournit des caractéristiques visuelles discriminatives et précises géométriquement, idéales pour les correspondances locales.
• Stable Diffusion (SD) : Fournit des priors sémantiques globaux cohérents et lisses.
• Fusion : Les caractéristiques 2D extraites de ces deux modèles sont réduites en dimension (PCA), puis fusionnées via des poids apprenables. Elles sont ensuite projetées ("lifted") sur le nuage de points 3D de l'objet pour créer un champ sémantique global ($F_G$) et un ensemble de champs locaux ($F_L$).
• Propagation Temporelle : Le champ sémantique est mis à jour à chaque pas de temps en suivant la trajectoire 6D de l'objet, assurant la cohérence temporelle des attributs sémantiques intrinsèques.

B. Module de Conditionnement Hiérarchique (Hierarchical Conditioning Module - HCM)

Contrairement aux méthodes qui concatènent une condition globale unique (introduisant un biais d'ordre), HeRO utilise une approche hiérarchique à deux voies :

1. Conditionnement Global : Le champ global $F_G$, l'état du robot et les poses des objets sont encodés pour fournir un contexte global au débruiteur de diffusion.
2. Conditionnement Partiel Invariant par Permutation :
   • Le champ global est divisé en $K$ sous-parties (clusters) basées sur l'axe principal de l'objet (via PCA).
   • Ces parties sont traitées par des encodeurs locaux.
   • Innovation clé : Un mécanisme d'attention croisée (Cross-Attention) sans encodage de position est utilisé. Cela permet au réseau de traiter les parties de l'objet comme un ensemble non ordonné (permutation-invariant), évitant ainsi la confusion lorsque l'ordre des parties (ex: "partie 1" = talon pour une chaussure, "partie 1" = bout pour une autre) varie.

C. Politique de Diffusion

Un modèle de diffusion apprend à prédire le bruit ajouté aux actions expertes, conditionné par les représentations hiérarchiques extraites (globales et locales). Cela permet de générer des trajectoires d'action précises et cohérentes.

3. Contributions Clés

• HeRO : Un nouveau cadre pour la perception sémantique au niveau des parties, utilisant un levage sémantique dense fusionnant DINOv2 et Stable Diffusion pour obtenir une précision géométrique et une cohérence sémantique.
• Module de Conditionnement Hiérarchique (HCM) : Une architecture de conditionnement pour les politiques de diffusion qui intègre le contexte global et des caractéristiques locales invariantes par permutation, surmontant les limites du conditionnement global holistique.
• Validation Expérimentale : Une validation extensive en simulation et dans le monde réel démontrant un état de l'art (SOTA) sur des benchmarks de manipulation consciente de la pose.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark RoboTwin 2.0 (6 tâches) et incluent des tests de généralisation à des objets non vus et des validations en monde réel.

• Performance Globale : HeRO établit un nouveau record avec un taux de réussite moyen de 32,3 %, surpassant la méthode précédente (G3Flow) de 6,6 % en moyenne.
• Tâches Spécifiques :
  • Sur la tâche difficile "Place Dual Shoes" (placer deux chaussures), HeRO améliore le taux de réussite de 12,3 % par rapport à G3Flow (33,0 % vs 20,7 %).
  • Sur la tâche "Hanging Mug" (accrocher une tasse), l'amélioration est de 4,3 %.
• Généralisation (Zero-shot) : Sur des objets non vus lors de l'entraînement, HeRO maintient une supériorité avec un taux moyen de 24,4 % contre 17,7 % pour G3Flow, prouvant sa capacité à apprendre des propriétés fonctionnelles abstraites plutôt que de mémoriser des formes spécifiques.
• Monde Réel : Sur un robot à deux bras (AgileX Cobot Magic), HeRO atteint un taux de réussite moyen de 26,7 %, contre 16,7 % pour G3Flow, validant la robustesse de la méthode face aux variations d'éclairage et de texture.

5. Signification et Impact

Ce travail démontre que la simple géométrie 3D est insuffisante pour la manipulation robotique avancée. En introduisant une représentation sémantique hiérarchique et dense, HeRO permet aux robots de comprendre non seulement où est un objet, mais comment ses parties fonctionnelles (bout, talon, anse) doivent être orientées.

La capacité à distinguer les parties sémantiques via une fusion de modèles de fondation (DINOv2 + SD) et à traiter ces parties de manière invariante à l'ordre ouvre la voie à des robots plus polyvalents capables d'exécuter des tâches d'assemblage et de manipulation fine complexes, qui étaient auparavant hors de portée des politiques d'apprentissage par imitation.