🤖 AI

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

SceneBot est un cadre de suivi de mouvement unifié qui permet aux robots humanoïdes de se généraliser de manière fluide entre la locomotion en espace libre et les tâches complexes riches en contacts en conditionnant une politique unique sur des mouvements de référence et des graphes d'interaction de scène inférés, dérivés d'une nouvelle approche de reconstruction de scène par rétrospection.

Auteurs originaux : Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à marcher, à danser et à porter des boîtes lourdes dans un escalier. Pendant longtemps, les entraîneurs de robots ont été confrontés à un problème délicat : ils pouvaient apprendre aux robots à se déplacer parfaitement dans des pièces vides (espace libre), mais dès que le robot devait toucher un mur, poser le pied sur une marche ou saisir un objet lourd, il s'embrouillait. C'est comme dire à un danseur : « déplace ta main vers la boîte », mais sans lui dire comment la toucher — doit-il simplement l'effleurer, ou la saisir assez fermement pour la soulever ? Sans cette instruction spécifique, le robot ne sait pas s'il est censé flotter ou pousser.

SceneBot est une nouvelle solution créée par des chercheurs de Stanford et d'Amazon. Considérez cela comme un « traducteur universel » qui apprend à un seul cerveau de robot comment gérer à la fois les pièces vides et les environnements encombrés et désordonnés où toucher des objets est nécessaire.

Voici comment cela fonctionne, décomposé en concepts simples :

1. La « Carte de Contact » (L'ingrédient secret)

La plupart des robots se contentent d'essayer de copier les mouvements d'un humain (cinématique). SceneBot ajoute une seconde couche d'instruction : les Étiquettes de Contact.

L'analogie : Imaginez que vous apprenez à porter une valise lourde dans un escalier. Une instruction normale dit : « Bouge ton bras comme ceci ». SceneBot ajoute un post-it qui dit : « Ta main doit appuyer sur la poignée », et « Ton pied doit être fermement posé sur la marche ».
Comment cela aide : Cela indique au robot exactement quelles parties de son corps doivent pousser, tirer ou s'appuyer contre le monde. Cela transforme des instructions de mouvement vagues en un jeu physique de « relier les points » avec l'environnement.

2. Le moteur de données de « Voyage dans le Temps »

Pour enseigner cela à un robot, vous avez besoin de milliers d'exemples de robots interagissant avec des escaliers et des boîtes. Mais les données du monde réel sont rares, et filmer des robots faisant cela est lent et coûteux.

Le problème : Nous avons des tonnes de vidéos d'humains dansant, marchant et portant des choses, mais nous n'avons pas les modèles 3D des escaliers ou des boîtes avec lesquels ils interagissent.
La solution (Reconstruction par anticipation/Hindsight Reconstruction) : Les chercheurs ont construit un système de « voyage dans le temps » ingénieux. Ils prennent une vidéo d'un humain en mouvement, et l'ordinateur travaille à rebours pour inventer la scène.
- Si la main d'un humain s'arrête de bouger près d'un point, l'ordinateur dit : « Ah, ils devaient tenir une boîte ici », et il imprime virtuellement une boîte en 3D.
- Si le pied d'un humain monte une marche, l'ordinateur dit : « Ils devaient être sur un escalier », et il construit un escalier virtuel.
Le résultat : Ils ont transformé des heures de données de mouvement humain en une immense salle de sport virtuelle remplie d'escaliers, de boîtes et de terrains irréguliers, tous parfaitement assortis aux mouvements du robot.

3. La politique du « Un Seul Cerveau »

Habituellement, il faut un cerveau pour marcher, un autre pour monter les escaliers et un troisième pour porter des objets. SceneBot entraîne un seul cerveau unique pour tout faire.

La magie : En nourrissant le robot à la fois des instructions « bouge comme ceci » et des instructions « touche ceci », le robot apprend une compétence générale. Il peut traverser un sol plat, puis passer immédiatement au transport d'une boîte en montant un escalier sans changer de « logiciel ».
Test en conditions réelles : L'article montre le robot ramasser avec succès une boîte, la transporter et monter un escalier, le tout en un mouvement continu.

4. Le « GPS » pour la tête du robot

Pour éviter que le robot ne soit étourdi ou ne tombe, les chercheurs ont également amélioré la façon dont le robot sait où il se situe dans le monde.

Le problème : Les robots se confondent souvent sur leur propre orientation (quel sens est le haut) lorsqu'ils bougent la tête rapidement.
La solution : Ils ont combiné les données d'un scanner laser (LiDAR) et d'un capteur sur les hanches du robot (comme l'oreille interne d'un humain) pour créer un « GPS » ultra-précis qui maintient l'équilibre du robot, même lorsqu'il réalise des prouesses complexes.

Résumé

SceneBot est comme donner à un robot un « super-sens » du toucher. Au lieu de simplement copier aveuglément les mouvements humains, il apprend où et comment toucher le monde. En utilisant une astuce ingénieuse pour inventer des scènes d'entraînement à partir de vidéos humaines, les chercheurs ont appris à une seule politique de robot à gérer tout, de la danse dans une pièce vide au transport de meubles lourds dans un escalier, le tout sans avoir besoin d'un programme différent pour chaque tâche.

Les chercheurs affirment qu'il s'agit du premier cadre capable d'unifier de manière fluide le mouvement en espace libre avec des tâches complexes impliquant des contacts, et ils prévoient de partager leur code et leurs données afin que d'autres puissent s'en servir comme base.

Résumé Technique : SceneBot – Suivi de mouvement corps entier pour humainoids généralistes par conditionnement de contact

Problématique

Les politiques d'apprentissage par renforcement (RL) actuelles pour les humanoïdes ont atteint un succès significatif dans le suivi de mouvements en espace libre (ex. : marche, course, danse), mais peinent face aux tâches riches en contacts. Le suivi purement cinématique est insuffisant pour interagir avec des objets ou des terrains accidentés car il ne peut résoudre les ambiguïtés physiques. Par exemple, déplacer un poignet vers une boîte ne précise pas intrinsèquement si le robot doit atteindre, toucher ou soulever l'objet ; de même, placer un pied près du bord d'une marche ne garantit pas la génération d'une force de réaction au sol suffisante pour monter l'escalier. Les pipelines existants manquent de la conscience de la scène nécessaire pour coordonner les interactions avec les objets et le terrain sur de longs horizons, s'appuyant souvent sur la téléopération de haut niveau ou échouant à se généraliser à des tâches complexes de loco-manipulation.

Méthodologie

SceneBot est un cadre de suivi de mouvement unifié conçu pour gérer la locomotion en espace libre, la traversée de terrains et la manipulation de corps entier au sein d'une seule politique. La méthodologie se compose de trois composantes principales :

1. Reconstruction de scène par rétrospection (Hindsight Scene Reconstruction)

Pour remédier à la rareté des jeux de données à grande échelle contenant des paires de mouvements et d'interactions de scène, SceneBot introduit un pipeline de reconstruction de scène par rétrospection :

Entrée : Trajectoires de mouvement humain reformatées (retargeted).
Graphe d'interaction de scène : Le système construit un graphe hétérogène capturant les interactions temporelles entre les liens clés du robot (poignets, pieds, bassin) et les types de scènes (terrain, objets). Des arêtes sont ajoutées sur la base d'une faible vitesse/accélération relative et supprimées si elles violent les contraintes de collision ou de fermeture de force.
Génération d'assets : Sur la base du graphe d'interaction, le système reconstruit des cartes d'élévation 2.5D plausibles pour le terrain et des objets à plaques parallèles pour les articles mobiles. Cela transforme les données de mouvement humain ordinaires en données d'interaction robot-scène riches en contacts, adaptées à l'entraînement.

2. Entraînement de la politique conditionnée par le contact

La politique centrale est entraînée via l'Optimisation de Politique Proximale (PPO) pour suivre à la fois les mouvements de référence cinématiques et des étiquettes de contact explicites.

Entrées : La politique prend en entrée des commandes cinématiques ( $g_t$ ), des états proprioceptifs ( $s_t$ ), des estimations de l'état de la racine ( $p_{root,t}$ ) et un vecteur d'étiquettes de contact binaire ( $c_t$ ). Les étiquettes de contact indiquent explicitement quels liens du robot doivent établir un contact avec le terrain ou les objets.
Structure de récompense : L'objectif d'entraînement inclut les récompenses standards de suivi de mouvement, augmentées de deux termes spécifiques au contact :
- Récompense de correction de contact ( $r_{cr}$ ): Encourage le robot à établir un contact lorsque l'étiquette est à 1. Cette récompense est asymétrique ; elle n'est active que lorsqu'un contact est souhaité, évitant ainsi de pénaliser les contacts involontaires dans les scénarios en espace libre.
- Récompense de durée de contact ( $r_{dr}$ ): Encourage le maintien d'un contact stable, plafonnée à 0,5 seconde pour éviter que le robot ne refuse de lâcher les objets.
Stabilisation : Une "force magique" heuristique est appliquée aux objets reconstruits durant le début de l'entraînement pour garantir qu'ils suivent la trajectoire jusqu'à ce qu'une saisie stable soit établie, atténuant les échecs fréquents de saisie qui interrompent l'apprentissage.

3. Estimation d'état sans infrastructure

Pour le déploiement, SceneBot utilise SuperOdometry combiné à des capteurs embarqués pour estimer l'état global de la racine du robot (position, orientation, vitesse linéaire).

Fusion de capteurs : Reconnaissant que les IMU montés sur la tête (ex. : Livox) peuvent ne pas représenter fidèlement la dynamique du bassin lors de mouvements agressifs, le système fusionne un IMU monté sur le bassin (pour le tangage/roulis) avec l'estimation du lacet de SuperOdometry via un filtre de Kalman.
Initialisation : La hauteur de la racine est estimée en utilisant les 5 % de points les plus bas d'un scan LiDAR aligné par la gravité.

Contributions Clés

Cadre Unifié : SceneBot est présenté comme le premier cadre de suivi de mouvement général capable d'unifier de manière fluide la locomotion en espace libre, la traversée de terrains accidentés et la manipulation d'objets par le corps entier au sein d'une seule politique.
Conditionnement de Contact : L'article introduit une interface novatrice où un décideur de haut niveau fournit des étiquettes de contact (quels liens doivent toucher la scène) aux côtés des mouvements de référence. Cela permet à la politique de bas niveau de résoudre les ambiguïtés physiques sans nécessiter une politique de tâche complète basée sur la vision.
Moteur de Synthèse de Données : L'approche de reconstruction de scène par rétrospection proposée génère des données d'entraînement riches en contacts et extensibles à partir de jeux de données de mouvements humains existants (AMASS, OMOMO, Bones, Lafan), surmontant le goulot d'étranglement de la rareté des données d'interaction annotées.
Généralisation Zero-Shot : Le système démontre sa capacité à se généraliser à des mouvements et des environnements inédits, incluant des tâches complexes à long horizon comme porter une boîte en montant des escaliers.

Résultats Expérimentaux

Les expériences ont été menées sur la plateforme humanoïde Unitree G1 dans un environnement de simulation sim-to-sim sous MuJoCo et validées par une estimation d'état en conditions réelles.

Comparaison de Performance : SceneBot atteint des performances comparables aux meilleurs suiveurs d'espace libre (SONIC) dans des scénarios de terrain plat, mais surpasse nettement ces derniers dans les tâches d'interaction avec la scène.
- Interaction avec le Terrain : Les taux de réussite sont passés de 100 % (avec l'état global) à 45 % lorsque les informations de l'état global ont été supprimées.
- Interaction avec les Objets : Sans les étiquettes de contact manuel, les taux de réussite de saisie sont tombés à presque zéro.
Études d'Ablation :
- État Global : L'incorporation de la position et de la vitesse de la racine globale est critique ; le suivi local seul entraîne une dérive et un désalignement mouvement-terrain.
- Étiquettes de Contact : L'entraînement avec les étiquettes de contact est essentiel au succès. Curieusement, un modèle entraîné avec les étiquettes conserve de meilleures performances (85 % de réussite) même lorsque les étiquettes sont mises à zéro lors des tests, comparativement à un modèle entraîné sans elles (45 % de réussite), suggérant que le conditionnement de contact simplifie l'apprentissage de la mécanique d'équilibre.
- Reconstruction vs Retargeting : La reconstruction directe de la scène surpasse le retargeting conscient de la scène (ex. : OmniRetarget) car elle garantit que la scène générée est réalisable pour le mouvement, là où le retargeting peine souvent avec l'alignement des objets et les contraintes de pénétration.
Estimation d'État : Le pipeline d'estimation d'état proposé a atteint une erreur de position de la racine moyenne de 0,032 m, une erreur d'orientation de 0,018 rad et une erreur de vitesse linéaire de 0,092 m/s par rapport à la vérité terrain d'OptiTrack, avec un taux de réussite des tâches de 80 % lors des essais en conditions réelles.

Signification et Revendications

L'article affirme que SceneBot établit le conditionnement de contact comme une interface puissante pour le contrôle des humanoïdes, comblant efficacement le fossé entre le suivi de mouvement en espace libre et les interactions complexes avec la scène riches en contacts. En synthétisant les données d'entraînement via la reconstruction par rétrospection, le cadre permet à une seule politique d'exécuter diverses tâches à long horizon (ex. : ramasser un panier, monter des escaliers, et le poser) sans nécessiter de réglage spécifique à la tâche. Les auteurs positionnent ce travail comme une étape fondamentale vers l'intelligence physique, où les robots peuvent intentionnellement exploiter les contacts pour le support et la manipulation. Tout le code et les données sont destinés à être en open-source.