💻 computer science

Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain

Cet article présente le Modèle de Fondation de Comportement Perceptif, un cadre de contrôle humanoïde sensible au terrain qui adapte les priors de mouvement humain à divers environnements robotiques en synthétisant des références cohérentes avec le terrain et en employant une stratégie d'entraînement enseignant-élève pour permettre à un élève utilisant des références brutes d'effectuer des corrections localisées et spécifiques au terrain tout en préservant le suivi du mouvement global.

Auteurs originaux : Zifan Wang, Yizhao Li, Teli Ma, Qiang Zhang, Yudong Fan, Hao Xu, Shuo Yang, Junwei Liang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zifan Wang, Yizhao Li, Teli Ma, Qiang Zhang, Yudong Fan, Hao Xu, Shuo Yang, Junwei Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment danser. Vous lui montrez une vidéo d'un humain faisant un salto arrière impressionnant sur une piste de danse lisse et plane. Le robot regarde, apprend les mouvements et essaie de les copier parfaitement.

Le Problème :
Maintenant, imaginez que vous preniez ce même robot et que vous le placiez dans un vrai parc avec des rochers irréguliers, des escaliers et des flaques d'eau. Si le robot essaie de faire exactement le même salto arrière qu'il a appris sur le sol lisse, il risque de trébucher, de tomber ou de s'écraser contre un rocher. Le danseur humain n'avait pas à se soucier des rochers car ses pieds trouvaient naturellement le sol, mais le robot est « aveugle » au fait que le sol a changé. Il essaie de suivre un script écrit pour une scène qui n'existe plus.

La Solution : Le « Perceptive Behavior Foundation Model » (Modèle de base de comportement perceptif)
Les chercheurs derrière ce papier ont construit un nouveau type de cerveau pour robot appelé Perceptive BFM. Considérez cela comme un robot qui ne se contente pas de mémoriser un pas de danse ; il comprend l'intention du mouvement et trouve ensuite comment l'exécuter en toute sécurité sur n'importe quel sol sur lequel il se trouve.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. La « Répétition » (TCRS)

Avant même que le robot ne pose le pied sur le vrai sol, les chercheurs lancent une simulation hors ligne massive. Ils prennent les mouvements de danse humains et la carte du terrain rocheux et lancent une « répétition ».

Ce qui se passe : Le système agit comme un chorégraphe intelligent. Il regarde le mouvement de l'humain et dit : « D'accord, l'humain va sauter ici, mais il y a un rocher là. Ajustons légèrement le placement du pied pour éviter le rocher, levons un peu plus la jambe pour franchir la flaque, et décalons le poids du corps pour rester en équilibre. »
Le Résultat : Cela crée une version de « pratique parfaite » de la danse, qui est spécifiquement adaptée à ce terrain rocheux. Le robot apprend à partir de cette version parfaite.

2. Le jeu du « Professeur et de l'Élève »

L'entraînement utilise un processus ingénieux en deux étapes, comme un maître enseignant et un élève :

Le Professeur Aveugle : Ce robot apprend à copier la « version de pratique parfaite » (celle ajustée pour les rochers). Il sait exactement où poser ses pieds car il a été entraîé sur les données ajustées.
L'Élève de Vision : C'est le robot que vous déployez réellement. Il ne voit pas la « version de pratique parfaite » (celle ajustée pour les rochers). Il voit seulement le mouvement de danse humain original (celui du sol plat) et un flux vidéo en direct du sol rocheux.
Le Tour de Magie : L'élève regarde le professeur et apprend une règle spéciale : « Quand je vois le professeur déplacer son pied pour éviter un rocher, alors que l'on me demande de déplacer mon pied vers l'endroit du sol plat, je dois ajouter une petite correction. »
Le Filet de Sécurité : L'élève est conçu pour être d'abord un « imitateur ». Il essaie de faire exactement ce que la commande humaine dicte. Il n'utilise ses « yeux » (le capteur de terrain) que pour effectuer de petits ajustements nécessaires si le sol est dangereux. Cela garantit que le robot n'oublie pas la danse ; il ajuste simplement les pas.

3. Le Résultat : Un seul Robot, N'importe quel Terrain

Le papier montre que ce robot unique peut recevoir une commande telle que « fais un salto arrière » ou « marche de côté » et l'exécuter avec succès dans de nombreux scénarios différents :

Marcher dans des escaliers.
Danser sur un sol irrégulier.
Courir avec des ondulations de bras au-dessus d'obstacles.
Même réaliser des acrobaties de saut sur des blocs surélevés.

L'Idée Clé
La partie la plus importante de cette recherche est que vous n'avez pas besoin de changer la commande. Vous pouvez toujours dire au robot de « faire un salto arrière » tout comme vous le feriez sur un sol plat. Le cerveau du robot gère la partie difficile consistant à comprendre comment réaliser ce salto arrière sur un escalier ou un amas de rochers.

Ce que le Papier ne Prétend PAS

Il ne prétend pas que le robot peut marcher sur du sable mou, de la boue ou de la glace glissante (il suppose que le sol est solide et visible).
Il ne prétend pas que le robot peut corriger son propre haut du corps si la commande humaine est dangereuse (par exemple, si l'humain balance son bras contre un mur, le robot pourrait quand même heurter le mur car il n'ajuste que les pieds et les jambes).
C'est une simulation et un test sur robot réel, pas encore un outil médical ou industriel.

En résumé, ce papier apprend aux robots à être des danseurs adaptables capables de suivre le mouvement d'un humain, même quand la scène est un désordre total.

Résumé technique : Modèle de fondation pour un comportement perceptif

Énoncé du problème

Les modèles de fondation pour le comportement des humanoïdes visent à acquérir des politiques de contrôle de corps entier réutilisables à partir de vastes priors de mouvement humain, permettant à un contrôleur unique de produire des comportements diversifiés et expressifs. Cependant, les politiques de fondation existantes centrées sur le mouvement reposent sur une hypothèse critique : que le mouvement de référence est déjà physiquement compatible avec l'environnement du robot.

Cette hypothèse échoue dans les scénarios de décalage opérateur-environnement, où le démonstrateur humain, l'opérateur et le robot habitent des environnements différents. Une commande de mouvement humain spécifie l'intention et le style, mais n'encode pas intrinsèquement les appuis, le dégagement du balancement, la hauteur du corps ou la synchronisation des contacts requis par le terrain local du robot (par exemple, des escaliers, des supports épars ou des obstacles). Par conséquent, un robot tentant de suivre une référence sur un sol plat sur un terrain complexe peut échouer en raison de collisions, de pertes d'équilibre ou d'une cinématique infaisable. Le défi central consiste à ancrer les priors de mouvement humain dans une perception centrée sur le robot sans modifier l'interface de commande de mouvement brute.

Méthodologie : Modèle de fondation pour un comportement perceptif (Perceptive BFM)

Les auteurs proposent le Perceptive BFM, un cadre de politique unique qui préserve les références de mouvement cinématique brutes comme commande de déploiement tout en utilisant les observations du terrain local pour adapter les contacts, la posture et la synchronisation. L'approche repose sur un algorithement d'entraînement de Suivi de Mouvement Perceptif (PMT) par étapes.

1. Synthèse de Référence Conforme au Terrain (TCRS)

Pour fournir une supervision de terrain évolutive, les auteurs développent un pipeline de synthèse hors ligne qui convertit les clips de mouvement humain bruts et les champs de hauteur échantillonnés en références conformes au terrain ( $m_{tcrs}$ ). Ce module ne résout pas la dynamique complète riche en contacts, mais construit des références cohérentes avec les contacts, fluides et préservant le style via :

Construction de l'appui conscient du contact : Fixation des pieds d'appui aux surfaces du terrain tout en préservant la phase de marche globale et le timing nominal des pas.
Optimisation du balancement consciente de la géométrie du pied : Optimisation d'une trajectoire virtuelle du milieu du pied (équilibrant le dégagement de l'orteil et du talon) en utilisant un optimiseur de trajectoire par échantillonnage pour éviter les discontinuités du terrain.
Reconstruction de la racine consciente du support : Reconstruction de la hauteur de la racine (pelvis) basée sur les contacts de support et la joignabilité des jambes.
Réparation de collision et IK multi-points de la jambe : Résolution d'un problème de cinématique inverse (IK) Jacobienne multi-points amorti et conscient du support pour les douze articulations des jambes afin de résoudre les collisions et d'assurer la faisabilité cinématique.

2. Pipeline d'entraînement Enseignant-Étudiant

Le processus d'entraînement comprend quatre étapes :

Étape 1 (Synthèse hors ligne) : La TCRS génère des ensembles de données appariés de références brutes ( $m_{raw}$ ), de références conformes au terrain ( $m_{tcrs}$ ) et de cartes de terrain ( $\tau$ ).
Étape 2 (Entraînement de l'Enseignant Aveugle) : Une politique enseignante basée sur un Transformer et "aveugle" est entraînée via l'Optimisation de Politique Proximale (PPO) pour suivre les références $m_{tcrs}$ synthétisées. Cet enseignant a accès à une information privilégiée (la référence adaptée) mais aucune entrée visuelle du terrain.
Étape 3 (Distillation de l'Étudiant Visionnaire) : Une politique "étudiante visionnaire", qui reçoit la référence brute originale ( $m_{raw}$ $m_{r a w}$ ) et un scan local du terrain, est distillée à partir de l'enseignant.
- Alignement d'action sur le référentiel cible : Puisque l'enseignant agit sur $m_{tcrs}$ et l'étudiant sur $m_{raw}$ , l'étudiant apprend à imiter la cible de joint effective exprimée par rapport à la référence brute : $a^*_t = (q_{tcrs} + \mu_{tea}) - q_{raw}$ .
- Architecture à porte d'identité : L'étudiant est un Transformer à porte d'identité. Les caractéristiques du terrain entrent par des voies résiduelles initialisées à zéro. Cela garantit qu'à l'initialisation, l'étudiant se comporte exactement comme un suiveur de référence brute, apprenant les corrections conditionnées par le terrain uniquement lorsqu'elles améliorent l'objectif de suivi.
Étape 4 (Affinage par PPO) : L'étudiant est affiné avec PPO en utilisant des commandes de référence brute et des observations de terrain, mettant à jour de manière conservatrice le prior de suivi de mouvement transféré tout en apprenant des corrections conditionnées par la perception locale.

Contributions Clés

Pipeline TCRS : Une méthode de synthèse hors ligne évolutive qui convertit le mouvement humain brut et les champs de hauteur de terrain en une supervision conforme au terrain via la construction d'appui consciente du contact, l'optimisation du balancement, la reconstruction de la racine et l'IK multi-points.
Algorithme PMT : Un cadre enseignant-étudiant de référence brute qui déploie un comportement conscient du terrain sans changer l'interface de commande. Il transfère le comportement conforme au terrain d'un enseignant aveugle à un étudiant visionnaire via l'alignement d'action sur le référentiel cible.
Conception de Politique à Porte d'Identité : Une politique Transformer qui s'initialise comme un suiveur de référence brute et apprend des corrections résiduelles conditionnées par le terrain. Cela permet à une interface de commande unique de supporter la locomotion, les mouvements expressifs, l'acrobatie et le décalage opérateur-environnement à travers divers terrains.

Résultats

L'article évalue le Perceptive BFM à travers cinq niveaux :

Qualité de la TCRS : Sur des pierres de passage avec escaliers, la TCRS réduit considérablement les métriques sensibles aux collisions par rapport aux bases (Z-offset et Cubic Interp+IK). Spécifiquement, elle réduit la profondeur de pénétration de 5,48 cm (Z-offset) à 2,38 cm et les violations de dégagement de 14,3 % (Cubic) à 7,4 %.
Diagnostics de fin d'entraînement : Dans une configuration PPO standard de 10k itérations, la politique PMT complète atteint un taux de succès en boucle fermée enregistré de 55,1 %, surpassant de manière significative les ablations :
- Sans TCRS (référence brute uniquement) : 27,3 %
- Sans vision (aveugle) : 26,5 %
- Sans alignement de référentiel cible : 26,7 %
- Sans porte d'identité : 30,4 %
Simulation multi-terrains : Dans des tests de politique fixe sur 30 commandes de mouvement et 5 familles de terrains (escaliers, pentes, supports épars, obstacles en creux, intérieur mixte), le PMT atteint un taux de complétion de 55,1 % contre 27,3 % pour la base de référence brute. Le PMT présente également une incidence de collision de la partie inférieure de la jambe plus faible (10,0 % contre 24,7 %).
Déploiement sur Robot Réel : Une politique unique a été déployée sur un robot Unitree G1 de 29 DoF. Elle a exécuté avec succès des comportements divers (backflips sur une jambe, danse sur escaliers, courses en agitant les bras, marche latérale sur escaliers) dans des contextes intérieurs, extérieurs et de décalage de capture de mouvement. Le robot a préservé le comportement du haut du corps commandé tandis que la perception résolvait les appuis et le dégagement en ligne.

Signification et Revendications

L'article affirme que la perception centrée sur le robot peut transformer les priors de mouvement humain en un comportement de corps entier compatible avec le terrain sans changer l'interface de commande de mouvement brute.

La signification réside dans le pont jeté entre les modèles de fondation de comportement généralistes (qui excellent dans le suivi expressif mais ignorent le terrain) et les politiques de locomotion perceptives (qui gèrent le terrain mais remplacent souvent l'intention humaine par des compétences autonomes). Le Perceptive BFM démonte qu'une politique unique peut conserver "l'intention et le style" d'un opérateur humain tout en adaptant dynamiquement la réalisation physique (contacts, posture, synchronisation) à l'environnement local du robot. Les auteurs notent que cette approche permet de réutiliser de larges priors de mouvement humain pour des tâches complexes comme l'acrobatie et la téléopération dans des environnements décalés, à condition que la commande du haut du corps reste réalisable après la correction du bas du corps.

L'article reconnaît des limites, notamment l'hypothèse d'un terrain statique et rigide, ainsi que l'absence de conscience des collisions du haut du corps (les bras/tronc peuvent encore heurter des obstacles si la commande est inconsciente des collisions). Des travaux futurs sont suggérés pour traiter les terrains dynamiques/déformables et l'adaptation du haut du corps.