💻 informatique

Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models

Cet article introduit Motion from Vision-Language Representation (MoVLR), un cadre qui exploite les modèles de vision-langage pour découvrir et affiner de manière itérative des fonctions de récompense pour le contrôle musculosquelettique de haute dimension en comblant l'écart entre les objectifs abstraits en langage naturel et les stratégies de mouvement physiologiques implicites.

Auteurs originaux : Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

Publié 2026-01-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous deviez apprendre à un robot hautement complexe, presque humain, comment marcher, courir ou verser un verre d'eau. Le corps du robot est composé de centaines de minuscules muscles et articulations, tous connectés dans un réseau complexe et emmêlé. Si vous lui donnez une instruction simple comme « marche en avant », le robot ne sait pas comment s'y prendre. Il ne sait pas quels muscles activer, comment garder l'équilibre ou comment balancer ses bras.

Par le passé, les ingénieurs devaient agir comme des professeurs de mathématiques rigoureux, en écrivant manuellement des milliers de règles spécifiques (récompenses) pour le robot : « Garde la tête haute », « Ne penche pas à gauche », « Bouge ton genou de tant ». C'était extrêmement difficile, cela entraînait souvent des mouvements saccadés et non naturels chez le robot, et nécessitait beaucoup d'essais et d'erreurs.

La nouvelle solution : L'équipe « Coach et Critique »

Ce document présente un nouveau système appelé MoVLR (Motion from Vision-Language Representation). Voyez cela comme une équipe de deux experts travaillant ensemble pour enseigner au robot, plutôt qu'une seule personne écrivant un manuel.

Le Robot (L'Athlète) : Il essaie de bouger en se basant sur un ensemble de règles.
Le Modèle Vision-Langage (Le Coach-Œil) : C'est une IA capable de « regarder » une vidéo du robot en mouvement et de comprendre ce qu'elle voit en langage naturel. Elle agit comme un entraîneur sportif qui peut regarder un coureur et dire : « Tu penches trop vers la gauche, et le balancement de tes bras n'est pas synchronisé avec tes jambes ».
Le Modèle de Langage (Le Rédacteur de Règles) : C'est une IA qui parle le « code ». Elle écoute les conseils du Coach et réécrit le carnet de règles du robot pour corriger les erreurs.

Comment ça marche : La boucle d'amélioration

Le processus fonctionne comme un cycle de pratique et de feedback :

Étape 1 : L'essai. Le robot essaie de marcher en fonction de ses règles actuelles.
Étape 2 : La vidéo. Le système enregistre une vidéo de cette tentative.
Étape 3 : La critique. Le « Coach-Œil » (VLM) regarde la vidéo. Au lieu de donner un simple score comme « 8/10 », il donne une critique détaillée et humaine : « Le robot vacille. Il doit maintenir ses hanches plus hautes et balancer ses bras de manière plus naturelle ».
Étape 4 : La réécriture. Le « Rédacteur de Règles » (LLM) prend cette critique et réécrit instantanément le code du robot. Il ajoute de nouvelles instructions comme « Pénaliser l'inclinaison à gauche » ou « Récompenser le balancement des bras ».
Étape 5 : Répéter. Le robot essaie à nouveau avec les nouvelles règles. Le Coach regarde à nouveau, donne de nouveaux conseils, et le Rédacteur ajuste à nouveau le code.

Ce qu'ils ont découvert

Les chercheurs ont testé cela sur un modèle humain numérique doté de 700 muscles (un système très complexe) et même sur un modèle d'autruche. Ils lui ont demandé de réaliser des tâches telles que :

Marcher en avant sur un terrain plat.
Marcher sur un chemin accidenté et rocheux.
Monter une pente raide.
Verser une bouteille d'eau sans en renverser.
Faire pivoter un cube avec ses mains.

Les résultats :

Meilleur que les humains : Dans de nombreux cas, cette équipe d'IA a trouvé de meilleures règles de mouvement que celles que des experts humains auraient pu écrire à la main. Le robot a marché plus loin et a versé l'eau plus régulièrement.
Meilleur que les autres IA : Les méthodes d'IA précédentes qui tentaient d'apprendre des récompenses échouaient souvent ou produisa dient des mouvements saccadés. MoVLR a produit un mouvement fluide et naturel.
Adaptable : Le système a appris à marcher sur un terrain plat, puis, sans être réentraîné, il a pu marcher avec succès sur des collines rocheuses ou même sur un corps blessé (où certains muscles étaient affaiblis). Il a trouvé comment compenser, tout comme un humain le ferait.

La vue d'ensemble

Le document affirme qu'en utilisant une IA capable de « voir » et de « parler », nous pouvons enfin combler le fossé entre un objectif humain simple (« Marche joliment ») et la physique incroyablement complexe de la façon dont un corps se déplace réellement. Au lieu de deviner les mathématiques, nous laissons l'IA regarder le robot, lui dire ce qui ne va pas, et corriger les règles automatiquement. C'est comme avoir un coach qui ne se fatigue jamais, n'oublie aucun détail et peut instantanément réécrire le plan de jeu pour rendre l'athlète parfait.

Résumé Technique : Motion from Vision-Language Representation (MoVLR)

Énoncé du Problème

Le contrôle de systèmes musculosquelettiques hautement dimensionnels et sur-actionnés demeure un défi fondamental en contrôle moteur. Contrairement aux systèmes robotiques généraux, ces agents présentent des dynamiques hautement non linéaires où de multiples synergies musculaires peuvent produire des mouvements articulaires identiques. Par conséquent, l'obtention de mouvements naturels et efficaces nécessite la découverte de modèles de contrôle corporels coordonnés plutôt que la spécification de commandes d'actionneurs individuels.

Le principal goulot d'étranglement des approches basées sur l'apprentissage pour ces systèmes est la conception de récompenses (reward design). Les méthodes existantes reposent généralement sur des objectifs heuristiques et artisanaux (ex: suivi de vitesse, minimisation de l'énergie) qui échouent souvent à capturer la structure nuancée de la complexité du mouvement. Ces objectifs négligent fréquemment les principes anatomiques, menant à des comportements biomécaniquement non naturels ou inefficaces. Bien que les modèles de langage étendu (LLM) et les modèles vision-langage (VLM) offrent un potentiel pour l'évaluation de haut niveau du mouvement, les approches actuelles reposent souvent sur des statistiques épisodiques ou des signaux de succès grossiers. Elles manquent d'un mécanisme principled pour traduire systématiquement les dynamiques d'interaction implicites et les descriptions en langage naturel en fonctions de récompense structurées et exécutables pour le contrôle musculosquelettique de haute dimension.

Méthodologie : Cadre MoVLR

Les auteurs proposent le Motion from Vision-Language Representation (MoVLR), un cadre itératif entièrement automatique qui comble le fossé entre la spécification d'un objectif de haut niveau et l'optimisation du contrôle de bas niveau. MoVLR intègre les LLM et les VLM dans un processus de « contrôle en boucle » (control-in-the-loop) pour découvrir et affiner les fonctions de récompense.

Le flux de travail opère à travers trois composantes centrales dans une boucle itérative :

Dynamique du mouvement musculosquelettique (Optimisation de la politique) :
- Étant donné une proposition de récompense actuelle $r^{(i)}$ , le système effectue l'optimisation de la politique pour générer une politique de contrôle $\pi^*$ .
- Le système utilise MPC2, un planificateur basé sur un modèle employant un pipeline de contrôle hiérarchique, pour optimiser les trajectoires. Cette approche sans entraînement réduit considérablement le temps d'optimisation (à quelques minutes) par rapport à l'apprentissage par renforcement, permettant une itération rapide.
- La politique optimisée est déployée pour générer des dynamiques de mouvement musculosquelettiques de haute dimension, qui sont rendues sous forme de vidéos de mouvement ( $\zeta^{(i)}$ ).
Représentation Mouvement-Langage (Évaluation par VLM) :
- Un modèle vision-langage (VLM) agit comme un observateur sémantique. Il analyse la vidéo de mouvement rendue $\zeta^{(i)}$ par rapport à la description de la tâche $R$ (ex : « marcher vers l'avant avec une posture droite »).
- Au lieu de scores scalaires, le VLM produit un feedback diagnostique textuel structuré ( $F$ ). Ce feedback évalue l'accomplissement de la tâche, identifie les problèmes biomécaniques clés (ex : manque de stabilité directionnelle, mauvaise coordination bras-jambe) et suggère des améliorations spécifiques.
- Le VLM met à jour la meilleure conception de récompense actuelle $r^*$ et la dynamique correspondante $\zeta^*$ si la nouvelle proposition présente un meilleur alignement avec la description du mouvement.
Conception de récompense guidée par le langage (Synthèse par LLM) :
- Un modèle de langage étendu (LLM) prend la description de la tâche, le code de l'environnement et le feedback diagnostique du VLM $F$ comme entrées.
- Le LLM effectue une recherche locale sur la meilleure fonction de récompense actuelle pour synthétiser de nouveaux termes de récompense interprétables. Il mappe les priors sémantiques (ex : « stabilité ») et le contexte structurel (ex : angles articulaires, longueurs d'actionneurs) en code exécutable.
- Ce processus affine itérativement la fonction de récompense $r^{(i+1)}$ , distillant progressivement les régularités dynamiques implicites en termes de récompense explicites.

Contributions Clés

Cadre MoVLR : L'introduction d'un cadre d'apprentissage de récompense entièrement automatique qui capture efficacement les dynamiques implicites et conçoit des récompenses explicites pour les systèmes musculosquelettiques de haute dimension.
Intégration du Feedback Multimodal : Une approche novatrice utilisant les VLM pour ancrer les descriptions de mouvement abstraites dans les principes implicites régissant le contrôle moteur physiologique, jetant un pont entre le feedback perceptuel et les représentations de mouvement informées par le domaine.
Généralisabilité et Interprétabilité : Démonstration que le cadre se généralise à travers diverses tâches de mouvement, environnements (terrains plats, accidentés, en pente) et morphologies de systèmes (modèles humain et autruche). Les termes de récompense résultants sont interprétables, représentant des dynamiques musculosquelettiques implicites telles que l'équilibre, la longueur de la foulée et le balancement des bras.
Affinement Hiérarchique : La méthode permet un cadre de contrôle transférable où l'affinement de la récompense reflète l'apprentissage moteur humain, progressant des contraintes de stabilité grossières vers la coordination fine des articulations.

Résultats Expérimentaux

Les auteurs ont évalué MoVLR sur le modèle MS-Human-700 (206 articulations, 700 actionneurs muscle-tendon) et une morphologie d'autruche dans le simulateur MuJoCo. Les tâches incluaient la locomotion (terrains plats, accidentés et en pente, virages, conditions de corps blessé) et la manipulation (verser une bouteille, rotation d'un cube).

Comparaison de Performance : MoVLR a systématiquement surpassé les bases de référence, y compris les récompenses conçues par l'homme, Eureka (génération de code basée sur LLM) et HARMON (raffinement du mouvement humanoïde basé sur VLM).
- En locomotion, MoVLR a atteint les distances de marche les plus longues sur tous les terrains, excellant particulièrement dans les environnements difficiles nécessitant une stabilité adaptative.
- En manipulation, il a obtenu les erreurs de position et d'orientation les plus faibles, indiquant des interactions plus précises avec les objets.
Évolution de la Récompense : L'analyse des poids de récompense a révélé un affinement hiérarchique clair. Les premières étapes privilégiaient la stabilité globale (hauteur, équilibre), tandis que les étapes ultérieures se sont concentrées sur des descripteurs biomécaniques localisés (placement du pied, alignement de la hanche, contrôle du genou).
Généralisation : Les récompenses apprises sur terrain plat se sont transférées avec succès aux terrains accidentés et en pente, ainsi qu'à une configuration de corps blessé sans raffinement supplémentaire. De plus, les récompenses apprises par MoVLR ont été transférées avec succès à un cadre d'apprentissage par renforcement (utilisant DynSyn) pour la tâche de verser une bouteille, démontant une transférabilité inter-algorithme.
Études d'Ablation : Un modèle unifié tentant d'effectuer simultanément l'interprétation du feedback et la synthèse de code a entraîné une dégradation substantielle des performances, validant la nécessité de séparer les étapes de feedback VLM et de synthèse LLM.

Signification et Revendications

L'article affirme que MoVLR fournit une voie scalable et principled vers un contrôle biologiquement plausible, interprétable et généralisable pour des comportements complexes. En exploitant les VLM, le cadre parvient à traduire des descriptions de mouvement de haut niveau en objectifs de contrôle détaillés, ancrant efficacement les buts linguistiques dans la dynamique physique.

Les auteurs soutiennent que leur travail démontre que les VLM peuvent servir de « pont perceptuel », traduisant les dynamiques d'interaction implicites en récompenses structurées qui s'alignent sur la physiologie sous-jacente des systèmes musculosquelettiques. Cette approche offre une solution au défi de longue date de la conception de récompenses pour des systèmes de haute dimension sans dépendre d'un réglage manuel extensif ou de proxys indirects, permettant la découverte de fonctions de récompense qui produisent un mouvement naturel, coordonné et stable.