🤖 machine learning

BioHuman: Learning Biomechanical Human Representations from Video

Cet article présente BioHuman, un modèle de bout en bout entraîné sur le nouveau jeu de données BioHuman10M pour déduire directement les activations musculaires internes et le mouvement humain à partir d'une vidéo monoculaire, comblant ainsi le fossé entre les observations visuelles et les états biomécaniques pour des applications en rééducation et en évaluation des blessures.

Auteurs originaux : Yujun Huo, He Zhang, Chentao Song, Honglin Song, Zongyu Zuo, Tao Yu

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yujun Huo, He Zhang, Chentao Song, Honglin Song, Zongyu Zuo, Tao Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez un film d'une personne en train de courir. Un programme informatique standard peut vous dire où se déplacent les membres de la personne (le « quoi »). Mais il n'a aucune idée comment la personne le fait (le « pourquoi »). Il ne sait pas quels muscles se contractent, avec quelle force ils tirent, ni quelles sont les forces internes en jeu. C'est comme regarder un spectacle de marionnettes et ne voir que les ficelles bouger, sans comprendre la force de la main du marionnettiste ni la tension des ficelles.

Ce papier, intitulé "BioHuman", tente de corriger cela en enseignant aux ordinateurs à voir les mécanismes internes « invisibles » du mouvement humain, et non pas seulement l'enveloppe extérieure visible.

Voici une décomposition de la manière dont ils ont procédé, en utilisant des analogies simples :

1. La Pièce Manquante du Puzzle : BioHuman10M

Pour enseigner à un ordinateur à comprendre les muscles, vous avez besoin d'une immense bibliothèque d'exemples où vous pouvez voir à la fois le mouvement et l'activité musculaire en même temps.

Le Problème : Les données réelles sont rares. Vous ne pouvez pas facilement attacher des capteurs à des milliers de personnes pour enregistrer leurs signaux musculaires tout en les filmant.
La Solution : Les auteurs ont construit une gigantesque bibliothèque numérique appelée BioHuman10M. Considérez cela comme une « réalité simulée ». Ils ont pris des vidéos existantes de personnes en mouvement et les ont fait passer dans un moteur physique haute technologie (comme un moteur de jeu vidéo, mais pour la biologie humaine réelle).
Fonctionnement : Ils ont fourni les données vidéo au « cerveau musculaire » de l'ordinateur (une simulation appelée OpenSim). Le moteur a calculé ce que les muscles devaient avoir fait pour créer ce mouvement spécifique.
Le Résultat : Ils ont créé 10 millions de paires de « Vidéo + Données Musculaires ». C'est comme avoir un manuel où chaque image d'une personne courant est accompagnée d'une carte détaillée indiquant exactement quels muscles travaillaient et avec quelle intensité.

2. Le Nouveau Modèle : BioHuman

Maintenant qu'ils avaient le manuel, ils ont construit un nouveau modèle d'IA appelé BioHuman.

L'Ancienne Méthode (Deux Étapes) : Les méthodes précédentes ressemblaient à une course de relais avec un mauvais passage de témoin. D'abord, une IA devinait la posture du corps (le « quoi »). Ensuite, une seconde IA tentait de deviner les muscles en se basant uniquement sur cette hypothèse. Si la première IA commettait une toute petite erreur, la seconde IA se perdait, et les erreurs s'accumulaient.
La Méthode BioHuman (Une Étape) : Ce modèle est comme un détective unique qui regarde la vidéo et résout toute l'énigme d'un coup. Il ne se contente pas de deviner la posture ; il devine la posture et l'activité musculaire simultanément.
Pourquoi c'est mieux : Le modèle réalise que le mouvement et le muscle sont liés. Si vous voyez une personne penchée en avant, le modèle utilise cette indice visuel pour deviner les muscles, et s'il voit un motif musculaire spécifique, il l'utilise pour affiner l'hypothèse sur la posture du corps. Ils s'aident mutuellement, comme deux amis résolvant un puzzle ensemble plutôt que de se passer des pièces d'un côté à l'autre.

3. Les Résultats

Lorsqu'ils ont testé ce nouveau modèle :

Il a vu plus profond : Il pouvait prédire l'activité musculaire beaucoup plus précisément que les anciennes méthodes « deux étapes ».
Il s'est mieux déplacé : Curieusement, en forçant l'IA à réfléchir aux muscles, elle est en fait devenue meilleure pour deviner la position du corps aussi. C'est comme si comprendre le moteur rendait la voiture plus fluide à conduire.
Il a généralisé : Il a bien fonctionné sur différentes personnes et différents types de mouvements, et pas seulement sur ceux sur lesquels il avait été spécifiquement entraîné.

La Conclusion

L'article présente un nouvel ensemble de données (BioHuman10M) qui simule des données musculaires pour des millions de clips vidéo, et une nouvelle IA (BioHuman) qui apprend à regarder une vidéo et à comprendre instantanément à la fois le mouvement visible et les forces musculaires invisibles qui le propulsent.

Note Importante sur les Limites :
Les auteurs sont honnêtes sur ce que leur « réalité simulée » peut et ne peut pas encore faire :

Le Cou : Leur modèle de simulation ne couvre pas entièrement les mouvements du cou, donc les données y sont incomplètes.
Simulation vs Réalité : Parce que les données musculaires ont été générées par une simulation informatique (et non par de vrais capteurs sur de vraies personnes), il existe toujours un fossé entre leur « vérité numérique » et la biologie humaine réelle.
Pieds Seulement : Actuellement, le système ne comprend les forces que lorsque les pieds touchent le sol. Il ne comprend pas encore ce qui se passe lorsque les mains poussent un mur ou lorsqu'une personne s'assoit.

En bref, ils ont construit le premier pont majeur reliant « ce que nous voyons » (vidéo) à « ce qui se passe à l'intérieur » (muscles), préparant le terrain pour que les ordinateurs comprennent le mouvement humain d'une manière beaucoup plus complète.

Résumé Technique : BioHuman – Apprentissage de Représentations Humaines Biomécaniques à partir de Vidéos

1. Énoncé du Problème

La compréhension du mouvement humain à partir de vidéos s'est traditionnellement concentrée sur la cinématique de surface (par exemple, les positions articulaires et la forme du corps via SMPL), ce qui décrit comment les humains bougent mais échoue à expliquer pourquoi ils bougent en termes de mécanismes physiologiques sous-jacents. Un obstacle majeur à l'avancement de la compréhension biomécanique à partir de la vidéo est l'absence de jeux de données à grande échelle fournissant conjointement des observations visuelles, le mouvement humain et des états biomécaniques internes (spécifiquement les activations musculaires). Les jeux de données existants sont souvent incomplets sur ces modalités, et la collecte de données réelles avec vidéo synchronisée, capture de mouvement et électromyographie (EMG) est prohibitivement coûteuse et rare.

De plus, les approches computationnelles actuelles emploient généralement un pipeline découplé en deux étapes : d'abord la reconstruction du mouvement cinématique à partir de la vidéo, puis l'estimation séparée des activations musculaires via simulation biomécanique ou approximation neuronale. Cette séparation est sous-optimale car les erreurs de reconstruction du mouvement se propagent inévitablement vers l'inférence biomécanique en aval, et les deux processus sont intrinsèquement couplés par le système musculo-squelettique.

2. Méthodologie

2.1 BioHuman10M : Un Jeu de Données Biomécaniques à Grande Échelle

Pour pallier la pénurie de données, les auteurs introduisent BioHuman10M, un jeu de données contenant 10 millions de paires d'images alignant le mouvement visuel réel avec des états musculo-squelettiques basés sur la physique.

Sources de Données : Le jeu de données agrège des séquences de cinq jeux de données de capture de mouvement existants : MotionPRO, EMDB, 3DPW, Human3.6M et BEDLAM.
Cadre de Simulation (BioSim) : Puisque les activations musculaires réelles ne sont pas disponibles pour la plupart de ces sources, les auteurs ont développé BioSim, un pipeline de simulation pour les générer :
1. SMPL vers OpenSim : Les séquences de mouvement SMPL sont converties en cinématiques compatibles OpenSim en utilisant un modèle musculo-squelettique complet personnalisé (ULBS-112) comportant 112 muscles.
2. Cinématique Inverse (IK) : Les trajectoires de marqueurs sont extraites de SMPL pour mettre à l'échelle le modèle ULBS-112 et effectuer l'IK, récupérant ainsi les trajectoires d'angles articulaires.
3. Forces de Réaction au Sol (GRF) : Puisque les GRF ne figurent pas dans les données SMPL, elles sont synthétisées à l'aide de GaitDynamic sur la base de la cinématique articulaire et des paramètres corporels estimés.
4. Estimation de l'Activation Musculaire : En utilisant la Dynamique Inverse (ID) pour calculer les moments articulaires et l'Optimisation Statique (SO) pour résoudre la redondance musculaire, le système estime les activations musculaires ( $a_i(t)$ ) en minimisant une fonction de coût d'effort ( $\sum a_i^p$ ) soumise à des contraintes dynamiques.
5. Post-traitement : Les séquences peu fiables sont filtrées et un lissage temporel est appliqué pour assurer une cohérence des dynamiques d'activation.

2.2 BioHuman : Un Cadre de Bout en Bout

Les auteurs proposent BioHuman, un cadre unifié de bout en bout qui prédit directement à la fois le mouvement humain (pose SMPL) et les activations musculaires à partir d'une vidéo monoculaire, contournant ainsi le pipeline découplé.

Architecture :
- Encodeur Front-end : Utilise PromptHMR (encodeur d'images figé) pour extraire les estimations initiales de pose SMPL et les caractéristiques HMR conditionnées par l'image pour chaque image.
- Interface Visuelle-Cinématique : La pose brute et les caractéristiques visuelles sont encodées en jetons de pose temporels et en jetons visuels. Un mécanisme de commutation appris injecte des preuves visuelles dans le flux de pose, permettant au modèle de tirer parti des indices de l'image (par exemple, gestion des occlusions, orientation) lorsque les données cinématiques sont ambiguës.
- Transformateur Temporel Mouvement-Visuel : Une séquence de jetons entrelacée (alternant jetons de pose et jetons visuels) est traitée par un décodeur Transformer. Cette structure permet au modèle de raisonner sur les dépendances temporelles à long terme et les interactions inter-modales, capturant le fait que l'activation musculaire dépend de la phase, de la vitesse et du contact, et pas seulement de la pose instantanée.
- Têtes de Décodage : L'état fusionné est décodé par deux têtes :
  1. Tête de Pose : Prédit une correction résiduelle de la pose SMPL initiale.
  2. Tête Musculaire : Prédit le vecteur d'activation musculaire à 112 dimensions.
Objectif d'Entraînement : Le modèle est entraîné avec une supervision multi-tâches combinant la précision de la pose, la précision de l'activation musculaire, l'appariement des différences temporelles, la corrélation d'activation et l'étalonnage d'amplitude.

3. Contributions Clés

Jeu de Données BioHuman10M : L'introduction d'un jeu de données à grande échelle (10M d'images) faisant le lien entre vision, mouvement et activations musculaires du corps entier, construit via un pipeline de simulation novateur (BioSim) qui enrichit les données de capture de mouvement existantes.
Cadre BioHuman : Une architecture neuronale de bout en bout qui modélise conjointement le mouvement humain et les activations musculaires à partir d'une vidéo monoculaire, les traitant comme un problème d'apprentissage de représentation couplé plutôt que comme des tâches séquentielles.
Validation Empirique : Des expériences extensives démontrant que la modélisation conjointe surpasse significativement les bases de référence en deux étapes tant dans la prédiction biomécanique que dans la reconstruction cinématique.

4. Résultats Expérimentaux

Les auteurs évaluent BioHuman sur le protocole de test BioHuman10M, en le comparant à une forte base de référence en deux étapes (PromptHMR + MinT) et à des méthodes HMR monoculaires existantes.

Prédiction de l'Activation Musculaire : BioHuman atteint un Coefficient de Corrélation de Pearson (PCC) de 0,71, surpassant significativement la base de référence en deux étapes (PCC 0,42). Il montre également un RMSE plus faible (0,065 contre 0,071) et de meilleures performances sur le tirage actif des muscles (MAE Actif 0,10 contre 0,12).
Estimation du Mouvement : Contrairement à la crainte qu'un entraînement conjoint puisse dégrader la précision cinématique, BioHuman améliore l'estimation de la pose. Il atteint un RMSEPose de 0,30 rad et un PA-MPJPE de 35,21 mm, surpassant les bases de référence HMR de pointe comme PromptHMR (0,53 rad, 40,89 mm).
Étude d'Ablation : La suppression du couplage visuel-cinématique de bout en bout (en utilisant une cascade en deux étapes avec des poses HMR fixes) entraîne une baisse du PCC de 0,71 à 0,58, confirmant l'avantage de l'optimisation conjointe.

5. Importance et Revendications

L'article revendique que BioHuman établit une nouvelle référence pour la compréhension biomécanique basée sur la vidéo. En allant au-delà de la cinématique de surface pour inférer les états musculo-squelettiques internes, ce travail ouvre de nouvelles possibilités pour des applications en rééducation, analyse sportive et technologies d'assistance (par exemple, exosquelettes).

Les auteurs soulignent que leur approche comble le fossé entre l'observation visuelle et la réalité physiologique. Ils notent que, bien que le jeu de données soit basé sur une simulation et actuellement limité aux interactions pied-sol (manquant de degrés de liberté du cou et d'interactions main-objet), il fournit une base évolutive pour apprendre des représentations humaines ancrées dans la biomécanique. Des travaux futurs sont prévus pour valider ces prédictions contre de véritables données EMG et intégrer des modèles corporels plus précis sur le plan anatomique (par exemple, OSSO).