Learning human joint torques from pixels

Imaginez que vous regardiez une vidéo au ralenti d'un joueur de basket effectuant un dunk. À l'œil nu, cela ressemble à une pure grâce athlétique. Mais pour un biomécanicien, ce moment unique est une tempête chaotique de forces invisibles. À l'intérieur du corps du joueur, les muscles s'activent comme de petits moteurs, et ses articulations agissent comme des charnières soumises à une pression immense. Les scientifiques appellent la force de torsion qui fait bouger ces articulations le « couple » (ou torque). Pendant des décennies, déterminer exactement quel couple était en jeu revenait à essayer de deviner la puissance d'un moteur rien qu'en regardant le pot d'échappement d'une voiture. On ne voit pas les engrenages tourner, alors il faut donc coller des capteurs partout sur la peau de la personne, l'attacher dans un laboratoire avec de gigantesques caméras, ou construire un robot pour faire semblant d'être elle. Ces méthodes sont précises, mais elles sont aussi lourdes, coûteuses et impossibles à utiliser pendant que quelqu'un joue au football dans un parc ou danse dans son salon. La grande question a toujours été : pouvons-nous regarder une simple vidéo et connaître instantanément la physique cachée du mouvement ?

Ce document affirme : « Oui, nous le pouvons », et ils ont construit les outils pour le prouver. Les chercheurs ont créé un nouvel ensemble de données massif appelé VID, qui est comme une immense bibliothèque de 63 369 images vidéo synchronisées de personnes réelles en mouvement. Mais il ne s'agit pas seulement d'une collection de films ; c'est une « super-bibliothèque » où chaque image est accompagnée d'un aide-mémoire secret. Parallèlement à la vidéo, ils disposent des données mathématiques exactes de la vitesse à laquelle les articulations se déplaçaient et de la quantité de couple qu'elles généraient, toutes calculées à l'aide de logiciels de physique avancés. Ils ont ensuite entraîné une IA spéciale, qu'ils ont nommée VID-Network, pour regarder les images vidéo et apprendre la connexion entre l'apparence de la personne et les forces invisibles à l'intérieur d'elle. Les résultats sont impressionnants : l'IA a appris à prédire ces couples articulaires directement à partir des pixels d'une caméra standard, battant les meilleures méthodes précédentes de près de 40 %. C'est comme si l'IA avait appris à lire la « mathématique musculaire » simplement en regardant la danse, sans avoir besoin de capteurs ou de robots pour l'aider.

La salle des machines invisible

Pour comprendre pourquoi c'est un événement si important, décomposons le problème. Le mouvement humain est une danse complexe entre les os, les muscles et la gravité. Lorsque vous frappez un ballon, votre genou ne se contente pas de se plier ; il doit générer une quantité spécifique de force de torsion, ou couple, pour surmonter la gravité et le poids de votre propre corps. Dans le passé, si un scientifique voulait connaître ce chiffre, il devait placer la personne dans une « cage de laboratoire ». Ils collaient des capteurs sur la peau pour lire les signaux électriques des muscles, plaçaient la personne sur un sol spécial qui mesure la force de poussée, et entouraient la personne de caméras pour suivre de minuscules marqueurs sur ses articulations. C'est comme essayer de comprendre comment fonctionne le moteur d'une voiture en devant démonter le moteur, mesurer chaque boulon et le faire fonctionner sur un circuit de test. Cela fonctionne, mais on ne peut pas le faire en conduisant sur l'autoroute.

D'autres scientifiques ont tenté une approche alternative en utilisant des jeux vidéo et des simulations. Ils ont appris à des ordinateurs à regarder un robot numérique bouger et à deviner les forces. Mais il y a un piège : les robots dans les jeux vidéo ne bougent pas exactement comme les humains réels. Ils sont trop parfaits, trop fluides, et manquent des petits tremblements et imperfections de la chair et de l'os réels. C'est comme essayer d'apprendre à conduire une vraie voiture en jouant uniquement à un jeu de course ; vous connaissez peut-être les règles, mais vous ne saurez pas ce que le volant ressent quand la route devient cahoteuse.

Le nouveau « Super-Observateur »

Les auteurs de ce document ont décidé de sauter les cages de laboratoire et les robots de jeux vidéo. Au lieu de cela, ils ont construit un pont entre le monde réel désordonné et le monde précis de la physique. Leur première étape a été la création de l'ensemble de données VID. Ils ont pris des données existantes en accès libre de personnes réelles en mouvement et ont fait le travail difficile de synchronisation. Imaginez prendre une vidéo d'une personne qui saute et un tableur distinct de calculs physiques, puis les aligner soigneusement afin que chaque image de la vidéo corresponde exactement à la fraction de seconde précise du calcul. Ils ont obtenu plus de 60 000 images d'humains réels, complet avec leur taille, leur poids et les valeurs de couple exactes pour leurs articulations. Cet ensemble de données est le « manuel » que l'IA va étudier.

Ensuite, ils ont construit le VID-Network, un programme informatique intelligent conçu pour être un « super-observateur ». Ce réseau possède trois parties principales qui travaillent ensemble comme une équipe de détectives :

1. Le Détective de la Pose : D'abord, il regarde l'image et détermine exactement où se trouvent les articulations de la personne dans l'espace 3D. C'est comme si l'IA dessinait mentalement un squelette en bâtons sur la vidéo.
2. Le Suiveur de Marqueurs : Il prédit ensuite où se trouveraient des points spécifiques du corps (comme l'endroit où un muscle s'attache), même si on ne peut pas les voir. Cela aide l'IA à mieux comprendre la structure du corps.
3. Le Voyageur Temporel : Enfin, il ne se contente pas de regarder une image figée. Il regarde une séquence d'images, comme si l'on feuilletait une bande dessinée, pour comprendre comment le corps se déplace au fil du temps. Il utilise un cerveau « Transformer » spécial (le même type de technologie qui alimente les agents conversationnels intelligents) pour relier les points entre le passé, le présent et le futur du mouvement afin de deviner les forces.

Les Résultats : Voir l'Invisible

Lorsqu'ils ont testé cette nouvelle IA, les résultats ont changé la donne. Ils ont comparé le VID-Network aux deux meilleures méthodes actuellement disponibles : une qui utilise un mélange de physique et de capteurs, et une autre qui repose sur des simulations de robots. Les anciennes méthodes commettaient des erreurs, avec une moyenne d'environ 2,93 et 2,92 unités (mesurées en Newton-mètres par kilogramme). Le nouveau VID-Network, cependant, a fait chuter cette erreur à 1,7612 N·m/kg. Cela représente une amélioration de 39,81 %.

L'article montre que cette nouvelle méthode est meilleure dans presque tous les domaines. Que la personne marche, fasse des squats ou saute, l'IA a deviné les forces plus précisément que les anciennes méthodes. Elle a été particulièrement efficace pour les mouvements complexes comme l'« extension lombaire » (courber le bas du dos), où elle a amélioré la précision de manière spectaculaire. Le seul moment où elle a légèrement trébuché a été sur certains schémas de marche spécifiques où la méthode basée sur la simulation avait un léger avantage, probablement parce qu'il y avait tellement d'exemples de marche dans les données d'entraînement que la simulation est devenue très performante sur ce point précis. Mais globalement, l'approche par image réelle l'a emporté.

Pourquoi cela importe

La partie la plus excitante de cet article n'est pas seulement que les chiffres soient meilleurs ; c'est que l'IA a appris à le faire en utilisant uniquement des images réelles. Elle n'a pas eu besoin de capteurs, de plaques de force ou d'une simulation de robot. Elle a appris à voir la physique invisible dans une vidéo standard. Les auteurs suggèrent que c'est la première fois que quelqu'un réussit à établir un critère de référence pour ce type de « dynamique inverse basée sur la vision » en utilisant des données humaines réelles.

Cela ouvre la porte à un avenir où nous pourrons analyser la façon dont les athlètes se déplacent, la façon dont les patients se remettent de blessures ou la façon dont les gens marchent dans la nature, simplement en pointant une caméra vers eux. Bien que l'article note qu'il reste encore du travail à faire — comme s'assurer que l'IA fonctionne sur des personnes qu'elle n'a jamais vues auparavant ou gérer des environnements « réels » chaotiques — il a prouvé que le rêve de lire le mouvement humain à partir d'une simple vidéo n'est plus un fantasme. C'est une réalité qui est désormais prête à être testée dans le monde réel.