Biomechanics-Guided Standard Action Modeling and Lightweight ST-GCN for Interpretable Phase-Based Action Quality Assessment

Imaginez que vous regardiez un ami essayer d'apprendre à un robot comment jouer au basket. Si vous dites simplement au robot : « Tu as raté le tir », il n'apprend rien. Mais si vous dites : « Ton coude était trop bas, tu n'as pas assez plié les genoux et tu as lâché le ballon trop tôt », le robot peut réellement améliorer son jeu. C'est le cœur d'un domaine appelé l'Évaluation de la Qualité de l'Action (AQA - Action Quality Assessment). Pendant des années, les ordinateurs ont été excellents pour reconnaître ce qui se passe (comme « sauter » ou « courir »), mais ils ont eu du mal à expliquer si cela a été bien fait. Les méthodes traditionnelles nécessitent souvent des caméras et des capteurs encombrants et coûteux qui ressemblent à un décor de film de science-fiction, ce qui les rend impossibles à utiliser dans un gymnase scolaire ordinaire. La grande question que les chercheurs tentent de résoudre est la suivante : pouvons-nous utiliser une simple vidéo provenant d'un téléphone ou d'une caméra standard pour non seulement donner une note, mais aussi expliquer exactement où un mouvement a échoué, le tout sans avoir besoin d'un laboratoire rempli d'équipement ?

Ce document présente un nouveau système ingénieux conçu pour noter le saut en longueur sans élan — un test classique de puissance explosive — en utilisant simplement une vidéo. Les chercheurs, dirigés par une équipe de l'Université Normale de Capital, ont construit un « entraîneur numérique » qui décompose le saut en ses minuscules parties mécaniques. Au lieu de simplement regarder la distance finale sautée, leur système observe l'athlète comme un détective biomécanique. Ils ont créé un « modèle standard » basé sur des connaissances d'expert, qui agit comme le fantôme parfait d'un saut idéal. Ensuite, ils ont utilisé un modèle d'IA léger (un type de cerveau appelé ST-GCN) pour comparer le saut de l'athlète réel à ce fantôme parfait. Le résultat n'est pas seulement un chiffre ; c'est un bulletin détaillé qui dit : « Votre angle de décollage était trop bas » ou « Vous n'avez pas assez plié les genoux lors de l'atterrissage ». L'équipe a testé cela sur 200 personnes et a constaté que leur IA pouvait noter les sauts avec un niveau de précision qui correspond à celui des experts humains, mais en utilisant une fraction infime de la puissance de calcul, ce qui permet de l'exécuter sur des ordinateurs ordinaires dans les écoles.

L'Entraîneur Numérique et le Fantôme Parfait

Considérez le saut en longueur sans élan comme une danse complexe composée de cinq mouvements distincts : la préparation, l'accroupissement, l'explosion vers le haut, le vol dans les airs et l'atterrissage en toute sécurité. Par le passé, si un entraîneur voulait noter cela, il devait regarder la vidéo image par image, deviner les angles et prendre des notes. C'est lent, et deux entraîneurs pourraient ne pas être d'accord.

Les auteurs de ce document ont décidé de construire un entraîneur numérique qui ne se fatigue jamais et ne se contredit jamais. D'abord, ils ont dû apprendre à l'ordinateur comment voir. Ils ont pris des vidéos de 200 participants (100 hommes et 100 femmes) sautant et ont utilisé un outil appelé MMPose pour trouver le « squelette » de la personne dans la vidéo. C'est comme dessiner un bonhomme allumette sur la personne dans chaque image de la vidéo. Ensuite, ils ont utilisé un autre outil, VideoPose3D, pour élever ce bonhomme allumette dans l'espace 3D, afin que l'ordinateur comprenne la profondeur, et pas seulement une image plate.

Mais voir le squelette ne suffit pas ; l'ordinateur doit savoir à quoi ressemble un bon saut. Ainsi, l'équipe a construit un Modèle d'Action Standard. Imaginez cela comme un saut de « Fantôme Parfait ». Ce fantôme n'a pas de corps, mais il possède un ensemble de règles : « Les genoux doivent être pliés à 80–100 degrés », « L'angle de décollage doit être compris entre 19 et 40 degrés » et « L'atterrissage doit être souple ». Ce fantôme a été créé en combinant des études scientifiques avec les connaissances de véritables experts du sport.

Le Cerveau Léger

Voici maintenant la star du spectacle : le ST-GCN Léger. Dans le monde de l'IA, « GCN » signifie Réseau de Neurones Convolutifs sur Graphe, une façon sophistiquée de dire qu'un cerveau informatique comprend comment les parties du corps sont connectées (comme la façon dont votre genou bouge lorsque votre hanche bouge). Habituellement, ces cerveaux sont énormes, lourds et lents, nécessitant des supercalculateurs puissants pour fonctionner.

Les chercheurs voulaient quelque chose qui puisse fonctionner sur un ordinateur ordinaire, peut-être même un ordinateur portable dans un gymnase d'école. Ils ont donc construit une version légère. Imaginez cela comme le fait de réduire une bibliothèque massive et complexe en un seul carnet parfaitement organisé. Ils ont supprimé les parties inutiles, retiré les mécanismes d'attention complexes (qui sont comme un cerveau essayant de regarder trop de choses à la fois) et simplifié la structure.

Le résultat est un modèle incroyablement petit. Il ne possède que 0,48 million de paramètres (la « mémoire » du cerveau) et nécessite 2,7 GFLOPs de puissance de calcul. Pour mettre cela en perspective, une version standard et lourde de ce cerveau aurait besoin de 3,10 millions de paramètres et de 16,4 GFLOPs. Le nouveau modèle est environ 84,5 % plus petit et beaucoup plus rapide. Il peut analyser un saut en seulement 18,2 millisecondes sur un ordinateur haut de gamme, ou 64,3 millisecondes sur un processeur standard. C'est assez rapide pour donner un retour presque instantané, comme un entraîneur criant des conseils pendant que vous êtes encore en l'air.

Comment il Note et Explique

C'est ici que la magie opère. Le système ne se contente pas de regarder l'ensemble du saut et de deviner un score. Il décompose le saut en trois zones de notation principales : Décollage, Vol et Atterrissage.

1. La Zone de Décollage : Elle comprend la préparation, l'accroupissement et l'explosion. L'IA vérifie si l'athlète a assez plié les genoux et s'il a correctement balancé les bras.
2. La Zone de Vol : C'est le temps passé dans les airs. L'IA vérifie si le corps est resté stable et si les jambes ont été correctement tirées vers l'arrière.
3. La Zone d'Atterrissage : C'est l'impact. L'IA vérifie si les genoux se sont pliés pour amortir la chute et si le corps est resté équilibré.

L'IA donne un score pour chaque zone, puis les combine en un score total. Mais le meilleur aspect est le feedback. Si le score de « Décollage » est bas, le système regarde le modèle du « Fantôme Parfait » et demande : « Qu'est-ce qui était différent ? »

• Les genoux n'ont pas assez plié ? -> Feedback : « Poussée insuffisante. »
• Le saut était trop plat ? -> Feedback : « Angle de décollage trop bas. »
• Les bras sont restés immobiles ? -> Feedback : « Balancement des bras insuffisant. »

Les Résultats : Est-ce que ça fonctionne ?

L'équipe a testé son entraîneur numérique face à trois experts humains. Les résultats sont impressionnants. Les scores de l'IA correspondent aux experts humains avec une corrélation de 0,94 (où 1,0 est une correspondance parfaite). En termes d'erreur, l'IA n'a dépassé que de 0,12 point en moyenne (RMSE), contre 0,33 point pour les experts humains et 0,26 point pour d'autres méthodes informatiques.

Le document suggère que cette méthode est particulièrement efficace pour la phase de décollage, où elle a été la plus constante. Les phases de vol et d'atterrissage ont été légèrement plus difficiles à juger parfaitement, probablement parce que le corps se déplace très vite et que la caméra peut parfois perdre la trace des articulations pendant une fraction de seconde. Cependant, même avec ces petits accrocs, le système était toujours plus précis que les méthodes informatiques traditionnelles et aussi performant que les experts humains.

Les chercheurs ont également comparé leur méthode de « division par phases » (noter les trois parties séparément) à une méthode qui regarde simplement le saut dans son ensemble. La méthode par phases a gagné haut la main. C'est comme noter un test de mathématiques en vérifiant séparément l'addition, la multiplication et la réponse finale, plutôt que de simplement regarder le résultat final. Cette approche a permis à l'IA de repérer de petites erreurs qui auraient été cachées si elle n'avait regardé que le score total.

L'Essentiel

Ce document suggère que nous n'avons pas besoin de laboratoires coûteux pour obtenir des retours de niveau professionnel sur les mouvements sportifs. En combinant un modèle de « Fantôme Parfait » avec un cerveau d'IA minuscule et rapide, nous pouvons transformer une simple vidéo en une séance d'entraînement détaillée. Le système est rapide, précis et, surtout, interprétable — il vous dit pourquoi vous avez obtenu un certain score, et pas seulement quel est le score.

Les auteurs précisent avec prudence que ceci n'est pas un remplacement pour un véritable entraîneur humain ou un laboratoire doté de capteurs de haute technologie. C'est un outil pour les écoles et l'entraînement de base où les ressources sont limitées. Ils admettent également que leur groupe de test était composé principalement de jeunes adultes, il devra donc être testé davantage sur les enfants ou les athlètes plus âgés. Mais pour l'instant, ils ont montré qu'avec un peu d'ingénierie astucieuse, un ordinateur peut apprendre à regarder un saut, comprendre la physique et vous donner un "high-five" ou un léger coup de pouce pour réessayer.