🤖 AI

BadmintonGRF: A Multimodal Dataset and Benchmark for Markerless Ground Reaction Force Estimation in Badminton

Cet article présente BadmintonGRF, un jeu de données et une référence multimodaux comportant des vidéos multi-vues synchronisées à haute fréquence d'images et des données de forces de réaction au sol instrumentées provenant de 10 sujets, conçus pour faire progresser l'estimation de charges sans marqueurs au badminton grâce à des segments d'impact sélectionnés, des métadonnées alignées dans le temps et des évaluations de référence complètes.

Auteurs originaux : Kuoye Niu, Jianwei Li, Shengze Cai, Yong Ma, Mengyao Jia, Lishun Shen, Zhenheng Zhang, Yuxin Peng, Xian Song

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kuoye Niu, Jianwei Li, Shengze Cai, Yong Ma, Mengyao Jia, Lishun Shen, Zhenheng Zhang, Yuxin Peng, Xian Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à comprendre exactement avec quelle force un joueur de badminton frappe le sol à chaque fois qu'il saute et atterrit. Habituellement, pour obtenir ces informations, il faut que le joueur se tienne sur des balances spéciales, coûteuses et de qualité laboratoire (appelées plateformes de force) tout en portant des capteurs. C'est idéal pour un laboratoire scientifique, mais impossible à réaliser lors d'un vrai match rapide ou d'une séance d'entraînement ordinaire.

Ce papier présente BadmintonGRF, un nouveau « manuel d'entraînement » pour ordinateurs qui résout ce problème. Il s'agit d'une vaste collection de données qui apprend à l'IA à deviner ces forces au sol simplement en regardant une vidéo, sans avoir besoin de capteurs sur le corps du joueur.

Voici une répartition de ce qu'ils ont fait, en utilisant quelques analogies du quotidien :

1. L'énigme du « voyage dans le temps » (Synchronisation)

Dans un vrai laboratoire, les caméras vidéo et les balances au sol fonctionnent généralement sur la même horloge exacte. Mais dans ce projet, les chercheurs ont utilisé huit caméras grand public haute vitesse régulières (comme celles de votre téléphone ou d'un GoPro) parallèlement aux balances de laboratoire.

Le Problème : Ces caméras ne partagent pas la même horloge. L'une peut être une fraction de seconde plus rapide que l'autre. C'est comme essayer de diriger un orchestre où le batteur et le violoniste écoutent des métronomes différents.
La Solution : L'équipe a construit un système pour aligner manuellement et automatiquement la vidéo et les données de force. Ils l'ont traité comme un puzzle, en trouvant des moments spécifiques (comme un pied frappant le sol) pour synchroniser parfaitement les deux flux. Ils ont même ajouté un « score de confiance » pour indiquer aux utilisateurs à quel point ils sont sûrs du timing.

2. La bibliothèque à « deux niveaux » (L'ensemble de données)

Pour protéger la vie privée des athlètes tout en aidant les scientifiques, les données sont divisées en deux « niveaux », comme une bibliothèque avec une salle de lecture publique et des archives restreintes :

Niveau 1 (La salle de lecture publique) : C'est ce que tout le monde peut télécharger gratuitement. Il contient le « squelette » des joueurs (où se trouvent leurs articulations dans la vidéo) et les chiffres de force au sol. C'est comme donner à quelqu'un une animation en bâtonnets et les données, mais pas les séquences vidéo réelles. Cela suffit pour entraîner des modèles d'IA à prédire les forces.
Niveau 2 (Les archives restreintes) : Il contient la vidéo brute haute définition et les données complètes de capture de mouvement en 3D. Vous ne pouvez l'obtenir que si vous demandez l'autorisation. C'est destiné aux chercheurs qui doivent étudier l'apparence réelle ou les vêtements des joueurs, et non pas seulement leurs mouvements.

3. Le « test de résistance » (La référence)

Les chercheurs n'ont pas simplement déversé les données ; ils ont créé un test strict pour voir à quel point différents modèles d'IA performent.

Le Défi : Ils ont utilisé une méthode « Laisser-Un-Sujet-De-Côté ». Imaginez que vous enseignez le badminton à un étudiant avec neuf joueurs différents, puis que vous le testez sur le dixième joueur qu'il n'a jamais vu auparavant. Cela teste si l'IA a vraiment appris la physique du badminton, ou si elle a simplement mémorisé les mouvements spécifiques d'une seule personne.
Les Résultats : Ils ont testé 10 « cerveaux » d'IA (modèles) différents. Les meilleurs pouvaient prédire la force verticale avec environ 40 % de précision (mesurée par un score statistique appelé $r^2$ ). Bien que ce ne soit pas parfait, c'est un bon départ pour un sport aussi chaotique et rapide que le badminton.

4. Pourquoi le badminton ?

La plupart des études précédentes portaient sur la marche ou le saut en ligne droite (comme sur un tapis roulant). Le badminton est différent ; c'est un sport « stop-and-go » avec des arrêts soudains, des virages serrés et des atterrissages lourds.

L'Analogie : Si les ensembles de données précédents étaient comme une recette pour cuire un pain simple, BadmintonGRF est comme une recette pour un gâteau complexe à plusieurs étages qui nécessite un timing précis et des changements de température. Il capture le stress réel et désordonné exercé sur les jambes d'un joueur.

Ce que cela signifie réellement (Basé strictement sur le papier)

C'est une ressource, pas une baguette magique : Le papier souligne qu'il s'agit d'un outil pour les chercheurs. Il fournit les données, le code pour les charger et les règles pour les tests.
Il comble une lacune spécifique : Avant cela, il n'existait aucun ensemble de données public combinant vidéo haute vitesse, mesures de force de qualité laboratoire et mouvements spécifiques au badminton d'une manière permettant aux chercheurs de comparer facilement leurs résultats.
Il s'agit d'estimation « sans marqueurs » : L'objectif est de permettre éventuellement aux entraîneurs ou aux joueurs d'utiliser simplement une caméra vidéo pour estimer la contrainte subie par leurs jambes, sans avoir besoin d'une installation de laboratoire de 50 000 $.

En bref, BadmintonGRF est un « terrain d'entraînement » soigneusement organisé et de haute qualité qui permet aux ordinateurs d'apprendre la relation entre les mouvements vidéo d'un joueur de badminton et les forces invisibles frappant le sol, tout en protégeant l'identité des athlètes.

Résumé Technique : BadmintonGRF

Énoncé du Problème

Une estimation précise des forces de réaction au sol (GRF) est cruciale pour surveiller la charge de travail, analyser la fatigue et évaluer les risques de blessures des membres inférieurs dans le sport. Bien que l'estimation sans marqueurs (déduisant les GRF à partir de la vidéo ou de la pose) progresse, elle manque actuellement de validation robuste dans les sports de terrain non périodiques et à haute intensité comme le badminton. Les ressources existantes se concentrent principalement sur la marche périodique ou des sauts scriptés, échouant à capturer la foulée irrégulière et à fort impact caractéristique du jeu compétitif. De plus, il existe une pénurie de jeux de données publics associant des GRF instrumentées de qualité laboratoire à des vidéos multi-vues à haute fréquence d'images, en particulier lorsque la vidéo et les capteurs de force ne sont pas synchronisés matériellement (genlocked). Cette lacune limite le développement de modèles d'estimation de charge sans marqueurs pour des environnements d'entraînement réalistes.

Méthodologie et Construction du Jeu de Données

Le jeu de données BadmintonGRF comble ces lacunes grâce à une chaîne de capture multimodale de niveau étude impliquant 17 athlètes de badminton compétitifs (deuxième niveau national ou supérieur).

Acquisition des Données

Capteurs : La configuration comprend huit caméras RGB fixes (DJI Osmo Action 4, ~120 FPS), quatre plates-formes de force Kistler à six axes, et un système de capture de mouvement Vicon à huit caméras (exporté en C3D).
Défi de Synchronisation : Contrairement aux configurations de laboratoire traditionnelles, les caméras RGB grand public fonctionnent sur des oscillateurs indépendants sans genlock matériel vers la base de temps du laboratoire.
Solution d'Alignement : Les auteurs ont développé une chaîne d'alignement basée sur le logiciel. Cela implique :
1. Événements Vérifiés par l'Humain : Des annotateurs appariennent des pics GRF saillants avec des événements vidéo pour estimer les décalages temporels par caméra.
2. Contrôle Qualité Automatisé : Une chaîne vérifie la cohérence des décalages et signale les anomalies (5,2 % des essais ont nécessité une réconciliation manuelle).
3. Métadonnées d'Incertitude : Les métadonnées publiées incluent les décalages et les valeurs d'incertitude dérivées.
Protocole : Les athlètes ont effectué des exercices structurés et des échanges de jeu sous des conditions de fraîcheur et de fatigue induite. Le protocole alterne entre des échanges de jeu et des modules spécifiques de foulée (filet supérieur, orienté smash, réactions à six points).

Traitement et Segmentation des Données

Vérité Terrain : La GRF de référence est agrégée à partir des quatre plates-formes, la force verticale ( $F_z$ ) servant de cible principale de supervision en raison de sa prédominance dans les substituts de blessures.
Segmentation : La chaîne détecte les pics d'atterrissage dans le signal $F_z$ aligné et découpe des fenêtres symétriques de $\pm0,5$ seconde (environ 120 images).
Filtres de Qualité : Un chargeur de référence filtre les instances basées sur :
- Un score moyen de pose du membre inférieur $\ge 0,70$ .
- Un taux de perte de suivi $\le 0,05$ .
- Un pic $F_z$ inférieur à trois fois le poids corporel.
- Masquage des scores faibles et assainissement par différences finies.

Conception du Benchmark

Le jeu de données est publié en deux niveaux pour équilibrer l'utilité et la confidentialité :

Niveau 1 (Public) : Contient les données de pose alignées temporellement, les GRF traitées, les métadonnées et des partitions prédéfinies sous licence CC BY-NC 4.0. Ce niveau prend en charge le benchmark principal sans nécessiter les fichiers vidéo bruts ou C3D.
Niveau 2 (Accès Contrôlé) : Fournit les données RGB brutes et C3D pour les études nécessitant une analyse d'apparence ou une cinématique complète.

Le benchmark utilise un protocole Leave-One-Subject-Out (LOSO) pour évaluer la généralisation inter-sujets, une métrique cruciale pour l'applicabilité réelle.

Contributions Clés

Capture Multimodale de Niveau Étude : La première publication publique, à la connaissance des auteurs, combinant huit vues RGB à ~120 FPS, quatre plates-formes de force Kistler et Vicon C3D pour des impacts de badminton non périodiques, complète avec des balises de protocole conscientes de la fatigue.
Alignement Logiciel sans Genlock : Une chaîne robuste « humain dans la boucle » atteignant un alignement au niveau de l'image entre le RGB grand public et la détection de laboratoire, complète avec un contrôle qualité automatisé et des métadonnées d'incertitude.
Benchmark Emballé : Une version curated de 17 425 segments d'impact (12 867 après les filtres de qualité ; 1 732 impacts uniques) avec des partitions et des chargeurs déterministes.
Évaluation Transparente : Un protocole LOSO fixe, quatre métriques complémentaires ( $r^2$ , RMSE, erreur de magnitude de pic, erreur de timing de pic) et dix références de base documentées pour minimiser la variance d'implémentation.

Résultats et Performance du Benchmark

L'article évalue dix architectures de référence (incluant des réseaux de convolution temporelle, des Transformers et des réseaux de neurones graphiques) sur le benchmark du Niveau 1.

Plafond de Performance : Les modèles les plus performants (PatchTST et ST-GCN+Transformer) atteignent un $r^2$ d'environ 0,40 dans le cadre LOSO mono-vue.
Facteurs Dominants : L'analyse indique que la variabilité biomécanique inter-sujets est la principale source d'erreur, dominant le bruit de synchronisation résiduel. Des tests de stress temporels synthétiques ont montré qu'un décalage d'une image réduit le $r^2$ d'environ 0,05, tandis que des sujets tenus à l'écart induisent des variations >0,15.
Compromis de Métriques :
- PatchTST domine en ajustement de courbe ( $r^2$ ) et RMSE.
- ST-GCN+Transformer domine en précision de magnitude et de timing de pic, probablement dû à sa structure de graphe explicite gérant les transitoires d'atterrissage courts.
- Fusion Tardive : Combiner les prédictions multi-vues peut améliorer le $r^2$ (par exemple, TSMixer atteignant 0,472) mais dégrade souvent les métriques de pic si les prédictions par vue entrent en conflit.
Performance au sein de l'Essai : Lorsque les sujets sont vus pendant l'entraînement (cadre Within-trial), le $r^2$ s'améliore à ~0,60, confirmant que le plafond actuel LOSO est piloté par les défis de transfert de sujet plutôt que par des problèmes d'alignement.

Signification et Revendications

Les auteurs positionnent BadmintonGRF comme une ressource nécessaire pour combler le fossé entre la biomécanique de laboratoire contrôlée et l'entraînement sportif non contraint.

Reproductibilité : L'article souligne que la valeur de la ressource réside dans son caractère « audité » — fournissant des protocoles d'alignement explicites, des scripts de contrôle qualité et des chargeurs déterministes permettant aux chercheurs de reproduire les résultats sans choix de prétraitement cachés.
Pertinence Multimédia : Au-delà de la science du sport, le jeu de données sert de test de stress pour la recherche multimédia concernant les horloges hétérogènes, la modélisation de la dynamique à partir de poses occluses et les décalages de domaine entre le laboratoire et les lieux d'entraînement.
Revendications Modestes : Les auteurs déclarent explicitement que les modèles de référence servent de « ancres de reproductibilité » plutôt que de revendications de performances de pointe. Ils reconnaissent que le plafond de performance actuel est limité par la variabilité des sujets et que les gains futurs nécessiteront probablement des objectifs conscients du sujet ou conditionnés par les métadonnées plutôt que de nouveaux ajustements d'alignement.
Accessibilité : En fournissant un jeu de données de Niveau 1 avec des données de pose respectant la vie privée, les auteurs visent à abaisser la barrière à l'entrée pour les chercheurs intéressés par l'estimation de la force à partir de la pose, sans avoir besoin d'accéder à des vidéos brutes restreintes ou à des installations de laboratoire coûteuses.