💻 informatique

Automatic dance movement quality assessment via spatiotemporal skeletal representation learning

Cet article propose RSDQ-Net, un réseau spatiotemporel sensible à la référence qui unifie des données de danse hétérogènes en un squelette canonique afin de modéliser séparément l'exécution spatiale et les déviations de phase temporelle, atteignant ainsi des performances de l'état de l'art dans l'évaluation automatique de la qualité du mouvement de danse sur plusieurs ensembles de données.

Auteurs originaux : Zhen Ji, Panpan Wang

Publié 2026-10-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen Ji, Panpan Wang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la vision par ordinateur, les machines sont devenues remarquablement douées pour reconnaître ce qu'une personne est en train de faire. Elles peuvent regarder une vidéo et faire la différence entre quelqu'un qui saute, court ou agite la main. Cette capacité repose sur le suivi des positions des articulations du corps, créant un squelette numérique qui se déplace à travers le temps. Cependant, reconnaître une action est différent de juger la qualité de son exécution. Un ordinateur peut savoir qu'une personne tente un mouvement spécifique, mais il peine à comprendre les différences subtiles entre une tentative maladroite et une exécution magistrale. Cet écart est particulièrement important dans des domaines comme la danse, où la qualité d'une performance dépend de la précision du rythme, de l'alignement du corps et de la coordination des membres qui sont éloignés les uns des autres. Pendant des décennies, les experts ont été les seuls capables de faire ces distinctions fines, un processus lent, subjectif et difficile à généraliser.

Une équipe de chercheurs a développé une nouvelle méthode pour aider les ordinateurs à juger la qualité du mouvement humain en comparant la performance d'un apprenant à un exemple de référence. Leur approche, détaillée dans une étude récente, va au-delà de la simple reconnaissance pour se concentrer sur les erreurs spécifiques de rythme et de posture qui séparent un débutant d'un expert. En apprenant à un ordinateur à rechercher des écarts à la fois dans l'espace et dans le temps, le système peut fournir une évaluation cohérente et objective de la qualité du mouvement. Ce travail suggère que les machines peuvent apprendre à comprendre les nuances de la performance humaine, offrant un outil potentiel pour l'entraînement et l'évaluation qui ne dépend pas de la présence constante d'un enseignant humain.

Les chercheurs ont construit un système conçu pour comparer deux corps en mouvement : une performance cible, telle qu'un étudiant pratiquant une routine, et une performance de référence, qui est un exemple de haute qualité du même mouvement. Le défi central auquel ils ont été confrontés était que les personnes bougent à des vitesses différentes et ont des proportions corporelles différentes. Si un ordinateur se contente d'une comparaison image par image, il pourrait confondre un léger retard de rythme avec une erreur dans le mouvement lui-même. Pour résoudre cela, le système convertit d'abord tous les mouvements en un squelette numérique standard comprenant dix-neuf points clés, couvrant la tête, le torse et les membres. Cela permet à l'ordinateur d'ignorer les différences de taille ou de vêtements pour se concentrer purement sur la géométrie du mouvement.

Une fois les mouvements standardisés, le système utilise un mécanisme ingénieux pour aligner la performance de l'étudiant sur celle de l'expert. Au lieu de forcer une correspondance rigide, seconde par seconde, l'ordinateur apprend à trouver les moments les plus probables de correspondance entre les deux séquences. Il comprend qu'un étudiant peut atteindre une pose une fraction de seconde plus tard que l'expert, ou la maintenir pendant une durée légèrement différente. Crucialement, le système ne se contente pas de lisser ces différences pour que les deux se ressemblent. Il traite le décalage temporel comme un type de donnée spécifique. L'ordinateur sépare les erreurs en deux catégories : la déviation spatiale, qui mesure la distance entre les parties du corps et leurs positions correctes, et la déviation temporelle, qui mesure l'écart de rythme. En gardant ces deux types d'erreurs distincts, le système peut dire si un étudiant lutte avec son équilibre ou avec son rythme, plutôt que de donner simplement un score unique et vague.

Les chercheurs ont testé ce système sur trois collections différentes de données de mouvement, chacune ayant sa propre façon de définir la qualité. Un ensemble de données contenait des vidéos de personnes exécutant divers styles de danse, que le système a utilisé pour apprendre la structure de base du mouvement humain. Un autre ensemble comprenait des enregistrements de débutants, d'intermédiaires et d'experts exécutant les mêmes routines, permettant au système d'apprendre l'ordre des niveaux de compétence. Un troisième ensemble impliquait des vidéos du monde réel où des humains avaient déjà classé des paires de performances pour décider laquelle était la meilleure. Le système a été entraîné pour prédire ces classements et ces niveaux de compétence sans jamais être informé d'un score numérique spécifique pour une performance donnée. Il a appris qu'une performance « meilleure » est simplement une qui est plus proche de la référence tant en termes de rythme que de posture, et que ces qualités suivent un ordre logique.

Les résultats ont montré que le système était très efficace pour distinguer les différents niveaux de compétence. Lorsqu'il a été testé sur l'ensemble de données comprenant des débutants, des intermédiaires et des experts, le système a correctement identifié le niveau de compétence d'une performance environ quatre-vingt-un pour cent du temps. Cela représentait une amélioration significative par rapport aux méthodes précédentes, qui peinaient souvent à faire la différence entre un novice et un performeur de niveau intermédiaire. Dans les tests où le système devait choisir la meilleure performance entre deux options, il est tombé d'accord avec les juges humains plus de quatre-vingt-un pour cent du temps. Les chercheurs ont découvert que la capacité du système à apprendre de l'exemple de référence était le facteur clé ; lorsqu'ils ont supprimé la capacité de comparer par rapport à un standard, les performances du système ont nettement chuté. De même, lorsqu'ils ont forcé le système à ignorer les différences de rythme pour se concentrer uniquement sur les positions du corps, sa précision a souffert, prouvant que ces deux éléments sont essentiels pour une véritable évaluation.

L'étude a également exploré la robustesse du système lorsque les données d'entrée sont imparfaites. Dans des scénarios réels, les caméras peuvent manquer une articulation, ou la vidéo peut être légèrement tremblante. Les chercheurs ont testé le système en ajoutant artificiellement du bruit aux données et en cachant certaines parties du squelette. Même dans ces conditions difficiles, le système a maintenu un avantage clair sur les anciennes méthodes. Cette résilience provient de la manière dont le système utilise la relation entre les différentes parties du corps. Si l'ordinateur ne voit pas clairement une main, il peut toujours déduire sa position probable en se basant sur le mouvement du bras et du reste du corps. La comparaison basée sur la référence aide également, car le système évalue le mouvement de l'étudiant dans le contexte de la séquence complète de l'expert, plutôt que de juger des images isolées dans le vide.

Bien que le système soit très prometteur, les chercheurs veillent à noter ses limites. Il est conçu pour évaluer l'exécution technique d'un mouvement par rapport à une référence spécifique, et non pour juger l'expression artistique, la musicalité ou l'impact émotionnel. Le système ne remplace pas un professeur humain, mais offre un moyen de fournir un retour immédiat et cohérent sur les aspects mécaniques de la performance. Il peut dire à un étudiant s'il est désynchronisé ou si sa posture est incorrecte, mais il ne peut pas expliquer l'intention artistique derrière un mouvement. Les chercheurs suggèrent que cet outil pourrait être particulièrement utile pour l'auto-entraînement ou l'instruction à distance, où un apprenant peut pratiquer une routine et recevoir une analyse objective de son rythme et de son alignement.

Ce travail représente un changement dans la manière dont les machines comprennent le mouvement humain. Au lieu de simplement demander « que fait cette personne ? », le système demande « comment le fait-elle ? ». En décomposant le problème en déviations spatiales et temporelles et en apprenant d'un exemple standard, les chercheurs ont créé un modèle qui capture les nuances entre une bonne performance et une grande performance. Les conclusions suggèrent qu'avec la bonne approche, les ordinateurs peuvent apprendre à apprécier la précision de la compétence humaine, ouvrant la porte à de nouvelles formes de feedback automatisé et d'entraînement qui soient à la fois évolutifs et profondément adaptés aux détails du mouvement humain.

Résumé Technique : Évaluation Automatique de la Qualité du Mouvement de Danse via l'Apprentissage de Représentation Squelettique Spatiotemporelle

1. Définition du Problème

Le document traite du défi de l'évaluation automatique de la qualité du mouvement de danse, en le distinguant de la reconnaissance d'actions standard. Alors que la reconnaissance d'actions se concentre sur l'identification de ce que le mouvement exécute, l'évaluation de la qualité doit évaluer comment il est exécuté. Cela nécessite des modèles sensibles aux variations dépendantes de l'exécution (ex. : configuration des articulations, synchronisation, amplitude, coordination) tout en restant robustes aux différences de chorégraphie, d'identité du performeur et de méthodes d'acquisition de données.

Une difficulté majeure réside dans l'hétérogénéité de la supervision à travers les jeux de données publics :

ImperialDance fournit des étiquettes catégorielles ordonnées (Débutant < Intermédiaire < Expert) mais pas de scores continus.
CDRG-UNIMAS-TIKTOK fournit des préférences humaines par paires (Performance $i$ > Performance $j$ ) sans classements absolus.
AIST++ offre des données de mouvement 3D de haute qualité mais manque d'annotations de qualité, servant principalement à l'apprentissage de la représentation.

Les méthodes existantes échouent souvent car elles suppriment soit la variation intra-classe (en la traitant comme du bruit), soit elles reposent sur des alignements temporels fixes (ex. : Dynamic Time Warping) qui peuvent involontairement supprimer des erreurs de synchronisation significatives relatives à la qualité. De plus, de nombreuses approches ne séparent pas explicitement les erreurs d'exécution spatiales des déviations de phase temporelles.

2. Méthodologie : RSDQ-Net

Les auteurs proposent le Reference-Aware Spatiotemporal Deviation Quality Network (RSDQ-Net). Le cadre opère sur une représentation squelettique canonique unifiée à 19 nœuds dérivée de sources hétérogènes (SMPL, capture de mouvement et vidéo RGB reconstruite).

2.1 Représentation Canonique

Tous les séquences d'entrée sont projetées sur une topologie partagée à 19 nœuds (couvrant le tronc, les membres supérieurs et inférieurs). Chaque nœud est représenté par un vecteur de caractéristiques de 10 dimensions comprenant :

Position normalisée ( $P_{t,v}$ )
Déplacement temporel ( $V_{t,v}$ )
Vecteur osseux anatomique ( $B_{t,v}$ )
Confiance d'observation ( $C_{t,v}$ )
Une trajectoire globale et une normalisation spatiale (centrée sur la racine, invariante à l'échelle) sont appliquées pour assurer la cohérence entre les jeux de données.

2.2 Encodeur Spatiotemporel Sensible aux Relations

L'encodeur utilise une architecture basée sur les graphes partagés pour traiter les mouvements cibles ( $X_s$ ) et de référence ( $X_r$ ). Il modélise deux relations complémentaires :

Relations Anatomiques : Basées sur la connectivité squelettique physique.
Relations de Coordination : Connectant des régions non locales mais fonctionnellement liées (ex. : membres bilatéraux).
L'encodeur emploie une propagation de graphe sensible aux relations suivie de convolutions temporelles multi-échelles (facteurs de dilatation $\{1, 2, 4\}$ ) et d'une couche d'auto-attention temporelle pour capturer à la fois les transitions locales et les dépendances à longue portée.

2.3 Alignement de Phase Conditionné par la Référence

Au lieu d'une comparaison cadre à cadre rigide, RSDQ-Net apprend une correspondance douce entre les phases de la cible et de la référence.

Mécanisme : Une matrice de poids d'alignement apprenable est calculée à l'aide d'un mécanisme d'attention par produit scalaire mis à l'échelle, contraint par un prior de phase temporelle. Ce prior pénalise les transitions de phase vers l'arrière et les changements abrupts, garantissant que l'alignement respecte le flux temporel de la chorégraphie.
Résultat : Cela établit une correspondance cible-référence "douce" qui permet le déplacement temporel (différences de vitesse) tout en identifiant des phases de mouvement sémantiquement équivalentes.

2.4 Modélisation de la Déviation Spatiotemporelle

Crucialement, le modèle sépare les déviations en deux composantes distinctes plutôt que de les condenser en un seul score de similitude :

Déviation Spatiale ( $D_{spa}$ ) : La différence entre les caractéristiques des nœuds cibles et les caractéristiques des nœuds de référence alignés, capturant les erreurs de posture et de configuration.
Déviation Temporelle ( $d_{temp}$ ) : Le déplacement de la phase de référence attendue par rapport à la phase cible, capturant les erreurs de synchronisation (accélération/retard).
Ces caractéristiques sont agrégées en représentations régionales et globales pour former une variable latente sensible à la qualité ( $Z_q$ ).

2.5 Apprentissage de Qualité Cohérent avec l'Ordre

Pour gérer la supervision hétérogène, le modèle projette la variable latente $Z_q$ vers un score de qualité scalaire $q$ .

Calibration : Une fonction de calibration monotone ( $q_d = a_d q + b_d$ ) adapte l'espace latent aux distributions spécifiques des jeux de données sans inverser l'ordre.
ImperialDance : Utilise des probabilités ordinales cumulatives pour modéliser les seuils ordonnés entre Débutant, Intermédiaire et Expert.
CDRG : Utilise une perte de classement par paires pour modéliser les préférences relatives ( $Q_i > Q_j$ ).
Les deux objectifs contraignent la même variable de qualité latente, évitant ainsi le besoin d'une échelle de score absolue artificielle.

2.6 Stratégie d'Entraînement

Le modèle est entraîné en deux étapes :

Étape I (Pré-entraînement) : L'encodeur est initialisé sur AIST++ via la reconnaissance de genres de danse pour apprendre des représentations de mouvement spécifiques à la danse.
Étape II (Apprentissage de la Qualité) : Le cadre complet est optimisé en utilisant des mini-lots alternés provenant d'ImperialDance et de CDRG, apprenant conjointement l'alignement, la modélisation de la déviation et la cartographie de la qualité cohérente avec l'ordre.

3. Contributions Clés

Alignement de Phase Apprenable : Un mécanisme conditionné par la référence qui établit une correspondance douce cible-référence sous un prior de phase temporelle, préservant la déviation temporelle comme un signal de qualité plutôt que de l'éliminer.
Modélisation Explicite de la Déviation : Une stratégie pour modéliser séparément les erreurs d'exécution spatiales et les déviations de phase temporelle, reconnaissant que des erreurs visuellement similaires peuvent provenir de mécanismes sous-jacents différents.
Apprentissage Cohérent avec l'Ordre : Un cadre unifié qui intègre les étiquettes d'expertise ordinales et les classements humains par paires dans un espace de qualité latent partagé sans construire de score continu artificiel.
Évaluation Transversale des Jeux de Données : Un cadre d'évaluation complet à travers AIST++, ImperialDance et CDRG-UNIMAS-TIKTOK, testant l'apprentissage de représentation, l'évaluation de chorégraphies non vues et le classement indépendant du sujet.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données avec des protocoles complémentaires :

Apprentissage de Représentation (AIST++) : L'encodeur RSDQ a atteint une précision de 93,6 % et un Macro-F1 de 93,3 %, surpassant des bases solides comme ST-GCN, 2s-AGCN et HD-GCN. Cela confirme l'efficacité de l'encodage sensible aux relations pour le mouvement spécifique à la danse.
Évaluation Ordinale (ImperialDance) : Sous un protocole de chorégraphie disjoint, RSDQ-Net a obtenu un QWK de 0,814 et un MAE Ordinal de 0,207. Cela représente une amélioration significative par rapport à la base la plus forte (2T-GCN, QWK 0,755), avec une réduction relative de l'erreur ordinale d'environ 20,7 %.
Classement par Paires (CDRG) : Sous un protocole de sujet disjoint, RSDQ-Net a atteint une Précision par Paire de 81,4 % et un Kendall $\tau_b$ de 0,638, surpassant la meilleure base (CTR-GCN + RankNet) de 4,6 points de pourcentage en précision.
Études d'Ablation : Le retrait de n'importe quel composant central (pré-entraînement, graphe de coordination, alignement de référence ou apprentissage cohérent avec l'ordre) a entraîné une dégradation des performances. Notamment, le retrait de l'alignement de référence a causé la chute la plus importante (le QWK est tombé à 0,724), validant la nécessité d'une correspondance de phase apprenable.
Robustesse : Le modèle a démontré une stabilité supérieure face au bruit de coordonnées, aux articulations manquantes et aux perturbations de vitesse temporelle par rapport aux bases, grâce au contexte structurel complémentaire de l'encodeur sensible aux relations et au mécanisme d'alignement doux.

5. Signification et Revendications

L'article affirme que RSDQ-Net fournit une formulation plus interprétable et plus efficace pour l'évaluation de la qualité de la danse en la traitant comme un problème de déviation d'exécution conditionnée par la référence plutôt que comme une tâche de classification standard.

Impact Méthodologique : L'étude démontre que la séparation des déviations spatiales et temporelles et l'utilisation de l'apprentissage cohérent avec l'ordre permettent aux modèles de généraliser à travers divers types de supervision hétérogène (ordinale vs par paires) sans nécess avoir besoin d'une échelle de score absolue unifiée.
Application Pratique : Le cadre est positionné comme un outil pour l'entraînement et l'évaluation de la danse guidés par la référence. Il peut fournir aux apprenants des estimations de qualité relatives et des retours spécifiques sur la configuration spatiale ou les erreurs de synchronisation par rapport à une démonstration professionnelle.
Limites : Les auteurs notent modestement que le système évalue la qualité de l'exécution squelettique et ne capture pas l'expression artistique, la synchronisation musicale ou l'intention stylistique. De plus, la dépendance à la reconstruction 3D pour le jeu de données CDRG introduit une incertitude potentielle concernant les erreurs de récupération de pose.

Le travail conclut que l'apprentissage de représentation squelettique sensible à la référence, combiné à une modélisation explicite de la déviation et à une supervision cohérente avec l'ordre, offre une base robuste pour une évaluation automatisée et scalable du mouvement de danse.