CalTennis: Large Multi-View Tennis Video Dataset and Benchmark of Monocular-to-3D Pose Estimation

Résumé Technique : CalTennis : Grand ensemble de données vidéo de tennis multi-vues et benchmark de l'estimation de la pose 3D à partir de la monoculaire

Énoncé du problème
L'estimation précise de la pose humaine en 3D à partir de vidéos monoculaires est cruciale pour des applications allant de la santé et de l'analyse sportive à la robotique et l'analyse forensique. Cependant, les méthodes de pointe (SOTA) actuelles sont principalement évaluées sur des benchmarks qui reposent sur des systèmes de capture de mouvement (MOCAP) coûteux ou des capteurs corporels (ex. : IMU), ce qui est peu pratique pour un déploiement « dans la nature » (in-the-wild). Les benchmarks existants en conditions réelles manquent de l'échelle, de la diversité de pose et de la cohérence multi-vues nécessaires pour évaluer rigoureusement l'estimation de la profondeur, le contact au sol et la stabilité de la forme du corps. De plus, les modèles actuels généralisent mal aux mouvements athlétiques rapides et techniques, ce qui conduit à des conclusions biomécaniques peu fiables. Il existe un besoin pour un benchmark à grande échelle, sans étiquetage privilégié, qui expose les modes de défaillance invisibles pour les métriques standards, spécifiquement concernant la profondeur à échelle métrique, le contact au sol et la cohérence de la forme du corps.

Méthodologie
Les auteurs introduisent CalTennis, un ensemble de données et un cadre d'évaluation à grande échelle conçu pour évaluer l'estimation de la pose 3D à partir de la monoculaire sans vérité de terrain privilégiée (ex. : MOCAP).

• Collecte de données : L'ensemble de données comprend plus de 11 millions de cadres (51 heures) de pratique et de matchs de tennis impliquant 40 joueurs (niveaux collégial à récréatif). Les vidéos ont été capturées à l'aide de 2 à 6 iPhones grand public synchronisés (60 Hz, 1080p) montés sur des trépieds légers autour de terrains de tennis standards. La configuration utilise la géométrie standardisée des terrains de tennis pour l'étalonnage automatique des caméras.
• Étalonnage et synchronisation : Pour permettre l'évaluation multi-vues, les auteurs ont développé un pipeline pour élever les estimations de pose monoculaires (basées sur SMPL-X) dans un système de coordonnées globales partagé.
  • Étalonnage spatial : Les intrinsèques de la caméra sont extraites des métadonnées ; les extrinsèques sont récupérées en minimisant l'erreur de reprojection par rapport aux intersections des lignes du court.
  • Synchronisation temporelle : Puisque les appareils grand public ne possèdent pas de horodatages synchronisés, un décalage global ($\Delta t$) est optimisé via une recherche par grille pour minimiser le désaccord entre les vues.
  • Fusion : Une estimation de maximum de vraisemblance (MLE) est utilisée pour fusionner les prédictions multi-vues, en tenant compte de la covariance allongée des erreurs de profondeur dans la reconstruction monoculaire.
• Cadre d'évaluation : L'innovation centrale est un protocole d'évaluation sans étiquette où la cohérence multi-vues sert de limite inférieure de l'erreur. Si une reconstruction est correcte, elle doit être cohérente entre toutes les vues. Le désaccord entre les vues indique une erreur du modèle.
• Métriques inédites : Au-delà des métriques standards (MPJPE, PA-MPJPE), le papier introduit :
  • Footwork (Travail des pieds) : Mesure l'accord entre les vues concernant les vitesses et les hauteurs des articulations des pieds pour détecter le « patinage des pieds » (pieds flottants).
  • Stabilité : Mesure la cohérence du centre de masse par rapport à l'enveloppe convexe du pied ancré au sol à travers les vues.
  • Cohérence de la forme du corps : Évalue la variance des paramètres de forme SMPL-X ($\beta$) à travers les vues et les modèles.

Contributions clés

1. Ensemble de données CalTennis : Le premier ensemble de données vidéo multi-vues à grande échelle de mouvements athlétiques non scriptés dans des environnements naturels. Il est 10 fois plus grand que les précédents benchmarks en conditions réelles et 3 fois plus grand que le plus grand ensemble de données MOCAP (Human3.6M), avec une variabilité de profondeur et une couverture de pose nettement supérieures (13,4–16,7 m contre 4,5–5,8 m).
2. Méthodologie d'évaluation sans étiquette : Un cadre qui utilise le désaccord multi-vues comme un signal d'erreur direct, éliminant le besoin d'annotations de vérité de terrain coûteuses.
3. Benchmarking complet : Une évaluation approfondie de cinq estimateurs de pose 3D monoculaires SOTA (PromptHMR, WHAM, GVHMR, TRAM, GENMO) sur des mouvements athlétiques réels.
4. Protocole de collecte de données : Une recette simple et peu coûteuse utilisant des téléphones grand public et des trépieds, conçue pour être reproductible par d'autres équipes afin d'élargir la diversité.

Résultats
Le benchmarking des modèles SOTA sur CalTennis révèle des écarts de performance significatifs par rapport aux précédents benchmarks :

• Instabilité de la profondeur et de la translation : Bien que la récupération des angles articulaires soit souvent précise (erreur d'environ 11 cm), les estimations de profondeur à échelle métrique sont hautement instables. Les erreurs de translation varient de 0,9 m à 3,6 m, provoquant une « dérive de pose » et des oscillations irréalistes de la position du corps.
• Contact au sol incohérent : Les modèles peinent à détecter de manière cohérente le contact pied-sol. WHAM présente la meilleure cohérence de la vitesse des pieds (0,72 m/s) mais une faible précision de translation, tandis que d'autres présentent un « patinage des pieds » important.
• Incohérence de la forme du corps : Les modèles produisent des formes corporelles (taille, longueur des membres) incohérentes selon les différentes vues. PromptHMR obtient la plus haute cohérence de forme, probablement grâce au conditionnement sur les boîtes englobantes 2D, mais des divergences subsistent.
• Compromis entre modèles : Aucun modèle ne domine tous les indicateurs. PromptHMR est en tête pour la cohérence de la translation et de la pose mais est le plus lent ; WHAM excelle dans le contact au sol mais échoue dans la trajectoire globale ; GENMO est le plus cohérent en interne pour la forme et la stabilité.
• Modes de défaillance : L'analyse montre que les schémas de défaillance sont largement spécifiques aux modèles plutôt qu'aux scènes. La profondeur et la distance de la caméra sont les prédicteurs les plus forts d'échec pour les modèles basés sur la géométrie (GVHMR, GENMO), tandis que d'autres modèles échouent de manière stochastique.

Signification
Le papier affirme que CalTennis expose les limitations critiques des estimations de pose 3D monoculaires actuelles, qui sont masquées par les benchmarks existants. Les résultats suggèrent que si les modèles sont suffisants pour des tâches reposant sur la configuration corporelle relative (ex. : reconnaissance d'activité, analyse grossière de la technique), ils restent peu fiables pour des applications exigeant une précision métrique absolue, telles que la biomécanique clinique, l'estimation des forces ou la mesure de la foulée forensique.

La portée de ce travail réside dans son passage de « l'exactitude sur des données contrôlées » à la « cohérence dans la nature ». En fournissant une méthode évolable et à faible coût pour générer des données multi-vues ainsi qu'un cadre d'évaluation sans étiquette, les auteurs visent à guider le domaine vers une précision de niveau applicatif. L'ensemble de données et le protocole sont publiés pour permettre à la communauté de construire la prochaine génération de benchmarks en conditions réelles à travers les domaines du sport, de la clinique et de l'activité quotidienne. Les auteurs notent modestement que si le désaccord multi-vues fournit une limite inférieure de l'erreur, il complète plutôt qu'il ne remplace la validation absolue par MOCAP, et que le protocole « facile à collecter » nécessite une vérification supplémentaire par la reproduction par d'autres équipes.