Résumé technique : TT4D – Une pipeline et un jeu de données pour la reconstruction 4D du tennis de table à partir de vidéos monoculaires

1. Énoncé du problème

La reconstruction du jeu de tennis de table en 4D (paramètres de la caméra, positions 3D de la balle, effet de la balle et maillages 3D humains) à partir de vidéos de diffusion monoculaires à vue générale présente des défis majeurs. Ce sport se caractérise par des vitesses élevées, de petites tailles d'objets, des occlusions fréquentes par les joueurs et un flou de mouvement.

Le goulot d'étranglement principal des pipelines de reconstruction existants est le découpage temporel. Les méthodes traditionnelles (par exemple, TT3D, LATTE-MV) reposent sur un « Pipeline traditionnel » : elles tentent d'abord de partitionner une vidéo continue en segments de tir individuels basés sur des trajectoires 2D de balle, puis ensuite élèvent ces segments en 3D. Cette approche 2D-first est fragile ; les trajectoires 2D de la balle sont fréquemment interrompues par des occlusions ou des mauvaises détections, ce qui fait effondrer la logique de découpage. Par conséquent, la reconstruction fiable échoue en cas d'occlusion, et le découpage manuel n'est pas évolutif pour les grands jeux de données. De plus, les méthodes existantes peinent à déduire l'effet de la balle et l'état de la raquette sans un contexte 3D précis.

2. Méthodologie : Le pipeline Lift-First

Les auteurs proposent un changement de paradigme : le pipeline Lift-First. Au lieu de découper les trajectoires 2D en premier, le pipeline élève l'ensemble de la trajectoire 2D de balle non découpée en une trajectoire 3D continue avant d'effectuer le découpage temporel. Cette inversion permet d'effectuer le découpage dans le domaine 3D non ambigu, où les événements de frappe et de rebond sont identifiables de manière robuste même lorsque les détections 2D sont absentes.

Le pipeline se compose de quatre étapes :

Étape 1 : Acquisition et prétraitement des données

• Découpage : Les vidéos brutes de diffusion sont découpées en points individuels à l'aide de la détection du tableau d'affichage (YOLO + PaddleOCR) et de l'analyse des oscillations de la trajectoire 2D de la balle.
• Déduplication : L'Indice de Similarité Structurelle (SSIM) est utilisé pour détecter et supprimer les images dupliquées, courantes dans le codage de diffusion, qui corrompent autrement l'estimation de la trajectoire.
• Extraction de caractéristiques : Le système extrait les calibrages de caméra (résolution du problème Perspective-$n$-Point avec une distance focale inconnue), les trajectoires 2D de la balle (TrackNetV3) et les maillages 3D humains (4DHumans).

Étape 2 : Réseau d'élévation de séquence complète

La contribution technique centrale est un Réseau d'élévation de séquence complète, un modèle basé sur des transformateurs entraîné sur un vaste jeu de données synthétique de 3 millions d'échanges. Contrairement aux modèles antérieurs qui traitent des segments isolés, ce réseau gère des points complets et non découpés de longueur arbitraire.

• Architecture : Construit sur un modèle d'élévation de base, il utilise des Encodages de Position Rotationnels (RoPE) pour la gestion des horodatages.
• Prédiction dense de l'effet : Le réseau prédit un vecteur d'effet 3D dense, par image, pour l'ensemble de la séquence, éliminant ainsi le besoin d'un seul jeton « effet initial » utilisé dans les modèles basés sur des segments.
• Jeton d'interpolation (MTM) : Pour gérer les occlusions, le réseau traite les détections de balle manquantes comme une tâche de Modélisation de Jetons Masqués. Il emploie un Encodage de Contexte Désintriqué (DCE) pour préserver le contexte de la caméra (points clés de la table) même lorsque le vecteur de la balle est absent, et un mécanisme d'Attention de Jeton de Suréchantillonnage Différé (DUTA) pour empêcher les jetons d'interpolation de diluer les caractéristiques de détection valides.

Étape 3 : Annotation dans le domaine 3D

Une fois la trajectoire 3D continue reconstruite, le découpage temporel est effectué par une simple analyse de signal 1D :

• Points de frappe : Identifiés comme des pics/creux dans les coordonnées $x$ 3D.
• Rebonds : Identifiés comme des minima locaux dans les coordonnées $z$.
• Estimation de la raquette : Un Problème de Contrôle Optimal (OCP) est résolu pour déduire la pose et la vitesse de la raquette au moment de l'impact. En faisant correspondre la trajectoire simulée post-impact (incluant l'effet Magnus) au chemin 3D observé, le système récupère l'état de la raquette qui a produit le mouvement de la balle.

Étape 4 : Filtrage et curation

Le pipeline impose la qualité par le biais de :

• Vérification de reprojection 2D : S'assurer que la trajectoire 3D se reprojette sur les détections 2D originales dans une limite stricte.
• Cohérence physique : Ajustement d'une Équation Différentielle Ordinaire (ODE) basée sur la physique à la trajectoire 3D. Les points présentant une forte déviation par rapport aux lois physiques sont rejetés.

3. Contributions clés

1. Le pipeline de reconstruction Lift-First : Un nouveau paradigme qui découple la reconstruction 3D du découpage 2D fragile, permettant un traitement robuste de séquences occluses et non découpées.
2. Réseau d'élévation de séquence complète : La première méthode capable de traiter des échanges complets, produisant des trajectoires 3D denses et des vecteurs d'effet par image. Il est entraîné sur un jeu de données synthétique de 3 millions de points généré via un nouvel algorithme de « collage ».
3. Le jeu de données TT4D : Un jeu de données multimodal de plus de 140 heures contenant 211 534 points reconstruits. Il présente des trajectoires 3D de balle haute fidélité, des maillages humains et, pour la première fois à cette échelle, des vecteurs d'effet 3D denses et des découpages temporels 3D robustes dérivés.
4. Applications en aval : L'article démontre l'utilité du jeu de données par le biais de :
   • Estimation du coup de raquette : Récupération de la pose et de la vitesse de la raquette au moment de l'impact avec une haute fidélité.
   • Modélisation générative : Entraînement d'un modèle de Matching de Flux Conditionnel (CFM) pour générer des échanges compétitifs physiquement plausibles et temporellement réalistes.

4. Résultats et évaluation

• Précision de reconstruction : Sur TT4DBench (un benchmark réaliste assemblé), l'approche de séquence complète a réduit l'erreur moyenne de trajectoire 3D ($\Delta \vec{r}^{3D}$) de 21,71 cm (basée sur des segments) à 18,95 cm.
• Robustesse : Le modèle maintient de fortes performances dans des conditions « in-the-wild », y compris une réduction de 50 % du débit d'images et 10 % de détections manquantes, avec une dégradation mineure des performances.
• Plausibilité physique : Les trajectoires générées et reconstruites montrent une forte alignement avec les ajustements ODE basés sur la physique. L'erreur moyenne d'ajustement ODE pour les échanges générés (8,72 cm) est comparable aux données réelles (10,77 cm).
• Efficacité : Le réseau traite plus de 500 points par seconde sur un GPU Titan X, permettant la reconstruction de milliers de parties en quelques minutes, une amélioration significative par rapport aux méthodes basées sur l'optimisation.
• Reconstruction de la raquette : La validation par rapport à la vérité terrain de capture de mouvement a produit une erreur d'orientation moyenne de $26,4 \pm 4,4^\circ$ et une erreur de vitesse de $0,58 \pm 0,40$ m/s.

5. Importance

L'article affirme que TT4D et le pipeline Lift-First modifient fondamentalement l'évolutivité de la reconstruction sportive. En contournant la fragilité du découpage temporel basé sur la 2D, la méthode permet le traitement de vidéos de diffusion à vue générale qui étaient auparavant inutilisables pour l'analyse 4D. Le jeu de données fournit une nouvelle base pour :

• Replay virtuel et analyse des joueurs : Offrant des métriques 3D précises précédemment indisponibles à grande échelle.
• Apprentissage robotique : Fournissant les données nécessaires à l'apprentissage par imitation et aux politiques anticipatives pour les robots humanoïdes.
• Science sportive computationnelle : Permettant l'étude de la dynamique de la balle, de l'effet et des stratégies des joueurs avec une haute fidélité.

Les auteurs soulignent que bien que démontré sur le tennis de table, le pipeline général est extensible à d'autres sports rapides comme le tennis ou le badminton. La publication du jeu de données TT4D vise à catalyser de nouvelles recherches dans ces domaines.