Human Pose Estimation in Trampoline Gymnastics: Improving Performance Using a New Synthetic Dataset

1. Il Problema

La stima della posa umana (HPE - Human Pose Estimation) negli sport acrobatici, in particolare nella ginnastica su trampolino, rappresenta una sfida estrema per i modelli attuali. Le difficoltà principali includono:

• Pose atipiche: Angoli articolari estremi, posizioni di "tuck", "pike" e diritte, con frequenti inversioni del corpo.
• Oclusioni e sfocature: Rapidi cambiamenti di orientamento corporeo causano oclusioni self-induced (il corpo copre parti di se stesso) e motion blur.
• Limiti dei dataset esistenti: I modelli state-of-the-art (come ViTPose) sono addestrati su dataset dominati da attività quotidiane in posizione eretta (es. COCO), rendendoli inaffidabili su movimenti acrobatici complessi.
• Difficoltà di acquisizione reale: I sistemi di motion capture basati su marker (mocap) soffrono di distacco dei marker e oclusioni durante i salti su trampolino, rendendo difficile la ricostruzione diretta di movimenti coerenti.

2. Metodologia

Gli autori propongono una pipeline end-to-end che combina acquisizione dati reale, fitting di modelli parametrici e generazione di dati sintetici per il fine-tuning.

A. Adattamento del modello SMPL a dati Mocap rumorosi

Per superare i problemi di distacco dei marker, gli autori hanno sviluppato un metodo robusto per adattare un modello corporeo parametrico (SMPL) a sequenze di motion capture rumorose:

1. Filtraggio: Rimozione automatica di marker inaffidabili (etichette invalide, errori residui elevati, marker non in movimento o con dinamiche verticali anomale).
2. Corrispondenza Marker-Vertice: Un processo di fitting iniziale per associare i marker filtrati ai vertici del modello SMPL, accumulando le proiezioni su una sequenza sottocampionata.
3. Fitting Temporale: Utilizzo di ottimizzazione LBFGS e Adam con regolarizzazione tramite modelli a mistura gaussiana (GMM) per garantire pose realistiche e lisce, ignorando i marker mancanti o divergenti.

• Risultato: Una sequenza SMPL liscia e fisicamente plausibile che rispetta il movimento originale anche in presenza di dati mancanti.

B. TramPoseFit e Generazione del Dataset Sintetico (STP)

• TramPoseFit: Un dataset di 10 sequenze di motion capture di 3 atleti d'élite (2 maschi, 1 femmina), contenenti salti acrobatici.
• SynTramPose (STP): Partendo dalle sequenze SMPL ricostruite, viene generato un dataset sintetico multivista utilizzando Blender.
  • Ambiente: Sfondi HDRI realistici, texture della pelle e abbigliamento casuali.
  • Configurazione: 8 telecamere virtuali posizionate per coprire volumi ampi, simulando diverse angolazioni (dall'alto, dal basso, di lato).
  • Annotazioni: Generazione automatica di annotazioni 2D e 3D con visibilità dei joint (visibile, occluso, non visibile) seguendo lo standard COCO.
  • Dimensione: 2.520 immagini sintetiche.

C. Addestramento e Valutazione

• Modello: Utilizzo di ViTPose (Small e Base) pre-addestrato su COCO.
• Fine-tuning: Il modello viene affinato utilizzando il dataset sintetico STP combinato con dati reali di sport estremi (Leeds Sports Pose - LSP).
• Valutazione: Test su dati reali multivista (MRT) acquisiti con 8 telecamere OptiTrack. La valutazione include:
  • 2D: Precisione media (AP) e Recall (AR) basate su OKS.
  • 3D: Ricostruzione tramite triangolazione geometrica delle pose 2D stimate, misurata tramite MPJPE (Mean Per Joint Position Error).

3. Contributi Chiave

1. Nuovo metodo di fitting SMPL: Un approccio robusto e accelerato su GPU per adattare modelli SMPL a dati mocap rumorosi e incompleti tipici delle acrobazie su trampolino.
2. Dataset TramPoseFit: Una collezione di sequenze di movimento SMPL con pose estreme reali, attualmente in fase di integrazione nel dataset AMASS.
3. Strumento Open-Source: Un tool end-to-end per la generazione di dati sintetici per HPE.
4. Modello SOTA: Un modello ViTPose fine-tuned che raggiunge prestazioni state-of-the-art su dati acrobatici reali, sia in 2D che in 3D.

4. Risultati Sperimentali

I risultati dimostrano un miglioramento significativo rispetto ai modelli pre-addestrati (Baseline):

• Prestazioni 2D:

  • Il modello fine-tuned (LSP + STP) raggiunge un AP di 73.1 (ViTPose-Small) e 75.6 (ViTPose-Base) sul dataset di test reale MRT.
  • Questo è un miglioramento sostanziale rispetto alla baseline (AP 55.8 e 65.6 rispettivamente) e supera modelli precedenti come RePoGen.
  • Le prestazioni sono paragonabili a quelle di ViTPose su COCO, ma su dati molto più difficili.

• Prestazioni 3D (Triangolazione):

  • Riduzione dell'errore: Il modello proposto riduce l'MPJPE di 12.5 mm (un miglioramento del 19.6%) rispetto alla baseline.
  • Robustezza con poche telecamere: Un punto cruciale è che usare solo 3 telecamere con il modello fine-tuned (MPJPE = 54.7 mm) offre una precisione migliore rispetto all'uso di 8 telecamere con il modello baseline (MPJPE = 56.3 mm).
  • Completezza: Il modello fine-tuned permette di triangolare con successo una percentuale molto più alta di articolazioni (es. 51% vs 31% con 3 telecamere), riducendo i joint "persi" o scollegati dall'albero cinematico.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Superamento del divario di dominio: Dimostra che i dati sintetici, se generati da motion capture reale e fisicamente coerenti, possono colmare il divario di prestazioni tra pose quotidiane e pose acrobatiche estreme.
• Applicazioni pratiche: Abilita l'analisi quantitativa delle prestazioni sportive, la cattura del movimento senza marker e il punteggio automatico in ginnastica, settori dove i metodi attuali falliscono.
• Efficienza: Mostra che è possibile ottenere modelli robusti per scenari complessi con un fine-tuning rapido (meno di un'ora su GPU consumer) e dataset sintetici relativamente piccoli, rendendo la soluzione scalabile per altri sport estremi.
• Riduzione dell'hardware: La capacità di ottenere ricostruzioni 3D accurate con un numero ridotto di telecamere (3 invece di 8) rende la tecnologia più accessibile per impianti sportivi reali.

In sintesi, il paper introduce una soluzione efficace per un problema di nicchia ma critico, combinando tecniche avanzate di fitting di modelli 3D con la generazione di dati sintetici per potenziare l'intelligenza artificiale in scenari di movimento estremo.