Joint angle based learning to refine kinematic human pose estimation

Sintesi Tecnica: Apprendimento basato sugli angoli articolari per il raffinamento della stima della posa umana cinematica

Definizione del problema
La stima della posa umana (HPE) senza marcatori è fondamentale per applicazioni nell'analisi sportiva, nell'assistenza sanitaria e nell'interazione uomo-computer. Tuttavia, i modelli esistenti basati sul deep learning affrontano due sfide primarie nell'analizzare le pose umane cinematiche:

1. Riconoscimento errato dei keypoint: Pose complesse, occlusioni e sfondi di disturbo portano a un'identificazione errata dei keypoint (outlier), il che interrompe gravemente le analisi cinematiche a valle, come i calcoli di velocità, accelerazione e dinamica inversa.
2. Jitter spazio-temporali: La localizzazione inconsistente dei keypoint tra fotogrammi consecutivi produce traiettorie fluttuanti. Questo problema è esacerbato dalla dipendenza da dataset a immagine singola (es. COCO-WholeBody), dove le annotazioni manuali spesso mancano di coerenza temporale. Sebbene esistano dataset video, essi soffrono di inconsistenze nelle annotazioni, in particolare nei movimenti ad alta ampiezza o rapidi cambiamenti, portando i modelli a dare priorità all'accuratezza della distanza euclidea rispetto alla continuità della traiettoria.

I metodi di raffinamento attuali, come lo stato dell'arte SmoothNet, spesso faticano in scenari sportivi complessi, risultando in derive di posizione o in uno smoothing insufficiente degli outlier.

Metodologia
Gli autori propongono un nuovo framework di Raffinamento Basato sugli Angoli Articolari (JAR) progettato per generare dati di addestramento di alta qualità e raffinare gli output di HPE a immagine singola attraverso un processo in tre fasi:

1. Descrizione della posa basata sugli angoli articolari:

   • Invece di fare affidamento esclusivamente sulle coordinate assolute, il metodo converte 13 coordinate di keypoint (estratti tramite un modello HPE a immagine singola come HRNet o ViTPose++) in 12 angoli articolari.
   • Un punto di base stabile (il "naso") viene smussato utilizzando un filtro Savitzky-Golay.
   • Le lunghezze degli arti vengono ottimizzate utilizzando un algoritmo di regione di fiducia basato su due vincoli biomeccanici: la coerenza proporzionale tra gli arti e una variazione inter-frame trascurabile dovuta all'accorciamento prospettico (foreshortening). Questo approccio rende la descrizione robusta ai cambiamenti di prospettiva e di distanza di ripresa.

2. Generazione della "Ground Truth" basata su serie di Fourier:

   • Riconoscendo che i movimenti articolari presentano spesso caratteristiche periodiche, gli autori approssimano le variazioni temporali degli angoli articolari utilizzando una serie di Fourier dell'ottavo ordine.
   • I parametri della serie sono stimati da dataset aperti per simulare diverse differenze inter-individuali.
   • Un dataset sintetico di addestramento viene costruito facendo scorrere una finestra su questi cicli generati. Per simulare il rumore del mondo reale, vengono iniettati nel "ground truth" rumore bianco gaussiano (piccoli jitter) e outlier ad alta ampiezza (che simulano errori di riconoscimento). Ciò crea un dataset di alta qualità con coerenza spazio-temporale difficile da ottenere tramite annotazione manuale.

3. Rete di raffinamento BiGRU-Attention:

   • Una rete Bidirezionale Gated Recurrent Unit (BiGRU con meccanismo di attenzione) è progettata come modulo di post-elaborazione.
   • Questa rete riceve in input le sequenze di angoli articolari rumorose e restituisce sequenze di angoli smussate e raffinate.
   • Gli angoli raffinati, combinati con il punto di base stabilizzato e le lunghezze degli arti ottimizzate, vengono utilizzati per ricostruire le coordinate finali dei keypoint.
   • Durante l'inferenza viene impiegato un approccio a finestra scorrevole con media ponderata per garantire uno smoothing continuo attraverso l'intera sequenza video.

Contributi chiave

• Rappresentazione della posa robusta: La proposta di un modello basato sugli angoli articolari che resiste alle interferenze di prospettiva e distanza, migliorando significativamente l'accuratezza e la robustezza del riconoscimento corporeo rispetto ai metodi basati sulle coordinate.
• Dataset sintetico di alta qualità: Un metodo innovativo per la generazione di dati di addestramento utilizzando serie di Fourier di ordine superiore per approssimare i pattern di movimento fisiologico articolare, fornendo un "ground truth" affidabile per l'addestramento della rete senza dipendere da annotazioni manuali inconsistenti.
• Architettura di raffinamento superiore: Il design di una rete BiGRU-Attention che elimina efficacemente outlier e jitter, superando i framework di raffinamento esistenti in scenari sportivi impegnativi.
• Capacità di rettifica dei dataset: Dimostrazione che il metodo può essere applicato per rettificare dataset video esistenti (es. PoseTrack), correggendo le inconsistenze inter-frame causate da errori di annotazione manuale.

Risultati sperimentali
Il metodo JAR è stato valutato contro lo stato dell'arte SmoothNet attraverso varie attività atletiche, tra cui sprint, salto triplo in piedi, pattinaggio artistico e breaking (breakdance).

• Correzione degli Outlier: In un caso di sprint, JAR ha ottenuto un tasso di correzione degli outlier del 100% rispetto al 45,45% di SmoothNet. Nel salto triplo in piedi, JAR ha corretto il 95,61% degli errori rispetto al 53,51% di Smoothste. Il tasso di correzione complessivo per JAR è stato del 97,77%, quasi il doppio di quello di SmoothNet.
• Fluidità della traiettoria: In scenari complessi come il pattinaggio artistico (voli di rotazione) e il breaking (handstand), JAR ha prodotto traiettorie significativamente più fluide e curve di velocità fisiologicamente più coerenti. SmoothNet ha mostrato una deriva delle coordinate evidente e fluttuazioni ad alta frequenza, particolarmente nelle componenti dell'asse Y.
• Selezione del modello: Tra dieci architetture sequence-to-sequence testate (inclusi TCN, LSTM, Mamba1/2 e le loro varianti con attenzione), il modello BiGRU-Attention ha dimostrato il miglior equilibrio tra accuratezza (MSE più basso) ed efficienza computazionale.

Significato e rivendicazioni
Il paper sostiene che i limiti dell'attuale raffinamento HPE derivino in gran parte dalla mancanza di dataset di addestramento di alta qualità e temporalmente coerenti. Sfruttando i vincoli fisiologici del movimento umano (angoli articolari e lunghezze degli arti) e l'approssimazione tramite serie di Fourier, il metodo JAR proposto:

• Permette ai modelli di deep learning di apprendere pattern spazio-temporali robusti, correggendo efficacementamente i giunti riconosciuti erroneamente e smussando le traiettorie.
• Dimostra una superiorità di generalizzazione in casi sportivi impegnativi in cui i modelli attuali falliscono.
• Offre uno strumento pratico per rettificare i dataset video esistenti, riducendo così gli effetti avversi delle imprecise annotazioni manuali e migliorando l'affidabilità della tecnologia HPE per l'analisi del movimento.

Gli autori concludono che il loro approccio fornisce una base affidabile per l'analisi cinematica, consentendo una quantificazione più accurata della prestazione atletica e della valutazione biomeccanica.