DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Problematica
Il tracciamento del movimento umano scalabile e accurato è essenziale per modernizzare la diagnosi delle patologie del cammino, ottimizzare le prestazioni sportive e far avanzare la ricerca sul movimento. Mentre i sistemi tradizionali di motion capture basati su marker forniscono un'elevata accuratezza, sono limitati ai laboratori di ricerca a causa della loro dipendenza da infrastrutture dedicate, personale specializzato e calibrazione laboriosa. Le alternative senza marker (markerless) offrono una via verso la scalabilità, ma attualmente affrontano un compromesso tra accuratezza e flessibilità. I metodi a singola vista sono accessibili ma soffrono di ambiguità della profondità e occlusioni, limitando la loro utilità clinica. Gli esistenti sistemi markerless multi-vista non riescono o non migliorano l'accuratezza con l'aggiunta di telecamere (ad esempio, OpenCap) o richiedono array densi di telecamere e software proprietari che ne ostacolano l'implementazione in contesti con scarse risorse (ad esempio, Theia3D). Inoltre, molti strumenti attuali mancano di generalizzabilità verso individui con limitazioni della mobilità, poiché sono spesso addestrati su dati provenienti da popolazioni sane.

Metodologia
Gli autori presentano DeepGaitLab, un framework open-source progettato per fornire cinematica 3D accurata attraverso configurazioni di telecamere flessibili (da due a dieci telecamere) senza richiedere la calibrazione spaziale inter-camera. Il sistema opera attraverso un flusso di lavoro in tre fasi:

1. Rilevamento di Landmark 2D Densi: A differenza degli approcci standard di computer vision che rilevano centri articolari sparsi, DeepGaitLab stima un'alta densità di landmark anatomici superficiali (57 punti anatomici). Ciò è ottenuto utilizzando una rete basata su Transformer. Per superare la scarsità di dati multi-vista etichettati, il modello è addestrato su dati sintetici su larga scala derivati dal dataset BEDLAM. Questo dataset utilizza 271 corpi umani reali (dal dataset AMASS) che eseguono 9,3 ore di movimento, renderizzati con texture fotorealistiche e abbigliamento diversificato in un motore di gioco. La rete impiega una strategia di transfer learning, inizializzando l'encoder con pesi da un rilevatore di keypoint sparsi pre-addestrato (ViTPose) su immagini del mondo reale, per poi effettuare il fine-tuning sui dati sintetici per garantire la generalizzazione.
2. Triangolazione 3D e Calibrazione: Il sistema supporta due flussi di lavoro: uno che utilizza video sincronizzati con calibrazione fisica tramite checkerboard, e una modalità di calibrazione automatizzata. Quest'ultima tratta il soggetto come un oggetto di calibrazione dinamico, utilizzando i landmark anatomici densi rilevati attraverso le viste per stimare gli estrinseci della telecamera tramite bundle adjustment, eliminando la necessità di target di calibrazione fisici.
3. Simulazione Biomeccanica: I marker virtuali 3D triangolati vengono elaborati tramite OpenSim. Il sistema scala un modello muscoloscheletrico generico sull'antropometria del soggetto e calcola la cinematica inversa e la dinamica inversa (momenti articolari).

Una caratteristica chiave è il fine-tuning specifico per l'ambiente. Il framework può generare dati di addestramento sintetici su misura per la geometria delle telecamere e lo sfondo di un laboratorio specifico, consentendo al modello di essere perfezionato per un sito specifico senza nuove annotazioni manuali.

Contributi Chiave

• Addestramento guidato da dati sintetici: Sfruttando dati sintetici su larga scala, DeepGaitLab evita l'annotazione laboriosa di dataset multi-vista reali, raggiungendo al contempo un'elevata accuratezza e generalizzabilità.
• Rappresentazione di Landmark Densi: Il passaggio da centri articolari sparsi a landmark superficiali densi fornisce vincoli geometrici che risolvono l'orientamento dei segmenti in modo più accurato, affrontando l'ambiguità inerente agli approcci a keypoint sparsi.
• Operatività Flessibile e Senza Calibrazione: Il framework funziona efficacemente con appena due telecamere e include una funzione di calibrazione automatizzata che rimuove la barriera della calibrazione manuale laboriosa.
• Robustezza alla Patologia: Il sistema mantiene un'accuratezza costante attraverso diverse popolazioni, inclusi individui con limitazioni della mobilità, dove altri strumenti spesso degradano.

Risultati
Gli autori hanno valutato DeepGestLab su 80 individui suddivisi in quattro gruppi: adulti sani, individui in fase di recupero da ricostruzione del legamento crociato anteriore (ACLR), sopravvissuti all'ictus e individui con lieve declino cognitivo (MCI).

• Accuratezza rispetto allo Stato dell'Arte: Negli adulti sani, DeepGaitLab ha costantemente superato OpenCap e Theia3D. In una configurazione a due telecamere, ha mostrato una differenza quadratica media (RMSD) significativamente inferiore rispetto ai riferimenti basati su marker rispetto a OpenCap (4,2° rispetto a 5,9°).
• Scalabilità con il Numero di Telecamere: A differenza di OpenCap, la cui accuratezza si stabilizza aumentando le telecamere da due a dieci, DeepGaitLab ha dimostrato un miglioramento monotono dell'accuratezza all'aumentare della densità delle telecamere.
• Generalizzazione alla Patologia: DeepGaitLab ha mantenuto un'accuratezza costante nei pazienti ACLR, non mostrando differenze significative di accuratezza tra i gruppi sano e compromesso. Al contrario, OpenCap e Theia3D hanno mostrato errori significativamente più elevati nel gruppo ACLR. DeepGaitLab ha rilevato con successo asimmetrie cliniche rilevanti nella flessione/estensione dell'anca e adduzione/abduzione che altri strumenti hanno mancato.
• Metriche Spazio-Temporali: Nei pazienti con MCI e ictus, DeepGaitLab ha raggiunto un accordo sulla lunghezza del passo comparabile a quello di Theia3D (che utilizzava otto telecamere) utilizzando solo due telecamere.
• Dinamica Inversa: DeepGaitLab ha prodotto un RMSD relativo inferiore nella stima del momento articolare rispetto a OpenCap nelle configurazioni a due telecamere, particolarmente durante i movimenti non sagittali.
• Validazione delle Caratteristiche: La funzione di calibrazione automatica ha raggiunto prestazioni comparabili alla calibrazione manuale con checkerboard. Il fine-tuning specifico per l'ambiente ha fornito miglioramenti marginali ma statisticamente significativi per i compiti di deambulazione al suolo, in particolare per la cinematica di ginocchio e caviglia.

Significato
Il paper posiziona DeepGaitLab come una piattaforma pratica e scalabile che colma il divario tra la biomeccanica di livello di ricerca e l'implementazione clinica. Dimostrando che l'analisi del movimento di qualità della ricerca può essere ottenuta con telecamere RGB di consumo e supervisione sintetica, il framework democratizza l'accesso all'analisi del cammino quantitativa. Gli autori suggeriscono che, sebbene i sistemi basati su marker siano stati a lungo il "gold standard", la capacità dei metodi basati sulla visione di avvicinarsi o potenzialmente superare questi limiti (una volta adottati nuovi riferimenti ad alta fedeltà come la radiografia biplanare) potrebbe ridefinire le metriche di valutazione clinica. DeepGaitLab offre un'alternativa trasparente e open-source ai sistemi proprietari, consentendo un'adozione più ampia in cliniche e laboratori senza i compromessi di accuratezza, scalabilità o flessibilità che hanno limitato gli strumenti precedenti.