A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

Sintesi Tecnica: Un Benchmark Standardizzato per la Valutazione della Riabilitazione Basata sullo Scheletro mediante Deep Learning

Problematica
La valutazione automatizzata del movimento umano è fondamentale per la riabilitazione, offrendo una valutazione oggettiva dei progressi del paziente e dell'esecuzione degli esercizi. Tuttavia, la valutazione del movimento riabilitativo differisce fondamentalmente dal riconoscimento dell'attività umana generale. Mentre il riconoscimento dell'attività classifica cosa viene eseguito (ad esempio, camminare rispetto a correre), la valutazione riabilitativa valuta la qualità di un'azione specifica, richiedendo il rilevamento di sottili deviazioni da un movimento ideale.

Nonostante i progressi nel deep learning e nell'estrazione dello scheletro basata su video, il campo manca di benchmark standardizzati, protocolli di valutazione coerenti e metodologie riproducibili. La ricerca esistente spesso si affida a un set limitato di dataset (in particolare KIMORE e UI-PRMD), utilizza protocolli sperimentali incoerenti (varianti di divisioni dei dati e metriche) e frequentemente non rilascia il codice sorgente. Questa assenza di un framework unificante ostacola la capacità di confrontare oggettivamente gli approcci, riprodurre i risultati o valutare la generalizzabilità attraverso diverse popolazioni e tipi di esercizio.

Metodologia
Per affrontare queste lacune, gli autori propongono un framework di benchmarking completo centrato su tre pilastri:

1. Archivio Rehab-Pile: Gli autori hanno aggregato nove esistenti repository pubblici in un archivio unificato chiamato "Rehab-Pile". Questo archivio tratta ogni specifico esercizio all'interno di un repository come un dataset indipendente, risultando in un totale di 60 dataset:

   • 39 Dataset di Classificazione: Coprendo compiti binari e multiclasse (ad esempio, esecuzione corretta vs errata, o tipi di errore specifici).
   • 21 Dataset di Regressione Estrinseca: Coprendo la predizione di punteggi continui (ad esempio, livelli di gravità o punteggi di prestazione).
   • I dati consistono in sequenze di scheletri (coordinate articolari) estratte da flussi video (RGB o RGB-D), catturate principalmente tramite sensori Kinect o OpenPose.

2. Unified Evaluation Framework (Framework di Valutazione Unificato): Lo studio valuta nove architetture di deep learning attraverso tutti i 60 dataset sotto un protocollo strettamente standardizzato:

   • Architetture: I modelli spaziano in quattro categorie: basati su Convoluzione (FCN, H-Inception, LITEMV, DisjointCNN), basati su Ricorrenza (MotionGRU, ConvLSTM), basati su Self-Attention (VanTran, ConvTran) e basati su Grafi (STGCN).
   • Pre-elaborazione dei Dati: Tutte le sequenze sono ricampionate a un numero comune di frame per dataset, normalizzate utilizzando lo scaling min-max (calcolato solo sui dati di addestramento) e convertite in un formato di serie temporali multivariate (appiattimento degli assi delle articolazioni e delle dimensioni) per la maggior parte dei modelli, eccetto STGCN che utilizza sequenze di scheletro grezze.
   • Protocollo Sperimentale: È imposta una divisione cross-subject per prevenire la fuga di dati (data leakage). Il numero di fold è determinato dal numero di soggetti (5-fold per $\ge$10 soggetti, leave-one-subject-out altrimenti).
   • Ensembling: Per stabilizzare i risultati, ogni modello viene addestrato cinque volte con diverse inizializzazioni casuali per ogni fold, e le predizioni vengono mediate.
   • Metriche: La classificazione è valutata utilizzando Accuracy e Balanced Accuracy. La regressione utilizza Mean Absolute Error (MAE) e Root Mean Squared Error (RMSE). L'efficienza è misurata tramite tempo di addestramento/inferenza, numero di parametri e FLOPs.

3. Analisi Statistica: I confronti delle prestazioni utilizzano Matrici di Multi-Confronto (MCM) e il Test dei Ranghi Comp signed di Wilcoxon per determinare la significatività statistica ($p < 0.05$) delle differenze di prestazione tra i modelli.

Risultati Chiave
L'esteso benchmarking ha prodotto le seguenti scoperte:

• Prestazioni di Regressione: LITEMV (Light Inception with boosTing tEchniques MultiVariate) è emerso come il modello con le migliori prestazioni statisticamente significative per la regressione estrinseca, superando tutti i concorrenti sia in MAE che in RMSE. Gli autori attribuiscono ciò all'uso da parte di LITEMV di Convoluzioni Separabili in Profondità (DWSCs) e filtri artigianali, che catturano efficacemente sia le correlazioni temporali che quelle spaziali. ConvTran (un modello di self-attention con embedding convoluzionale) si è classificato secondo, suggerendo che le dipendenze a lungo termine siano cruciali per i compiti di regressione.
• Prestazioni di Classificazione: Nei compiti di classificazione, LITEMV ha ottenuto nuovamente la media più alta di accuratezza (75.49%) e balanced accuracy, sebbene il margine rispetto a VanTran (Vanilla Transformer) non fosse statisticamente significativo ($p > 0.05$). MotionGRU si è classificato secondo per balanced accuracy, performando bene su dataset sbilanciati. Notevolmente, STGCN (Spatio-Temporal Graph Convolution Network), pur performando ragionevolmente nella regressione, si è classificato ultimo nella classificazione, suggerendo che le architetture basate su GCN possano essere meno adatte ai compiti di classificazione riabilitativa in queste condizioni.
• Trade-off tra Efficienza e Prestazioni: LITEMV ha dimostrato il miglior trade-off complessivo, offrendo prestazioni di alto livello con il minor numero di parametri e FLOPs. MotionGRU è stato il più veloce per l'inferenza, mentre ConvTran è stato il più veloce per l'addestramento. VanTran è stato il più oneroso dal punto di vista computazionale a causa della scalabilità quadratica dei FLOP rispetto alla lunghezza della sequenza e dei molteplici strati di attenzione.
• Caratteristiche dei Modelli: I risultati indicano che le semplici CNN (FCN) e le standard LSTM (ConvLSTM) performano meno rispetto ad architetture più specializzate. Il successo di LITEMV e ConvTran evidenzia l'importanza di catturare sia i pattern temporali locali (tramite convoluzione) che le dipendenze globali (tramite attention o memoria ricorrente).

Significatività e Rivendicazioni
Il paper sostiene di aver stabilito una solida base per la ricerca futura nella valutazione della riabilitazione automatizzata:

1. Standardizzazione del Campo: Fornire il primo archivio unificato (Rehab-Pile) con 60 dataset diversificati e un protocollo di valutazione riproducibile, consentendo confronti equi tra gli studi.
2. Identificazione dello Stato dell'Arte: Dimostrare che LITEMV è attualmente l'architettura più efficace ed efficiente per la valutazione della riabilitazione basata sullo scheletro, in particolare per i compiti di regressione, evidenziando al contempo il potenziale dei modelli basati su Transformer per la classificazione.
3. Promozione della Riproducibilità: Rilasciare tutti i dataset aggregati, il codice sorgente e i dettagli dei risultati sperimentali alla comunità per favorire la trasparenza e accelerare lo sviluppo di soluzioni di riabilitazione affidabili, accessibili e personalizzate.

Gli autori sottolineano che, sebbene LITEMV sia attualmente in testa, il compito di classificazione rimane impegnativo (accuratezza media ~75%), indicando la necessità di una continua esplorazione delle architetture dei modelli per migliorare ulteriormente le prestazioni.