Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models

Sintesi Tecnica: Integrazione di Rappresentazioni Basate su Scheletro per la Classificazione Robusta delle Pose Yoga mediante Modelli di Deep Learning

Problematica
Sebbene la classificazione automatizzata delle pose yoga offra il potenziale per democratizzare l'accesso all'allenamento yoga e fornire un feedback personalizzato, lo sviluppo di sistemi robusti rimane una sfida. Gli approcci esistenti spesso si affidano a input di immagini grezze o a modelli di estrazione della posa singola, affrontando limitazioni quali dati rumorosi, immagini a bassa risoluzione, squilibrio delle classi e scarsa diversità nei dataset di riferimento. Inoltre, le sfumature delle variazioni nelle posture yoga — che sono spesso definite da sottili differenze negli angoli degli arti e nell'allineamento del corpo — richiedono metodologie sofisticate per catturare accuratamente i dettagli intricati. Esiste una mancanza di benchmarking sistematico che confronti le rappresentazioni basate su scheletro rispetto agli input di immagini grezze specificamente per il riconoscimento delle pose yoga.

Metodologia
Lo studio introduce un flusso di lavoro strutturato che prevede la cura del dataset, la generazione della rappresentazione della posa e la classificazione tramite deep learning:

1. Creazione del Dataset (Yoga-16): Gli autori hanno curato un nuovo dataset, "Yoga-16", composto da 16 pose yoga distinte. Questo dataset è stato costruito filtrando e unendo immagini dal dataset Yoga-82 e dal Yoga Poses Dataset. Il processo di cura ha affrontato problemi comuni come la presenza di più soggetti per immagine, bassa qualità, soggetti non umani e viste troppo distanti (zoomed-out). Il dataset finale garantisce una distribuzione equilibrata delle classi (circa 80 immagini per classe) e include diversi pattern di movimento (in piedi, sdraiati, seduti) e livelli di complessità.
2. Modalità di Input: Lo studio ha valutato sistematicamente tre modalità di input:
   • Immagini Dirette: Immagini di input grezze.
   • Scheletri MediaPipe Pose: Immagini scheletriche generate utilizzando il modello MediaPipe Pose (BlazePose), che rileva 33 punti chiave (keypoints).
   • Scheletri YOLOv8 Pose: Immagini scheletriche generate mediante il modello YOLOv8-Pose.
3. Architetture di Deep Learning: Sono state impiegate tre architetture di Reti Neurali Convoluzionali (CNN), addestrate da zero sul dataset Yoga-16 per apprendere rappresentazioni specifiche per il compito:
   • VGG16: Utilizzando filtri convoluzionali piccoli e sequenziali.
   • ResNet50: Sfruttando blocchi residui per addestrare reti più profonde.
   • Xception: Costruita su convoluzioni depthwise separable per un apprendimento efficiente delle caratteristiche.
4. Addestramento e Valutazione: I modelli sono stati addestrati utilizzando l'ottimizzatore Adam con perdita di entropia incrociata categorica (categorical cross-entropy). Lo studio ha utilizzato la validazione incrociata a 5 fold per valutare la generalizzazione e ha impiegato Grad-CAM per l'analisi dell'interpretabilità, al fine di visualizzare le caratteristiche che guidano le decisioni di classificazione.

Contributi Chiave

1. Dataset Yoga-16: Introduzione di un dataset di riferimento standardizzato e bilanciato di 16 pose yoga, progettato per affrontare i limiti dei dataset esistenti, come lo squilibrio delle classi e la bassa risoluzione.
2. Confronto Sistematico delle Modalità: Una valutazione completa che confronta gli input di immagini dirette rispetto a due distinte rappresentazioni basate su scheletro (MediaPipe e YOLOv8-Pose).
3. Benchmarking Architetturale: Valutazione di VGG16, ResNet50 e Xception attraverso le diverse modalità di input per determinare le configurazioni ottimali per la classificazione delle pose yoga.
4. Analisi dell'Interpretabilità: Applicazione di Grad-CAM per fornire intuizioni sul processo decisionale del modello, evidenziando specificamente come i modelli prestino attenzione alle caratteristiche scheletriche come l'allineamento degli arti e gli angoli articolari.
5. Validazione della Generalizzazione: Dimostrazione della robustezza del modello attraverso la validazione incrociata e il test su un dataset personalizzato derivato da video reali di YouTube per simulare diverse condizioni ambientali.

Risultati Sperimentali
Gli esperimenti hanno dimostrato che le rappresentazioni basate su scheletro superano costantemente gli input di immagini grezze in tutte le architetture testate.

• Migliori Prestazioni: Il modello VGG16 combinato con gli input dello scheletro MediaPipe Pose ha ottenuto l'accuratezza più elevata del 96,09%, con una precisione del 96,27% e un F1-score del 96,10%.
• Confronto tra Modalità: Gli scheletri MediaPipe hanno generalmente prodotto risultati superiori rispetto agli scheletri YOLOv8-Pose. Ad esempio, VGG16 ha raggiunto il 96,09% con MediaPipe rispetto al 91,41% con YOLOv8-Pose. Gli autori attribuiscono ciò alla maggiore stabilità e consistenza anatomica di MediaPipe nella rilevazione dei landmark, specialmente per pose simmetriche e orientamenti fini degli arti.
• Confronto tra Architetture: Tra i tre modelli, VGG16 ha costantemente superato ResNet50 e Xception in tutti i tipi di input. ResNet50 ha ottenuto le prestazioni più basse (66,41% sulle immagini dirette, 88,28% sugli scheletri MediaPipe), mentre Xception ha mostrato prestazioni intermedie.
• Generalizzazione: Quando testato su un dataset personalizzato che simula scenari reali (20 immagini per classe da YouTube), il modello VGG16-MediaPipe ha mantenuto una solida performance con un'accuratezza del 93,75%, dimostrando la sua capacità di generalizzare oltre l'ambiente di addestramento controllato.
• Analisi degli Errori: Le misclassificazioni si sono verificate principalmente tra pose con caratteristiche scheletriche sovrapponibili (ad esempio, Dolphin Plank rispetto a Wide Angle Seated Forward Bend), indicando che le ambiguità sottili degli angoli articolari rimangono una sfida.

Significato e Rivendicazioni
L'articolo sostiene che l'integrazione di rappresentazioni basate su scheletro, specificamente utilizzando MediaPipe Pose, migliora significativamente la precisione e l'efficienza della classificazione automatizzata delle pose yoga, isolando le caratteristiche specifiche della posa e rimuovendo il rumore di fondo. Lo studio stabilisce che VGG16 è un'architettura altamente affidabile per questo compito quando accoppiata con input scheletrici, raggiungendo prestazioni allo stato dell'arte sul proposto benchmark Yoga-16.

Gli autori sottolineano che il loro approccio affronta in modo completo le sfide chiave nel campo — bassi dataset di risoluzione, squilibrio delle classi e caratteristiche di classe sovrapposte — combinando un dataset curato con una valutazione a doppia strategia di rappresentazioni scheletrizzate e non scheletrizzate. Il lavoro suggerisce che questi risultati forniscono una base per lo sviluppo di applicazioni di fitness digitale robuste e in tempo reale che possono offrire feedback accurati e personalizzati senza dipendere da esperti praticanti. Lo studio conclude che, sebbene gli attuali modelli mostrino un'alta accuratezza, i miglioramenti futuri richiedono dataset più ampi e diversificati e architetture raffinate per distinguere meglio le pose con strutture scheletriche sottili o sovrapponibili.