Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models

Technische Samenvatting: Integratie van op skelet gebaseerde representaties voor robuuste yoga-houdingsclassificatie met behulp van deep learning-modellen

Probleemstelling
Hoewel geautomatiseerde classificatie van yoga-houdingen de potentie heeft om toegang tot yogatraining te democratiseren en gepersonaliseerde feedback te bieden, blijft het ontwikkelen van robuuste systemen een uitdaging. Bestaande benaderingen vertrouwen vaak op ruwe beeldinvoer of modellen voor enkele houdingsextractie, wat leidt tot beperkingen zoals ruisgevoelige gegevens, lage resolutie beelden, klassenonbalans en ontoereikende diversiteit in benchmarkdatasets. Bovs wordt de nuance in yoga-houdingen — die vaak worden gedefinieerd door subtiele verschillen in ledemachthoeken en lichaamsuitlijning — een geavanceerde methodologie vereist om complexe details nauwkeurig vast te leggen. Er is een gebrek aan systematische benchmarking die de prestaties van op skelet gebaseerde representaties vergelijkt met ruwe beeldinvoer specifiek voor yoga-houdingsherkenning.

Methodologie
De studie introduceert een gestructureerde workflow bestaande uit datasetcuratie, generatie van houdingsrepresentaties en deep learning-classificatie:

1. Datasetcreatie (Yoga-16): De auteurs hebben een nieuwe dataset, "Yoga-16", gecureerd die bestaat uit 16 verschillende yoga-houdingen. Deze dataset is samengesteld door afbeeldingen uit de Yoga-82 dataset en de Yoga Poses Dataset te filteren en samen te voegen. Het curatieproces pakte veelvoorkomende problemen aan zoals meerdere subjecten per afbeelding, lage kwaliteit, niet-menselijke onderwerpen en sterk uitzoomde weergaven. De uiteindelijke dataset waarborgt een gebalanceerde klassenverdeling (ongeveer 80 afbeeldingen per klasse) en bevat diverse bewegingspatronen (staand, liggend, zittend) en complexiteitsniveaus.
2. Inputmodaliteiten: De studie evalueerde systematisch drie inputmodaliteiten:
   • Directe afbeeldingen: Ruwe invoerafbeeldingen.
   • MediaPipe Pose-skeletten: Skeletafbeeldingen gegenereerd met het MediaPipe Pose (BlazePose) model, dat 33 sleutelpunten detecteert.
   • YOLOv8 Pose-skeletten: Skeletafbeeldingen gegenereerd met het YOLOv8-Pose model.
3. Deep Learning-architecturen: Drie Convolutionele Neurale Netwerk (CNN) architecturen werden ingezet en vanaf nul getraind op de Yoga-16 dataset om taakspecifieke representaties te leren:
   • VGG16: Maakt gebruik van sequentiële kleine convolutionele filters.
   • ResNet50: Maakt gebruik van residuele blokken om diepere netwerken te trainen.
   • Xception: Gebouwd op depthwise separable convoluties voor efficiënte kenmerkextractie.
4. Training en Evaluatie: De modellen werden getraind met de Adam-optimizer en categorical cross-entropy loss. De studie maakte gebruik van 5-voudige cross-validatie om generalisatie te beoordelen en gebruikte Grad-CAM voor interpreteerbaarheidsanalyse om de kenmerken te visualiseren die de beslissingen voor classificatie sturen.

Belangrijkste Bijdragen

1. Yoga-16 Dataset: Introductie van een gestandaardiseerde, gebalanceerde benchmarkdataset van 16 yoga-houdingen, ontworpen om beperkingen in bestaande datasets, zoals klassenonbalans en lage resolutie, aan te pakken.
2. Systematische Modaliteitsvergelijking: Een uitgebreide evaluatie waarbij directe beeldinvoer wordt vergeleken met twee verschillende op skelet gebaseerde representaties (MediaPipe en YOLOv8-Pose).
3. Architecturale Benchmarking: Evaluatie van VGG16, ResNet50 en Xception over de verschillende inputmodaliteiten om optimale configuraties voor yoga-houdingsclassificatie te bepalen.
4. Interpreteerbaarheidsanalyse: Toepassing van Grad-CAM om inzichten te verkrijgen in de besluitvorming van het model, specifiek door te laten zien hoe modellen letten op skeletkenmerken zoals ledemaalijn en gewrichtshoeken.
5. Validatie van Generalisatie: Demonstratie van de robuustheid van het model door middel van cross-validatie en testen op een aangepaste dataset afgeleid van echte YouTube-video's om diverse omgevingscondities te simuleren.

Experimentele Resultaten
De experimenten toonden aan dat op skelet gebaseerde representaties consistent beter presteerden dan ruwe beeldinvoer over alle geteste architecturen heen.

• Beste Prestatie: Het VGG16 model in combinatie met MediaPipe Pose skelet-inputs behaalde de hoogste nauwkeurigheid van 96,09%, met een precisie van 96,27% en een F1-score van 96,10%.
• Modaliteitsvergelijking: MediaPipe-skeletten leverden over het algemeen superieure resultaten op vergeleken met YOLOv8-Pose-skeletten. Zo behaalde VGG16 bijvoorbeeld 96,09% met MediaPipe tegenover 91,41% met YOLOv8-Pose. De auteurs schrijven dit toe aan de hogere stabiliteit en anatomische consistentie van MediaPipe bij landmarkdetectie, met name voor symmetrische houdingen en fijnmazige ledematorientaties.
• Architectuurvergelijking: Onder de drie modellen presteerde VGG16 consequent beter dan ResNet50 en Xception over alle inputtypen heen. ResNet50 behaalde de laagste prestatie (66,41% op directe afbeeldingen, 88,28% op MediaPipe-skeletten), terwijl Xception een intermediaire prestatie liet zien.
• Generalisatie: Bij testen op een aangepaste dataset die realistische scenario's simuleert (20 afbeeldingen per klasse uit YouTube), behield het VGG16-MediaPipe model een sterke prestatie met een nauwkeurigheid van 93,75%, wat het vermogen aantoont om te generaliseren buiten de gecontroleerde trainingsomgeving.
• Foutanalyse: Misclassificaties kwamen voornamelijk voor tussen houdingen met overlappende skeletkenmerken (bijv. Dolphin Plank versus Wide Angle Seated Forward Bend), wat aangeeft dat subtiele ambiguïteiten in gewrichtshoeken een resterende uitdaging vormen.

Betekenis en Claims
Het artikel claimt dat de integratie van op skelet gebaseerde representaties, specifiek het gebruik van MediaPipe Pose, de precisie en efficiëntie van geautomatiseerde yoga-houdingsclassificatie aanzienlijk verbetert door houdingsspecifieke kenmerken te isoleren en achtergrondruis te verwijderen. De studie stelt vast dat VGG16 een zeer betrouwbare architectuur is voor deze taak wanneer het wordt gekoppeld aan skelet-inputs, waarbij een state-of-the-art prestatie wordt behaald op de voorgestelde Yoga-16 benchmark.

De auteurs benadrukken dat hun aanpak de belangrijkste uitdagingen in het veld — lage-resolutie datasets, klassenonbalans en overlappende klassekenmerken — uitgebreid aanpakt door een gecureerde dataset te combineren met een tweeledige strategie voor de evaluatie van geskeletteerde en niet-geskeletteerde representaties. Het werk suggereert dat deze bevindingen een fundament bieden voor de ontwikkeling van robuuste, real-time digitale fitnessapplicaties en revalidatiesystemen die nauwkeurige, gepersonaliseerde feedback kunnen bieden zonder afhankelijkheid van deskundige beoefenaars. De studie concludeert dat hoewel huidige modellen een hoge nauwkeurigheid vertonen, toekomstige verbeteringen grotere, diversere datasets en verfijnde architecturen vereisen om subtiele of overlappende skeletstructuren beter te onderscheiden.