Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models
Cette étude introduit le jeu de données « Yoga-16 » et démontre que les représentations basées sur le squelette, particulièrement lorsqu'elles sont traitées par VGG16 avec des entrées MediaPipe Pose, surpassent les entrées d'images brutes pour atteindre une précision robuste de 96,09 % dans la classification automatisée des postures de yoga.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre le yoga à un robot. Vous pourriez lui montrer des milliers de photos de personnes dans des postures de yoga, mais le robot pourrait être distrait par l'arrière-plan — le tapis à motifs, la lumière du soleil sur le mur ou la chemise colorée de la personne. Il pourrait penser que la chemise fait partie de la pose ! C'est le défi de la Vision par Ordinateur, une branche de l'intelligence artificielle où les ordinateurs apprennent à "voir" et à comprendre les images. Pour résoudre cela, les scientifiques utilisent souvent une astuce appelée Estimation de Pose. Voyez cela comme un squelette numérique : au lieu de regarder toute la personne, l'ordinateur retire la peau et les vêtements pour ne voir que les articulations et les os en forme de bâtonnets. Cela aide l'ordinateur à se concentrer sur la forme de la pose elle-même, en ignorant l'arrière-plan désordonné. Mais voici la grande question : est-il préférable de regarder la photo brute, ou de regarder le squelette épuré ? Et quel "cerveau" (ou modèle d'apprentissage profond) est le meilleur pour lire ces squelettes ? C'est exactement ce que les chercheurs de cet article voulaient découvrir pour aider les gens à pratiquer le yoga en toute sécurité sans avoir besoin d'un professeur humain à leurs côtés.
Cet article, intitulé « Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models », est essentiellement un immense test de dégustation pour voir quelle combinaison d'« yeux » et de « cerveau » fonctionne le mieux pour la reconnaissance des poses de yoga. Les auteurs, une équipe de l'Université Premier au Bangladesh, ont créé leur propre collection spéciale d'images de yoga appelée « Yoga-16 ». Ils ont choisi 16 poses populaires, allant de poses simples comme la « Pose de la Chaise » à des poses plus complexes comme le « Seigneur de la Danse », et ont nettoyé les images pour s'assurer qu'elles soient de haute qualité et équilibrées.
Pour tester leurs idées, ils ont essayé trois façons différentes de nourrir le cerveau informatique avec des images :
- Images Directes : Montrer à l'ordinateur la photo complète et brute.
- Squelettes MediaPipe : Montrer à l'ordinateur une image où la personne a été transformée en un squelette de bâtonnets propre en utilisant un outil appelé MediaPipe.
- Squelettes YOLOv8 : Montrer à l'ordinateur un squelette de bâtonnets créé par un autre outil, YOLOv8.
Ils ont ensuite passé ces images à travers trois "cerveaux" informatiques célèbres (modèles d'apprentissage profond) : VGG16, ResNet50 et Xception. Ce sont comme différents types d'étudiants hyper-obsessifs, chacun ayant sa propre façon d'étudier les motifs.
Les résultats ont été très clairs et surprenants pour certains. L'article a révélé que les représentations basées sur le squelette sont les gagnantes. Lorsque l'ordinateur regardait les squelettes de bâtonnets épurés au lieu des photos désordonnées, il devenait bien meilleur pour deviner la pose. Plus précisément, le modèle VGG16, lorsqu'il était alimenté par des squelettes MediaPipe, a atteint la précision la plus élevée de 96,09 %. Cela signifie qu'il trouvait la pose juste presque à chaque fois. En comparaison, lorsque ce même modèle regardait les photos brutes, sa précision tombait à 86,33 %. Les autres modèles, ResNet50 et Xception, ont également mieux réussi avec les squelettes qu'avec les photos brutes, mais VGG16 a été le champion.
Les chercheurs ne se sont pas contentés de chiffres ; ils ont utilisé un outil appelé Grad-CAM pour jeter un coup d'œil à l'intérieur du cerveau de l'ordinateur et voir ce qu'il regardait. Il s'avère que, lors de l'utilisation des squelettes MediaPipe, l'ordinateur se concentrait parfaitement sur les parties importantes, comme l'angle d'un bras ou la flexion d'un genou, ignorant tout le reste. Cependant, ils ont constaté que l'ordinateur était parfois confus par des poses qui se ressemblent beaucoup, comme le « Dauphin Planche » et la « Pose du Poisson », car leurs formes de bâtonnets sont presque identiques.
L'article argumente explicitement contre l'idée que les images brutes sont toujours la meilleure façon d'enseigner le yoga à un ordinateur. Leurs expériences suggèrent que le retrait du bruit de l'arrière-plan et la concentration sur la structure du squelette rendent le système beaucoup plus fiable. Ils ont également écarté l'idée que tous les outils de squelette sont égaux ; ils ont trouvé que l'outil MediaPipe produisait des squelettes plus stables et plus précis que l'outil YOLOv8 pour cette tâche spécifique.
Bien que les résultats soient impressionnants, les auteurs prennent soin de ne pas prétendre avoir « résolu » le yoga pour toujours. Ils notent que leur ensemble de données, Yoga-16, est relativement petit (avec environ 80 images par pose), et ils ont utilisé la validation croisée pour s'assurer que leurs résultats étaient solides, obtenant un score constant d'environ 93,55 % même en testant sur différentes tranches de données. Ils ont également testé le modèle sur un nouvel ensemble d'images personnalisées prises sur YouTube pour voir s'il pouvait gérer le désordre du monde réel, et il a toujours bien performé, avec une légère baisse de précision à 93,75 %.
En résumé, cet article suggère que si vous voulez construire une application qui aide les gens à faire du yoga correctement, vous devriez probablement réduire la personne à un squelette numérique d'abord, puis utiliser un modèle VGG16 pour le lire. C'est une étape vers la rendre le yoga plus accessible, garantissant que même si vous n'avez pas de gourou dans la pièce, votre assistant numérique sait exactement comment votre colonne vertébrale doit se courber.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.