Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models
Diese Studie führt den „Yoga-16“-Datensatz ein und zeigt auf, dass skelettbasierte Repräsentationen, insbesondere wenn sie durch VGG16 mit MediaPipe-Pose-Inputs verarbeitet werden, Rohbild-Inputs übertreffen, um eine robuste Genauigkeit von 96,09 % bei der automatisierten Yoga-Pose-Klassifizierung zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Yoga zu machen. Sie könnten ihm tausende Fotos von Menschen in Yoga-Posen zeigen, aber der Roboter könnte durch den Hintergrund abgelenkt werden – den gemusterten Teppich, das Sonnenlicht an der Wand oder das farbenfrohe Hemd einer Person. Er könnte denken, dass das Hemd Teil der Pose ist! Dies ist die Herausforderung der Computer Vision, eines Zweigs der Künstlichen Intelligenz, bei dem Computer lernen, Bilder zu „sehen“ und zu verstehen. Um dies zu lösen, verwenden Wissenschaftler oft einen Trick namens Pose Estimation (Pose-Schätzung). Denken Sie an dies wie an ein digitales Skelett: Anstatt die ganze Person anzusehen, entfernt der Computer Haut und Kleidung, um nur die Gelenke und Knochen einer Strichmännchen-Figur zu sehen. Dies hilft dem Computer, sich auf die Form der Pose zu konzentrieren und den unordentlichen Hintergrund zu ignorieren. Aber hier ist die große Frage: Ist es besser, das rohe Foto anzusehen, oder ist es besser, das saubere Skelett anzusehen? Und welches „Gehirn“ (oder Deep-Learning-Modell) ist am besten darin, diese Skelette zu lesen? Genau das wollten die Forscher in dieser Arbeit herausfinden, um Menschen dabei zu helfen, sicher Yoga zu praktizieren, ohne dass ein menschlicher Lehrer direkt neben ihnen stehen muss.
Diese Arbeit mit dem Titel „Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models“ ist im Grunde ein riesiger Geschmackstest, um zu sehen, welche Kombination aus „Augen“ und „Gehirn“ am besten funktioniert, um Yoga-Posen zu erkennen. Die Autoren, ein Team der Premier University in Bangladesch, erstellten ihre eigene spezielle Sammlung von Yoga-Bildern namens „Yoga-16“. Sie wählten 16 beliebte Posen aus, die von einfachen wie der „Stuhl-Pose“ bis hin zu schwierigen wie der „Herrin des Tanzes“ reichen, und bereinigten die Bilder, um sicherzustellen, dass sie hochwertig und ausgewogen sind.
Um ihre Ideen zu testen, probierten sie drei verschiedene Wege aus, um Bilder in ihre Computergehirne einzuspeisen:
- Direkte Bilder: Dem Computer das vollständige, rohe Foto zu zeigen.
- MediaPipe-Skelette: Dem Computer ein Bild zu zeigen, in dem die Person mithilfe eines Tools namens MediaPipe in ein sauberes Strichmännchen-Skelett verwandelt wurde.
- YOLOv8-Skelette: Dem Computer ein Strichmännchen-Skelett zu zeigen, das von einem anderen Tool namens YOLOv8 erstellt wurde.
Sie ließen diese Bilder dann durch drei berühmte Computer-„Gehirne“ (Deep-Learning-Modelle) laufen: VGG16, ResNet50 und Xception. Dies sind wie verschiedene Typen von extrem peniblen Studenten, die jeweils eine einzigartige Art haben, Muster zu studieren.
Die Ergebnisse waren sehr deutlich und für einige überraschend. Die Arbeit fand heraus, dass skelettbasierte Repräsentationen die Gewinner sind. Als der Computer anstelle der unordentlichen Fotos auf die sauberen Strichmännchen-Skelette schaute, wurde er viel besser darin, die Pose zu erraten. Speziell das VGG16-Modell, das mit MediaPipe-Skeletten gefüttert wurde, erreichte die höchste Genauigkeit von 96,09 %. Das bedeutet, es hat die Pose fast jedes Mal richtig erraten. Im Vergleich dazu sank die Genauigkeit desselben Modells, wenn es die rohen Fotos betrachtete, auf 86,33 %. Auch die anderen Modelle, ResNet50 und Xception, schnitten mit Skeletten besser ab als mit rohen Fotos, aber VGG16 war der Champion.
Die Forscher hielten sich nicht nur an Zahlen; sie nutzten ein Werkzeug namens Grad-CAM, um in das Gehirn des Computers zu schauen und zu sehen, worauf er achtete. Es stellte sich heraus, dass der Computer bei der Verwendung der MediaPipe-Skelette perfekt auf die wichtigen Teile fokussiert war, wie etwa den Winkel eines Arms oder die Beugung eines Knies, und alles andere ignorierte. Sie stellten jedoch auch fest, dass der Computer manchmal durch Posen verwirrt wurde, die sich sehr ähnlich sehen, wie die „Delfin-Planke“ und die „Fisch-Pose“, da ihre Strichmännchen-Formen fast identisch sind.
Die Arbeit argumentiert explizit gegen die Idee, dass Rohbilder immer der beste Weg sind, um einem Computer Yoga beizubringen. Ihre Experimente legen nahe, dass das Entfernen des Hintergrundrauschens und die Konzentration auf die Skelettstruktur das System viel zuverlässiger macht. Sie widerlegten auch die Vorstellung, dass alle Skelett-Tools gleich sind; sie fanden heraus, dass das MediaPipe-Tool für diese spezifische Aufgabe stabilere und genauere Skelette erzeugte als das YOLOv8-Tool.
Obwohl die Ergebnisse beeindruckend sind, sind die Autoren vorsichtig damit, zu behaupten, sie hätten Yoga „für immer gelöst“. Sie merken an, dass ihr Datensatz, Yoga-16, relativ klein ist (mit etwa 80 Bildern pro Pose), und dass sie eine Kreuzvalidierung (Cross-Validation) verwendet haben, um sicherzustellen, dass ihre Ergebnisse solide sind, wobei sie einen konsistenten Wert von etwa 93,55 % erreichten, selbst wenn sie mit verschiedenen Datenschnitten getestet wurden. Sie testeten das Modell auch mit einem neuen, benutzerdefinierten Satz von Bildern, die von YouTube aufgenommen wurden, um zu sehen, ob es mit der Unordnung der realen Welt umgehen kann, und es funktionierte immer noch gut, wenngleich mit einem leichten Rückgang der Genauigkeit auf 93,75 %.
Kurz gesagt deutet diese Arbeit darauf an, dass man, wenn man eine App bauen möchte, die Menschen hilft, Yoga korrekt zu praktizieren, die Person wahrscheinlich zuerst auf ein digitales Skelett reduzieren sollte und ein VGG16-Modell verwenden sollte, um dieses zu lesen. Dies ist ein Schritt in Richtung, Yoga zugänglicher zu machen und sicherzustellen, dass selbst wenn Sie keinen Guru im Raum haben, Ihr digitaler Assistent genau weiß, wie sich Ihre Wirbelsäule beugen sollte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.