Automatic dance movement quality assessment via spatiotemporal skeletal representation learning
Dieses Paper schlägt RSDQ-Net vor, ein referenzbewusstes spatiotemporales Netzwerk, das heterogene Tanzdaten in ein kanonisches Skelett vereinheitlicht, um räumliche Ausführungs- und zeitliche Phasenabweichungen separat zu modellieren und so eine State-of-the-Art-Leistung bei der automatischen Bewertung der Qualität von Tanzbewegungen über mehrere Datensätze hinweg zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des Computer Vision sind Maschinen bemerkenswert gut darin geworden, zu erkennen, was eine Person tut. Sie können ein Video betrachten und den Unterschied zwischen jemandem, der springt, rennt oder mit der Hand winkt, feststellen. Diese Fähigkeit beruht auf dem Verfolgen der Positionen der Körpergelenke, wodurch ein digitales Skelett entsteht, das sich durch die Zeit bewegt. Das Erkennen einer Aktion ist jedoch etwas anderes als das Beurteilen, wie gut sie ausgeführt wird. Ein Computer mag zwar wissen, dass eine Person versucht, eine bestimmte Bewegung auszuführen, aber er hat Schwierigkeiten zu verstehen, was die subtilen Unterschiede zwischen einem unbeholfenen Versuch und einer meisterhaften Ausführung ausmacht. Diese Lücke ist besonders groß in Bereichen wie dem Tanz, in denen die Qualität einer Darbietung von präzisem Timing, der Körperhaltung und der Koordination der Gliedmaßen abhängt, die weit voneinander entfernt liegen. Seit Jahrzehnten sind Experten die Einzigen, die in der Lage sind, diese feinen Unterscheidungen zu treffen – ein Prozess, der langsam, subjektiv und schwer skalierbar ist.
Ein Team von Forschern hat eine neue Methode entwickelt, um Computern dabei zu helfen, die Qualität menschlicher Bewegungen zu beurteilen, indem sie die Leistung eines Lernenden mit einem Standardbeispiel vergleicht. Ihr Ansatz, der in einer kürzlich veröffentlichten Studie detailliert beschrieben wird, geht über die einfache Erkennung hinaus und konzentriert sich auf die spezifischen Fehler in Timing und Körperhaltung, die einen Anfänger von einem Experten unterscheiden. Indem sie den Computer lehren, nach Abweichungen sowohl im Raum als auch in der Zeit zu suchen, kann das System eine konsistente, objektive Bewertung der Bewegungsqualität liefern. Diese Arbeit legt nahe, dass Maschinen lernen können, die Nuancen menschlicher Leistung zu verstehen, und bietet ein potenzielles Werkzeug für Training und Bewertung, das nicht auf der ständigen Anwesenheit eines menschlichen Lehrers beruht.
Die Forscher bauten ein System, das darauf ausgelegt ist, zwei sich bewegende Körper zu vergleichen: eine Zielperformance, wie etwa ein Schüler, der eine Routine übt, und eine Referenzperformance, die ein qualitativ hochwertiges Beispiel derselben Bewegung darstellt. Die zentrale Herausforderung, der sie gegenüberstanden, war, dass Menschen sich mit unterschiedlichen Geschwindigkeiten bewegen und unterschiedliche Körperproportionen haben. Wenn ein Computer einfach Bild für Bild vergleicht, könnte er eine leichte Verzögerung im Timing mit einem Fehler in der Bewegung selbst verwechseln. Um dies zu lösen, wandelt das System alle Bewegungen zunächst in ein standardisiertes digitales Skelett mit neunzehn Schlüsselpunkten um, das Kopf, Torso und Gliedmaßen abdeckt. Dies ermöglicht es dem Computer, Unterschiede in der Körpergröße oder Kleidung zu ignorieren und sich rein auf die Geometrie der Bewegung zu konzentrieren.
Sobeste die Bewegungen standardisiert sind, nutzt das System einen geschickten Mechanismus, um die Leistung des Schülers mit der des Experten abzugleichen. Anstatt einen starren, sekundenbasierten Abgleich zu erzwingen, lernt der Computer, die wahrscheinlichsten entsprechenden Momente zwischen den beiden Sequenzen zu finden. Er versteht, dass ein Schüler eine Pose vielleicht einen Bruchteil einer Sekunde später erreicht oder sie eine etwas andere Dauer lang hält. Entscheidend ist, dass das System diese Unterschiede nicht einfach glättet, um die beiden identisch aussehen zu lassen. Es behandelt den Zeitunterschied als eine spezifische Art von Daten. Der Computer trennt die Fehler in zwei Kategorien auf: die räumliche Abweichung, die misst, wie weit die Körperteile von ihren korrekten Positionen entfernt sind, und die zeitliche Abweichung, die misst, wie weit das Timing daneben liegt. Durch die Trennung dieser beiden Arten von Fehlern kann das System feststellen, ob ein Schüler mit seinem Gleichgewicht oder mit seinem Rhythmus kämpft, anstatt nur eine einzige, vage Punktzahl zu geben.
Die Forscher testeten dieses System an drei verschiedenen Datensätzen für Bewegungsdaten, von denen jeder seine eigene Art der Qualitätsdefinition besitzt. Ein Datensatz enthielt Videos von Menschen, die verschiedene Tanzstile ausführten, welche das System nutzte, um die grundlegende Struktur menschlicher Bewegung zu erlernen. Ein weiterer Datensatz enthielt Aufnahmen von Anfängern, Fortgeschrittenen und Experten, die dieselben Routinen ausführten, was es dem System ermöglichte, die Reihenfolge der Leistungsstufen zu erlernen. Ein dritter Datensatz bestand aus realen Videos, in denen Menschen bereits Paare von Leistungen gerankt hatten, um zu entscheiden, welche besser war. Das System wurde darauf trainiert, diese Rangfolgen und Leistungsstufen vorherzusagen, ohne jemals mitgeteilt bekommen zu haben, dass eine bestimmte numerische Punktzahl für eine Leistung vorliegt. Es lernte, dass eine „bessere“ Leistung einfach eine ist, die dem Referenzmodell sowohl in der Zeit als auch in der Körperhaltung näherkommt, und dass diese Qualitäten einer logischen Ordnung folgen.
Die Ergebnisse zeigten, dass das System äußerst effektiv darin war, zwischen verschiedenen Leistungsniveaus zu unterscheiden. Als es mit dem Datensatz getestet wurde, der Anfänger, Fortgeschrittene und Experten enthielt, identifizierte das System das Leistungsniveau einer Darbietung etwa zu achtundachtzig Prozent der Fälle korrekt. Dies war eine signifikante Verbesserung gegenüber bisherigen Methoden, die oft Schwierigkeiten hatten, den Unterschied zwischen einem Novizen und einem Fortgeschrittenen zu erkennen. In Tests, bei denen das System zwischen zwei Optionen die bessere Leistung wählen musste, stimmte es in mehr als einundachtzig Prozent der Fälle mit menschlichen Preisrichtern überein. Die Forscher fanden heraus, dass die Fähigkeit des Systems, aus dem Referenzbeispiel zu lernen, der entscheidende Faktor war; als sie die Möglichkeit entfernten, gegen einen Standard zu vergleichen, sank die Genauigkeit des Systems merklich. Ebenso sank die Genauigkeit, wenn sie das System dazu zwangen, die Zeitunterschiede zu ignorieren und sich nur auf die Körperpositionen zu konzentrieren, was bewies, dass beide Elemente für eine echte Bewertung essenziell sind.
Die Studie untersuchte auch, wie robust das System gegenüber unvollkommenen Eingangsdaten ist. In realen Szenarien können Kameras ein Gelenk übersehen oder das Video kann leicht wackelig sein. Die Forscher testeten das System, indem sie künstlich Rauschen zu den Daten hinzufügten und Teile des Skeletts verbargen. Selbst unter diesen schwierigen Bedingungen behielt das System einen klaren Vorteil gegenüber älteren Methoden bei. Diese Resilienz ergibt sich aus der Art und Weise, wie das System die Beziehung zwischen verschiedenen Körperteilen nutzt. Wenn der Computer eine Hand nicht klar sehen kann, kann er die wahrscheinliche Position basierend auf der Bewegung des Arms und des restlichen Körpers ableiten. Auch der referenzbasierte Vergleich hilft dabei, da das System die Bewegung des Schülers im Kontext der vollständigen Sequenz des Experten bewertet, anstatt isolierte Einzelbilder im Vakuum zu beurteilen.
Obwohl das System großes Potenzial zeigt, weisen die Forscher vorsichtig auf seine Einschränkungen hin. Es ist darauf ausgelegt, die technische Ausführung einer Bewegung gegen eine spezifische Referenz zu bewerten, nicht aber, um den künstlerischen Ausdruck, die Musikalität oder die emotionale Wirkung zu beurteilen. Das System ersetzt keinen menschlichen Lehrer, bietet aber eine Möglichkeit, konsistentes, unmittelbares Feedback zu den mechanischen Aspekten der Darbietung zu geben. Es kann einem Schüler sagen, ob er aus dem Takt ist oder ob seine Haltung nicht stimmt, aber es kann nicht die künstlerische Absicht hinter einer Bewegung erklären. Die Forscher schlagen vor, dass dieses Werkzeug besonders nützlich für das Selbsttraining oder den Fernunterricht sein könnte, bei dem ein Lernender eine Routine üben und eine objektive Analyse seines Timings und seiner Ausrichtung erhalten kann.
Die Arbeit stellt eine Verschiebung in der Art und Weise dar, wie Maschinen menschliche Bewegung verstehen. Anstatt nur zu fragen „Was macht diese Person gerade?“, fragt das System: „Wie gut macht sie es?“. Indem es das Problem in räumliche und zeitliche Abweichungen zerlegt und aus einem Standardbeispiel lernt, haben die Forscher ein Modell geschaffen, das die subtilen Unterschiede zwischen einer guten und einer großartigen Leistung erfasst. Die Ergebnisse legen nahe, dass Computer mit dem richtigen Ansatz lernen können, die Präzision menschlicher Geschicklichkeit zu würdigen, was die Tür zu neuen Formen des automatisierten Feedbacks und Trainings öffnet, die sowohl skalierbar als auch tief auf die Details der menschlichen Bewegung abgestimmt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.