Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

Seit Jahrzehntenen basiert die Art und Weise, wie Computer Musik für Menschen vorschlagen, darauf, was diese Menschen angeben, was sie mögen. Algorithmen analysieren die Hörhistorie, die Lieder, die man hoch bewertet, oder die Playlists, die man erstellt, um zu erraten, welches der nächsten Lieblingsstücke man hören wird, basierend auf den vergangenen Entscheidungen. Während diese Methode für viele gut funktioniert, übersieht sie einen grundlegenden Teil dessen, wie Menschen Musik erleben: den Körper. Musik und Bewegung sind in der menschlichen Kultur tief miteinander verknüpft; wir klopfen instinktiv mit den Füßen, wiegen uns oder bewegen unseren ganzen Körper als Reaktion auf Rhythmus und Tempo. Dennoch berücksichtigen Standard-Empfehlungssysteme diese physische Reaktion selten. Sie behandeln Musik als etwas, das gehört werden soll, nicht als etwas, das gefühlt und durch Bewegung ausgedrückt werden kann. Diese Lücke lässt eine Frage unbeantwortet: Könnte ein Computer lernen, Musik zu empfehlen, indem er beobachtet, wie sich ein Mensch bewegt, anstatt zu fragen, was er hören möchte?

Ein Team von Forschern unternahm den Versuch, diese Möglichkeit zu erforschen, indem es ein System entwickelte, das Tanzvideos betrachtet, um die passende Musik vorzuschlagen. Ihre Arbeit konzentriert sich auf die Verbindung zwischen der spezifischen Art und Weise, wie sich ein Mensch bewegt, und den musikalischen Qualitäten des Liedes, das dieser Bewegung begleitet. Anstatt sich auf das explizite Feedback eines Nutzers oder eine Datenbank vergangener Bewertungen zu verlassen, analysiert das System die physische Dynamik einer Tanzperformance. Es untersucht die Positionen der Gelenke eines Tänzers im Zeitverlauf sowie die akustischen Eigenschaften der Musik, um Muster zu finden, die bestimmte Bewegungsstile mit bestimmten Arten von Klang verknüpfen. Das Ziel war zu sehen, ob ein Computer lernen kann, einen Tanzstil mit seinem idealen musikalischen Partner abzustimmen, was effektiv den üblichen Prozess der Suche nach einem Tanz für ein Lied umkehrt.

Um diese Idee zu testen, sammelte das Forscherteam eine Sammlung von Tanzvideos, die fünf verschiedene Stile repräsentierten: Ballett, Hip-Hop, Salsa, zeitgenössischen Tanz und Tap-Tanz. Sie haben die Tänzer nicht selbst gefilmt; stattdessen nutzten sie öffentlich verfügbare Videos aus dem Internet und wählten dabei sorgfältig Clips aus, die die Tänzer deutlich von vorne und mit minimalen Hindernissen zeigten. Aus diesen Videos extrahierten sie zwei Arten von Informationen. Zuerst nutzten sie ein Computer-Vision-Tool, um den Körper des Tänzers abzubilden, wobei sie in jedem einzelnen Frame des Videos dreiunddreißig Schlüsselpunkte des Skeletts identifizierten, wie etwa Ellbogen, Knie und Schultern. Dies erzeugte ein digitales Skelett, das sich mit dem Tänzer mitbewegte. Aus diesen beweglichen Punkten berechnete das System, wie weit die Gelenke voneinander entfernt waren und welche Winkel sie bildeten, wodurch der komplexe visuelle Eindruck des Tanzes in einen Satz von Zahlen verwandelte, die die Bewegung beschreiben.

Zweitens analysierten die Forscher die Tonspur aus jedem Video. Sie konvertierten den Sound in eine visuelle Darstellung seiner Frequenzen und konzentrierten sich dabei auf den Rhythmus, die Energie und den Ton der Musik. Durch die Kombination der Zahlen, die die Körperbewegung beschreiben, mit den Zahlen, die den Klang beschreiben, erstellten sie ein einzelnes, detailliertes Profil für jeden Tanzclip. Dieses Profil erfasste sowohl die visuelle als auch die auditive Essenz der Performance. Das Team speiste diese Daten dann in eine Art künstliche Intelligenz ein, die darauf ausgelegt ist, Sequenzen von Ereignissen zu verstehen. Im Gegensatz zu Standardprogrammen, die Daten nur in eine Richtung betrachten, betrachtete dieses System die Tanz- und Musiksequenzen sowohl vorwärts als auch rückwärts. Dies ermöglichte es, den Kontext einer Bewegung zu verstehen, indem gesehen wurde, wie eine Pose in einem Moment mit den Schritten zusammenhing, die vor und nach ihr kamen – ganz so, wie ein Mensch einen Satz versteht, indem er ihn von Anfang bis Ende liert und dann über den gesamten Gedanken reflektiert.

Die Forscher trainierten dieses System, die fünf Tanzstile basierend auf den kombinierten Bewegungs- und Audiodaten zu erkennen. Als sie das System testeten, erwies es sich als bemerkenswert effektiv darin, zwischen den verschiedenen Stilen zu unterscheiden. Die erfolgreichste Version des Modells, die sowohl die Bewegungsdaten als auch die Audiodaten gemeinsam nutzte, identifizierte den Tanzstil in mehr als einundneunzig Prozent der Testfälle korrekt. Diese Leistung war signifikant besser als Modelle, die sich nur auf die Bewegung oder nur auf den Klang verließen. Beispielsweise hatte ein System, das nur die Körperbewegungen des Tänzers ohne die Musik betrachtete, Schwierigkeiten, genaue Unterscheidungen zu treffen, und erreichte eine Genauigkeit von weniger als der Hälfte. Ähnlich verhielt es sich mit einem System, das die Bewegung ignorierte und nur der Musik lauschte; dieses performte zwar gut, aber nicht so gut wie der kombinierte Ansatz. Dies deutet darauf an, dass die Musik selbst zwar starke Hinweise auf den Tanzstil liefert, die Art und Weise, wie sich der Körper bewegt, jedoch essenzielle, ergänzende Informationen bereitstellt, die das Verständnis des Computers schärfen.

Die Studie verglich ihr fortschrittliches System zudem mit einfacheren, traditionellen Methoden und anderen Arten künstlicher Intelligenz. Das kombinierte Modell übertraf Standard-Maschinelle-Lernwerkzeuge und sogar andere komplexe neuronale Netze, die die Daten nicht in Vorwärts- und Rückwärtsrichtung betrachteten. Die Forscher fanden heraus, dass die Fähigkeit, die gesamte Sequenz von Bewegung und Klang von beiden Enden her zu sehen, entscheidend war, um die subtilen, langfristigen Verbindungen zwischen der Geste eines Tänzers und dem Beat der Musik zu erfassen. In ihren Tests zeigte das System eine hohe Präzision, was bedeutet, dass es, wenn es eine Empfehlung aussprach, fast immer korrekt war. Es zeigte auch eine hohe Vollständigkeit, indem es erfolgreich den richtigen musikalischen Partner für fast jeden Tanzstil im Datensatz identifizierte.

Obwohl die Ergebnisse stark waren, merkten die Forscher an, dass das System nicht perfekt ist. Es gab einige Fälle, in denen der Computer einen Stil mit einem anderen verwechselte, insbesondere bei subtileren oder komplexeren Bewegungen wie Tap oder zeitgenössischem Tanz. Dies deutet darauf hin, dass das System zwar die allgemeinen Regeln gelernt hat, wie diese Tänze mit Musik zusammenhängen, aber noch Raum für Verbesserungen besteht, etwa durch das Training an einer noch größeren Vielfalt an Performances. Die Studie hob auch hervor, dass das System dadurch arbeitet, die Beziehung zwischen Bewegung und Musik zu lernen, anstatt nur die Tanzschritte auswendig zu lernen. Dies bedeutet, dass der Ansatz potenziell dazu verwendet werden könnte, Musik für einen Tänzer zu empfehlen, der einen Tanzstil ausführt, den der Computer noch nie zuvor gesehen hat, sofern die Bewegungsmuster Ähnlichkeiten mit dem auf dem liegen, was er bereits gelernt hat.

Letztendlich zeigt diese Arbeit, dass die menschliche Bewegung ein kraftvolles Signal für das Verständnis musikalischer Vorlieben ist. Indem die Forscher einen Computer darauf trainierten, zuzusehen, wie sich ein Körper im Einklang mit einem Lied bewegt, schufen sie eine neue Art, Tanz und Musik zu verknüpfen. Die Ergebnisse legen nahe, dass zukünftige Musikempfehlungssysteme über einfache Hörhistorien hinausgehen und körperliches Verhalten einbeziehen könnten, um Vorschläge zu liefern, die mit der verkörperten Erfahrung eines Nutzers von Rhythmus und Energie übereinstimmen. Das System ersetzt nicht den menschlichen Geschmack, sondern bietet eine neue Linse, durch die man die tiefe, natürliche Verbindung zwischen der Musik, die wir hören, und der Art und Weise, wie wir uns bewegen, betrachten kann.