Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

Decennialang heeft de manier waarop computers muziek aan mensen suggereren, vertrouwd op wat die mensen zeggen te leuk te vinden. Algoritmen kijken naar je luistergeschiedenis, de nummers die je hoog beoordeelt of de afspeellijsten die je maakt, en proberen je volgende favoriete nummer te raden op basis van je eerdere keuzes. Hoewel deze methode voor velen goed werkt, mist het een fundamenteel onderdeel van hoe mensen muziek ervaren: het lichaam. Muziek en beweging zijn diep verbonden in de menselijke cultuur; we tikken instinctief met onze voeten, wiegen of bewegen ons hele lichaam als reactie op ritme en tempo. Toch houdt een standaard aanbevelingssysteem zelden rekening met deze fysieke reactie. Ze behandelen muziek als iets dat gehoord moet worden, niet als iets dat gevoeld en door middel van beweging uitgedrukt kan worden. Deze kloof laat een vraag onbeantwoord: zou een computer kan leren om muziek aan te bevelen door te kijken naar hoe een persoon beweegt, in plaats van te vragen wat ze willen horen?

Een team van onderzoekers zette zich schar toe om deze mogelijkheid te verkennen door een systeem te bouwen dat dansvideo's bekijkt om de juiste muziek te suggereren. Hun werk richt zich op de verbinding tussen de specifieke manier waarop een persoon zijn lichaam beweegt en de muzikale kwaliteiten van het nummer dat die beweging begeleidt. In plaats van te vertrouwen op de expliciete feedback van een gebruiker of een database van eerdere beoordelingen, analyseert het systeem de fysieke dynamiek van een dansprestatie. Het kijkt naar de posities van de gewrichten van de danser in de loop van de tijd en de audio-eigenschappen van de muziek om patronen te vinden die specifieke stijlen van beweging koppelen aan specifieke soorten geluid. Het doel was om te zien of een computer een dansstijl kon leren te koppelen aan zijn ideale muzikale partner, waarmee het gebruikelijke proces van het zoeken naar een dans bij een liedje effectief wordt omgedraaid.

Om dit idee te testen, verzamelden de onderzoekers een collectie dansvideo's die vijf verschillende stijlen vertegenwoordigen: ballet, hiphop, salsa, hedendaagse dans en tapdans. Ze hebben niet zelf nieuwe dansers gefilmd; in plaats daarvan gebruikten ze publiekelijk beschikbare video's van het internet, waarbij ze zorgvuldig fragmenten selecteerden die de dansers duidelijk van voren toonden met minimale obstructie. Uit deze video's extraheerden ze twee soorten informatie. Eerst gebruikten ze een computer vision-tool om het lichaam van de danser in kaart te brengen, waarbij ze drieëndertig sleutelpunten op het skelet identificeerden, zoals de ellebogen, knieën en schouders, in elk enkel frame van de video. Dit creëerde een digitaal skelet dat meebeweegt met de danser. Vanuit deze bewegende punten berekende het systeem hoe ver de gewrichten uit elkaar lagen en welke hoeken ze vormden, waardoor de complexe visuele weergave van een dans werd omgezet in een reeks getallen die de beweging beschrijven.

Ten tweede analyseerden de onderzoekers het audiospoor van elke video. Ze zetten het geluid om in een visuele representatie van de frequenties, waarbij de focus lag op het ritme, de energie en de toon van de muziek. Door de getallen die de lichaamsbeweging beschrijven te combineren met de getallen die het geluid beschrijven, creëerden ze één gedetiel profiel voor elk dansfragment. Dit profiel legde zowel de visuele als de auditieve essentie van de uitvoering vast. Het team voedde deze gegevens vervolgens aan een type kunstmatige intelligentie die ontworpen is om sequenties van gebeurtenissen te begrijpen. In tegen tegenstelling tot standaardprogramma's die gegevens in één richting bekijken, keek dit systeem naar de dans- en muzieksequenties zowel voorwaarts als achterwaarts. Dit stelde het systeem in staat om de context van een beweging te begrijpen, door te zien hoe een houding op een bepaald moment gerelateerd is aan de stappen die eraan voorafgingen en erop volgden, net zoals een mens een zin begrijpt door deze van begin tot eind te lezen en er vervolgens over na te denken.

De onderzoekers trainden dit systeem om de vijf dansstijlen te herkennen op basis van de gecombineerde bewegings- en audiogegevens. Toen ze het systeem testten, bleek het opmerkelijk effectief in het onderscheiden van de verschillende stijlen. De meest succesvolle versie van het model, die zowel de bewegingsgegevens als de audiogegevens samen gebruikte, identificeerde de dansstijl correct in meer dan eenennegentig procent van de testgevallen. Deze prestatie was aanzienlijk beter dan modellen die alleen op de beweging of alleen op het geluid vertrouwden. Zo had een systeem dat alleen naar de lichaamsbewegingen van de danser keek zonder de muziek, moeite met het maken van nauwkeurige onderscheidingen en behaalde een nauwkeurigheid van minder dan de helft. Op dezelfde manier presteerde een systeem dat de beweging negeerde en alleen naar de muziek luisterde goed, maar niet zo goed als de gecombineerde aanpak. Dit suggereert dat hoewel de muziek zelf sterke aanwijzingen bevat over de dansstijl, de manier waarop het lichaam beweegt essentiële, aanvullende informatie biedt die het begrip van de computer aanscherpt.

De studie vergeleek hun geavanceerde systeem ook met simpelere, traditionele methoden en andere soorten kunstmatige intelligentie. Het gecombineerde model presteerde beter dan standaard machine learning-tools en zelfs andere complexe neurale netwerken die de gegevens niet in beide richtingen (voorwaarts en achterwaarts) bekeken. De onderzoekers ontdekten dat het vermogen om de volledere sequentie van beweging en geluid van beide uiteinden te zien, cruciaal was voor het vastleggen van de subtiele, langdurige verbindingen tussen een gebaar van een danser en de beat van de muziek. In hun tests toonde het systeem een hoog niveau van precisie, wat betekent dat wanneer het een aanbeveling deed, het bijna altijd correct was. Het toonde ook een hoog niveau van volledigheid, waarbij het de juiste muzikale match voor bijna elke dansstijl in de dataset succesvol identificeerde.

Hoewel de resultaten sterk waren, merkten de onderzoekers op dat het systeem niet perfect is. Er waren enkele gevallen waarin de computer de ene stijl met de andere verwarde, met name bij subtielere of complexere bewegingen zoals tapdans of hedendaagse dans. Dit geeft aan dat hoewel het systeem de algemene regels heeft geleerd over hoe deze dansen zich tot muziek verhouden, er nog steeds ruimte is voor verbetering, bijvoorbeeld door het te trainen op een nog bredere variëteit aan optredens. De studie benadrukte ook dat het systeem werkt door de relatie tussen de beweging en de muziek te leren, in plaats van alleen de danspassen te onthouden. Dit betekent dat de aanpak potentieel gebruikt kan worden om muziek aan te bevelen voor een danser die een stijl uitvoert die de computer nog nooit heeft gezien, zolang de bewegingspatronen overeenkomsten vertonen met wat het heeft geleerd.

Uiteindelijk demonstreert dit werk dat menselijke beweging een krachtig signaal is voor het begrijpen van muzikale voorkeur. Door een computer te leren kijken naar hoe een lichaam beweegt in de tijd van een liedje, hebben de onderzoekers een nieuwe manier gecreëerd om dans en muziek te verbinden. De bevindingen suggereren dat toekomstige muziek aanbevelingssystemen verder kunnen gaan dan eenvoudige luistergeschiedenissen door fysiek gedrag te integreren, waardoor suggesties worden gedaan die aansluiten bij de belichaamde ervaring van ritme en energie van een gebruiker. Het systeem vervangt de menselijke smaak niet, maar biedt een nieuwe lens om de diepe, natuurlijke verbinding tussen de muziek die we horen en de manier waarop we bewegen te bekijken.