Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

Per decenni, il modo in cui i computer suggeriscono la musica alle persone si è basato su ciò che queste persone dicono di apprezzare. Gli algoritmi analizzano la cronologia degli ascolti, le canzoni che l'utente valuta positivamente o le playlist che crea, cercando di indovinare il prossimo brano preferito in base alle scelte passate. Sebbene questo metodo funzioni bene per molti, tralascia una parte fondamentale del modo in cui gli esseri umani vivono la musica: il corpo. La musica e il movimento sono profondamente legati nella cultura umana; istintivamente battiamo il piede, dondoliamo o muoviamo tutto il corpo in risposta al ritmo e al tempo. Eppure, i sistemi di raccomandazione standard raramente considerano questa reazione fisica. Trattano la musica come qualcosa da ascoltare, non come qualcosa da sentire ed esprimere attraverso il movimento. Questo vuoto lascia una domanda senza risposta: potrebbe un computer imparare a raccomandare musica osservando come si muove una persona, piuttosto che chiedere loro cosa vogliono sentire?

Un team di ricercatori ha intrapreso l'esplorazione di questa possibilità costruendo un sistema che osserva video di danza per suggerire la musica giusta. Il loro lavoro si concentra sulla connessione tra il modo specifico in cui una persona muove il corpo e le qualità musicali del brano che accompagna quel movimento. Invece di fare affidamento sul feedback esplicito di un utente o su un database di valutazioni passate, il sistema analizza la dinamica fisica di una performance di danza. Esamina le posizioni delle articolazioni di un ballerino nel tempo e le caratteristiche audio della musica per trovare schemi che collegano stili di movimento specifici a tipi specifici di suono. L'obiettivo era vedere se un computer potesse imparare ad abbinare uno stile di danza al suo partner musicale ideale, invertendo efficacemente il processo consueto di trovare una danza per una canzone.

Per testare questa idea, i ricercatori hanno raccolto una collezione di video di danza che rappresentavano cinque stili distinti: balletto, hip-hop, salsa, danza contemporanea e tap. Non hanno filmato nuovi ballerini; hanno invece utilizzato video pubblicamente disponibili su internet, selezionando con cura clip che mostrassero chiaramente i ballerini frontalmente e con il minimo numero di ostruzioni. Da questi video, hanno estratto due tipi di informazioni. Primo, hanno utilizzato uno strumento di computer vision per mappare il corpo del ballerino, identificando trentatré punti chiave dello scheletro, come gomiti, ginocchia e spalle, in ogni singolo fotogramma del video. Questo ha creato uno scheletro digitale che si muoveva insieme al ballerino. Da questi punti in movimento, il sistema ha calcolato quanto fossero distanti le articolazioni e gli angoli che formavano, trasformando il complesso visivo di una danza in un insieme di numeri che descrivevano il movimento.

In secondo luogo, i ricercatori hanno analizzato la traccia audio di ciascun video. Hanno convertito il suono in una rappresentazione visiva delle sue frequenze, concentrandosi sul ritmo, l'energia e il tono della musica. Combinando i numeri che descrivono il movimento del corpo con i numeri che descrivono il suono, hanno creato un profilo unico e dettagliato per ogni clip di danza. Questo profilo catturava l'essenza sia visiva che uditiva della performance. Il team ha poi inserito questi dati in un tipo di intelligenza artificiale progettata per comprendere sequenze di eventi. A differenza dei programmi standard che guardano i dati in un'unica direzione, questo sistema guardava le sequenze di danza e musica sia in avanti che all'indietro. Ciò ha permesso di comprendere il contesto di un movimento, vedendo come una posa in un momento dato fosse correlata ai passi avvenuti prima e dopo, proprio come un essere umano comprende una frase leggendola da inizio a fine e riflettendo poi sull'intero pensiero.

I ricercatori hanno addestrato questo sistema a riconoscere i cinque stili di danza basandosi sui dati combinati di movimento e audio. Quando hanno testato il sistema, esso si è dimostrato straordinariamente efficace nel distinguere tra i diversi stili. La versione più efficace del modello, che utilizzava sia i dati del movimento che quelli dell'audio insieme, ha identificato correttamente lo stile di danza in più del novantuno percento dei casi di test. Questa prestazione è stata significativamente migliore rispetto ai modelli che si affidavano solo al movimento o solo al suono. Ad esempio, un sistema che guardava solo i movimenti del corpo del ballerino senza la musica faticava a fare distinzioni accurate, raggiungendo un'accuratezza inferiore alla metà. Allo stesso modo, un sistema che ignorava il movimento e ascoltava solo la musica performava bene, ma non così bene quanto l'approccio combinato. Ciò suggerisce che, sebbene la musica stessa porti indizi forti sullo stile di danza, il modo in cui il corpo si muove fornisce informazioni essenziali e complementari che affinano la comprensione del computer.

Lo studio ha anche confrontato il loro sistema avanzato con metodi più semplici e tradizionali e con altri tipi di intelligenza artificiale. Il modello combinato ha superato gli strumenti standard di machine learning e persino altre reti neurali complesse che non guardavano i dati in entrambe le direzioni, avanti e indietro. I ricercatori hanno scoperto che la capacità di vedere l'intera sequenza di movimento e suono da entrambi i lati era cruciale per catturare le sottili connessioni a lungo raggio tra il gesto di un ballerino e il ritmo della musica. Nei loro test, il sistema ha mostrato un alto livello di precisione, il che significa che quando faceva una raccomandazione, era quasi sempre corretto. Ha anche mostrato un alto livello di completezza, identificando con successo il giusto abbinamento musicale per quasi ogni stile di danza nel dataset.

Sebbene i risultati siano stati solidi, i ricercatori hanno notato che il sistema non è perfetto. Ci sono stati alcuni casi in cui il computer ha confuso uno stile con un altro, in particolare con movimenti più sottili o complessi come la danza tap o la danza contemporanea. Ciò indica che, sebbene il sistema abbia appreso le regole generali di come queste danze si relazionano alla musica, c'è ancora spazio per il miglioramento, forse addestrandolo su una varietà ancora più ampia di performance. Lo studio ha anche evidenziato che il sistema funziona imparando la relazione tra il movimento e la musica, piuttosto che limitarsi a memorizzare i passi di danza. Ciò significa che l'approccio potrebbe potenzialmente essere utilizzato per raccomandare musica per un ballerino che sta eseguendo uno stile che il computer non ha mai visto prima, purché i modelli di movimento condividano somiglianze con quanto appreso.

In definitiva, questo lavoro dimostra che il movimento umano è un segnale potente per comprendere la preferenza musicale. Insegnando a un computer a osservare come un corpo si muove in sincronia con una canzone, i ricercatori hanno creato un nuovo modo per collegare danza e musica. Le scoperte suggeriscono che i futuri sistemi di raccomandazione musicale potrebbero andare oltre la semplice cronologia degli ascolti per incorporare il comportamento fisico, offrendo suggerimenti che si allineano con l'esperienza incarnata di ritmo ed energia dell'utente. Il sistema non sostituisce il gusto umano, ma offre una nuova lente attraverso la quale guardare il profondo e naturale legame tra la musica che ascoltiamo e il modo in cui ci muoviamo.