Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

Durante décadas, a forma como os computadores sugerem música às pessoas baseou-se no que essas pessoas dizem que gostam. Os algoritmos analisam o histórico de audição, as músicas que as pessoas classificam positivamente ou as playlists que criam, tentando adivinhar a próxima faixa favorita com base em suas escolhas passadas. Embora este método funcione bem para muitos, ele ignora uma parte fundamental de como os seres humanos experienciam a música: o corpo. A música e o movimento estão profundamente ligados na cultura humana; nós instintivamente batemos o pé, balançamos ou movemos todo o nosso corpo em resposta ao ritmo e ao tempo. No entanto, os sistemas de recomendação padrão raramente consideram esta reação física. Eles tratam a música como algo para ser ouvido, não como algo para ser sentido e expresso através do movimento. Esta lacuna deixa uma questão sem resposta: poderia um computador aprender a recomendar música observando como uma pessoa se move, em vez de perguntar o que ela quer ouvir?

Uma equipa de investigadores decidiu explorar esta possibilidade, construindo um sistema que observa vídeos de dança para sugerir a música certa. O seu trabalho foca-se na ligação entre a forma específica como uma pessoa move o seu corpo e as qualidades musicais da canção que acompanha esse movimento. Em vez de depender do feedback explícito de um utilizador ou de uma base de dados de classificações passadas, o sistema analisa a dinâmica física de uma performance de dança. Analisa as posições das articulações de um bailarino ao longo do tempo e as características de áudio da música para encontrar padrões que ligam estilos específicos de movimento a tipos específicos de som. O objetivo era ver se um computador conseguiria aprender a combinar um estilo de dança com o seu parceiro musical ideal, invertendo efetivamente o processo habitual de encontrar uma dança para uma música.

Para testar esta ideia, os investigadores reuniram uma coleção de vídeos de dança que representavam cinco estilos distintos: ballet, hip-hop, salsa, contemporânea e sapateado. Eles não filmaram novos bailarinos; em vez disso, utilizaram vídeos disponíveis publicamente na internet, selecionando cuidadosamente clipes que mostrassem os bailarinos claramente de frente e com o mínimo de obstrução. Destes vídeos, extraíram dois tipos de informação. Primeiro, utilizaram uma ferramenta de visão computacional para mapear o corpo do bailarino, identificando trinta e três pontos-chave no esqueleto, tais como cotovelos, joelhos e ombros, em cada um dos fotogramas do vídeo. Isto criou um esqueleto digital que se movia juntamente com o bailarino. A partir destes pontos móveis, o sistema calculou a distância entre as articulações e os ângulos que estas formavam, transformando o complexo visual de uma dança num conjunto de números que descreviam o movimento.

Segundo, os investigadores analisaram a faixa de áudio de cada vídeo. Converteram o som numa representação visual das suas frequências, focando-se no ritmo, na energia e no tom da música. Ao combinar os números que descreviam o movimento do corpo com os números que descreviam o som, criaram um perfil único e detalhado para cada clipe de dança. Este perfil capturou a essência visual e auditiva da performance. A equipa introduziu então estes dados num tipo de inteligência artificial concebida para compreender sequências de eventos. Ao contrário dos programas padrão que analisam os dados numa única direção, este sistema analisou as sequências de dança e música tanto para a frente como para trás. Isto permitiu compreender o contexto de um movimento, vendo como uma pose num determinado momento se relacionava com os passos que vieram antes e depois dela, tal como um ser humano compreende uma frase ao lê-la do início ao fim e depois refletir sobre o pensamento completo.

Os investigadores treinaram este sistema para reconhecer os cinco estilos de dança com base nos dados combinados de movimento e áudio. Quando testaram o sistema, este provou ser notavelmente eficaz na distinção entre os diferentes estilos. A versão mais bem-sucedida do modelo, que utilizou tanto os dados de movimento como os de áudio, identificou corretamente o estilo de dança em mais de noventa e um por cento dos casos de teste. Este desempenho foi significativamente superior aos modelos que dependiam apenas do movimento ou apenas do som. Por exemplo, um sistema que olhava apenas para os movimentos corporais do bailarino sem a música teve dificuldade em fazer distinções precisas, alcançando uma precisão inferior a metade. Da mesma forma, um sistema que ignorava o movimento e apenas ouvia a música teve um bom desempenho, mas não tão bem como a abordagem combinada. Isto sugere que, embora a música em si carregue pistas fortes sobre o estilo de dança, a forma como o corpo se move fornece informações essenciais e complementares que refinam a compreensão do computador.

O estudo também comparou o seu sistema avançado com métodos mais simples e tradicionais e outros tipos de inteligência artificial. O modelo combinado superou as ferramentas de aprendizagem automática padrão e até outras redes neuronais complexas que não analisavam os dados em ambas as direções (para a frente e para trás). Os investigadores descobriram que a capacidade de ver a sequência completa de movimento e som de ambos os lados era crucial para capturar as ligações subtis e de longo alcance entre o gesto de um bailarino e a batida da música. Nos seus testes, o sistema mostrou um alto nível de precisão, o que significa que, quando fazia uma recomendação, estava quase sempre correto. Também mostrou um alto nível de completude, identificando com sucesso o par musical correto para quase todos os estilos de dança do conjunto de dados.

Embora os resultados tenham sido fortes, os investigadores notaram que o sistema não é perfeito. Houve alguns casos em que o computador confundiu um estilo com outro, particularmente com movimentos mais subtis ou complexos, como o sapateado ou a dança contemporânea. Isto indica que, embora o sistema tenha aprendido as regras gerais de como estas danças se relacionam com a música, ainda há margem para melhoria, talvez treinando-o numa variedade ainda maior de performances. O estudo também destacou que o sistema funciona ao aprender a relação entre o movimento e a música, em vez de apenas memorizar os passos de dança. Isto significa que a abordagem poderia potencialmente ser usada para recomendar música para um bailarino que esteja a realizar um estilo que o computador nunca viu antes, desde que os padrões de movimento partilhem semelhanças com o que ele aprendeu.

Em última análise, este trabalho demonstra que o movimento humano é um sinal poderoso para compreender a preferência musical. Ao ensinar um computador a observar como um corpo se move em sintonia com uma música, os investigadores criaram uma nova forma de ligar a dança e a música. As conclusões sugerem que os futuros sistemas de recomendação musical podem ir além dos simples históricos de audição para incorporar o comportamento físico, oferecendo sugestões que se alinham com a experiência incorporada de ritmo e energia do utilizador. O sistema não substitui o gosto humano, mas oferece uma nova lente através da qual podemos ver a profunda e natural ligação entre a música que ouvimos e a forma como nos movemos.