Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

Pendant des décennies, la manière dont les ordinateurs suggèrent de la musique aux gens a reposé sur ce que ces personnes disent aimer. Les algorithmes analysent l'historique d'écoute, les chansons que l'utilisateur évalue positivement ou les listes de lecture qu'il crée, tentant de deviner son prochain morceau préféré en se basant sur ses choix passés. Bien que cette méthode fonctionne bien pour beaucoup, elle néglige une partie fondamentale de la façon dont les humains vivent la musique : le corps. La musique et le mouvement sont profondément liés dans la culture humaine ; nous tapotons instinctivement du pied, nous nous balançons ou bougeons tout notre corps en réponse au rythme et au tempo. Pourtant, les systèmes de recommandation standards considèrent rarement cette réaction physique. Ils traitent la musique comme quelque chose qui s'entend, et non comme quelque chose qui se ressent et s'exprime par le mouvement. Ce fossé laisse une question sans réponse : un ordinateur pourrait-il apprendre à recommander de la musique en observant comment une personne bouge, plutôt qu'en lui demandant ce qu'elle veut entendre ?

Une équipe de chercheurs s'est lancée dans l'exploration de cette possibilité en construisant un système qui regarde des vidéos de danse pour suggérer la musique appropriée. Leur travail se concentre sur le lien entre la manière spécifique dont un corps bouge et les qualités musicales de la chanson qui accompagne ce mouvement. Au lieu de s'appuyer sur le feedback explicite d'un utilisateur ou sur une base de données d'évaluations passées, le système analyse la dynamique physique d'une performance de danse. Il observe les positions des articulations d'un danseur au fil du temps ainsi que les caractéristiques audio de la musique pour trouver des schémas qui lient des styles de mouvement spécifiques à des types de sons spécifiques. L'objectif était de voir si un ordinateur pouvait apprendre à associer un style de danse à son partenaire musical idéal, inversant ainsi le processus habituel consistant à trouver une danse pour une chanson.

Pour tester cette idée, les chercheurs ont rassemblé une collection de vidéos de danse représentant cinq styles distincts : le ballet, le hip-hop, la salsa, la danse contemporaine et le tap. Ils n'ont pas filmé de nouveaux danseurs eux-mêmes ; ils ont plutôt utilisé des vidéos publiquement disponibles sur Internet, en sélectionnant soigneusement des clips montrant clairement les danseurs de face avec un minimum d'obstruction. À partir de ces vidéos, ils ont extrait deux types d'informations. Premièrement, ils ont utilisé un outil de vision par ordinateur pour cartographier le corps du danseur, identifiant trente-trois points clés du squelette, tels que les coudes, les genoux et les épaules, dans chaque image de la vidéo. Cela a créé un squelette numérique qui se déplace avec le danseur. À partir de ces points mobiles, le système a calculé la distance entre les articulations et les angles qu'elles formaient, transformant la complexité visuelle de la danse en un ensemble de chiffres décrivant le mouvement.

Deuxièmement, les chercheurs ont analysé la piste audio de chaque vidéo. Ils ont converti le son en une représentation visuelle de ses fréquences, en se concentrant sur le rythme, l'énergie et le ton de la musique. En combinant les chiffres décrivant le mouvement du corps avec les chiffres décrivant le son, ils ont créé un profil unique et détaillé pour chaque clip de danse. Ce profil capture l'essence visuelle et auditive de la performance. L'équipe a ensuite injecté ces données dans un type d'intelligence artificielle conçu pour comprendre les séquences d'événements. Contrairement aux programmes standards qui regardent les données dans une seule direction, ce système a examiné les séquences de danse et de musique tant vers l'avant que vers l'arrière. Cela lui a permis de comprendre le contexte d'un mouvement, en voyant comment une pose à un instant donné est liée aux pas qui la précèdent et la suivent, tout comme un humain comprend une phrase en la lisant du début à la fin puis en réfléchissant à l'ensemble de la pensée.

Les chercheurs ont entraîné ce système à reconnaître les cinq styles de danse à partir des données combinées de mouvement et d'audio. Lorsqu'ils ont testé le système, celui-ci s'est avéré remarquablement efficace pour distinguer les différents styles. La version la plus performante du modèle, qui utilisait à la fois les données de mouvement et les données audio, a correctement identifié le style de danse dans plus de quatre-vingt-onze pour cent des cas de test. Cette performance était nettement supérieure aux modèles qui ne reposaient que sur le mouvement ou uniquement sur le son. Par exemple, un système observant uniquement les mouvements du corps du danseur sans la musique peinait à faire des distinctions précises, atteignant une précision de moins de la moitié. De même, un système qui ignorait le mouvement pour n'écouter que la musique fonctionnait bien, mais pas aussi bien que l'approche combinée. Cela suggère que si la musique porte en elle des indices forts sur le style de danse, la façon dont le corps bouge fournit des informations essentielles et complémentaires qui affinent la compréhension de l'ordinateur.

L'étude a également comparé leur système avancé à des méthodes plus simples et traditionnelles, ainsi qu'à d'autres types d'intelligence artificielle. Le modèle combiné a surpassé les outils classiques d'apprentissage automatique et même d'autres réseaux neuronaux complexes qui n'examinaient pas les données dans les deux sens (vers l'avant et vers l'arrière). Les chercheurs ont découvert que la capacité de percevoir l'intégralité de la séquence de mouvement et de son depuis les deux extrémités était cruciale pour capturer les connexions subtiles et à longue portée entre le geste d'un danseur et le rythme de la musique. Lors de leurs tests, le système a fait preuve d'un haut niveau de précision, ce qui signifie que lorsqu'il faisait une recommandation, il était presque toujours correct. Il a également montré un haut niveau de complétude, identifiant avec succès la correspondance musicale appropriée pour presque chaque style de danse du jeu de données.

Bien que les résultats soient solides, les chercheurs ont noté que le système n'est pas parfait. Il y a eu quelques cas où l'ordinateur a confondu un style avec un autre, particulièrement avec des mouvements plus subtils ou complexes comme le tap ou la danse contemporaine. Cela indique que si le système a appris les règles générales de la relation entre ces danses et la musique, il reste de la marge de progression, peut-être en l'entraînant sur une variété de performances encore plus large. L'étude a également souligné que le système fonctionne en apprenant la relation entre le mouvement et la musique, plutôt qu'en mémorisant simplement les pas de danse. Cela signifie que l'approche pourrait potentiellement être utilisée pour recommander de la musique à un danseur qui exécute un style que l'ordinateur n'a jamais vu auparavant, tant que les schémas de mouvement partagent des similitudes avec ce qu'il a appris.

En fin de compte, ce travail démontre que le mouvement humain est un signal puissant pour comprendre la préférence musicale. En apprenant à un ordinateur à observer comment un corps bouge en rythme avec une chanson, les chercheurs ont créé une nouvelle façon de lier la danse et la musique. Les conclusions suggèrent que les futurs systèmes de recommandation musicale pourraient aller au-delà des simples historiques d'écoute pour incorporer le comportement physique, offrant des suggestions qui s'alignent sur l'expérience incarnée du rythme et de l'énergie de l'utilisateur. Le système ne remplace pas le goût humain, mais il offre un nouveau prisme à travers lequel percevoir le lien profond et naturel entre la musique que nous entendons et la façon dont nous bougeons.