A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Imaginez que vous entriez dans une pièce bondée où une douzaine d'instruments de musique différents jouent en même temps. Pour l'oreille humaine, le résultat est un mur de son unique et emmêlé. Si vous enregistriez ce bruit avec un seul microphone, l'enregistrement contiendrait chaque note, chaque rythme et chaque instrument mélangés en un flux indistinct. Pendant des décennies, les scientifiques se sont heurtés à un défi spécifique : comment prendre cet enregistrement unique et désordonné et en extraire les instruments individuels, isolant le violon de la batterie ou le piano de la flûte, sans jamais les avoir entendus seuls auparavant. C'est le problème de la séparation des sources sonores. Bien que les ordinateurs soient devenus très performants lorsqu'ils peuvent voir la vidéo de la performance, la plupart des méthodes existantes reposent sur des systèmes complexes et tout-en-un qui sont difficiles à adapter à de nouveaux instruments ou à des instruments rares.

Une équipe de chercheurs de l'Université de Yazd, en Iran, a proposé une approche différente, qui consiste à diviser le problème en deux étapes distinctes pour mieux gérer les vidéos du monde réel, y compris celles présentant des instruments de musique traditionnels persans. Leur travail, publié dans une étude récente, se concentre sur la création d'un système qui « regarde » d'abord la vidéo pour identifier quels instruments sont présents et où ils se situent, puis utilise cette information visuelle pour guider le processus de séparation de l'audio. Au lieu d'essayer de résoudre les énigmes visuelles et sonores simultanément avec un seul cerveau massif, leur méthode utilise un détecteur visuel spécialisé pour dire à un processeur audio distinct ce qu'il doit écouter. Cette conception modulaire permet au système d'être plus flexible et efficace, particulièrement pour les instruments qui se trouvent rarement dans les données d'entraînement standard.

Les chercheurs ont commencé par construire un système de détection visuelle en utilisant un modèle connu sous le nom de YOLOv8, un outil conçu pour reconnaître des objets dans des images de manière rapide et précise. Ils ont entraîné ce modèle sur une collection de 358 images annotées présentant douze types différents d'instruments de musique, un mélange de classiques internationaux comme la guitare et le piano, et d'instruments traditionnels persans tels que le Daf, le Kamancheh et le Santur. L'objectif était d'apprendre à l'ordinateur à repérer ces instruments dans les images vidéo, en dessinant un cadre autour d'eux et en les nommant. Comme l'ensemble de données était relativement restreint, l'équipe a utilisé une technique appelée apprentissage par transfert (transfer learning), qui permet à un modèle entraîné sur une vaste bibliothèque d'objets généraux d'être affiné pour ces outils musicaux spécifiques. Lorsqu'il a été testé sur de nouvelles images vidéo, le système a identifié les instruments avec une précision de 75,1 %, ce qui signifie que lorsqu'il disait avoir vu un instrument spécifique, il avait généralement raison. Il a également réussi à trouver environ 59 % de tous les instruments réellement présents dans les scènes.

Une fois que le système visuel a identifié quels instruments jouent, la seconde partie du processus commence. Les chercheurs ont développé un réseau de traitement audio distinct pour chacun des douze types d'instruments. Cela signifie que si le détecteur visuel repère une guitare et une batterie, le système ne tente pas de deviner comment les séparer à partir de zéro. Au lieu de cela, il active le réseau « Guitare » spécifique et le réseau « Batterie » spécifique. Chacun de ces réseaux est conçu pour analyser l'enregistrement audio mixé, qui a été converti en une carte visuelle des fréquences sonores au fil du temps, appelée spectrogramme. Le rôle du réseau est de créer un filtre numérique, ou un masque, qui met en évidence les parties du son appartenant à son instrument spécifique et réduit le reste au silence.

Les chercheurs ont testé ce système en deux étapes sur 420 clips vidéo du monde réel. Ils ont constaté qu'en utilisant la détection visuelle pour guider la séparation audio, le système pouvait isoler efficacement les sons des différents instruments. En moyenne, la qualité de la séparation était forte, le système atteignant un score qui indique une distinction claire entre le son cible et le bruit de fond. Pour certains instruments, comme la clarinette et la guitare, la séparation était exceptionnellement nette, tandis que d'autres, avec des fréquences plus complexes ou superposées, présentaient un plus grand défi. L'étude a également comparé leur méthode à d'autres techniques avancées et a révélé que leur approche produisait des résultats supérieurs en réduisant les interférences provenant d'autres instruments, atteignant un score de qualité de séparation moyenne de 8,75 décibels.

Une conclusion clé de cette recherche est que l'information visuelle agit comme un guide puissant, limitant les possibilités pour le système audio. En sachant exactement quels instruments sont dans la scène, le système n'a pas besoin de deviner ou de chercher parmi toutes les combinaisons de sons possibles. Cela est particulièrement précieux pour les instruments de musique persans, qui sont souvent sous-représentés dans les ensembles de données mondiaux et difficiles à reconnaître pour les modèles standards. L'étude démontre qu'un système modulaire, où la détection visuelle et la séparation audio travaillent de concert tout en restant distinctes, est un moyen pratique et efficace de démêler des performances musicales complexes. Bien que le système nécessite actuellement un modèle séparé pour chaque type d'instrument et ne puisse pas encore apprendre à séparer un tout nouvel instrument qu'il n'a jamais vu auparavant, les résultats montrent une voie claire pour améliorer la façon dont les machines comprennent et isolent le son dans le monde réel.