The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Ce papier présente l'ensemble de données The Spheres, une collection complète d'enregistrements orchestraux multicanal comprenant plus d'une heure de performances du Colibrì Ensemble capturées avec 23 microphones, conçue pour faire progresser la recherche en apprentissage automatique sur la séparation de sources musicales, la localisation et le rendu immersif dans le domaine de la musique classique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous vous trouviez dans une grande salle de concert. L'orchestre joue, et le son est un mélange magnifique et tourbillonnant de violons, de trompettes, de percussions et de flûtes qui se fondent tous ensemble. Maintenant, imaginez que vous souhaitiez prendre cet enregistrement unique et mixé, et en extraire magiquement uniquement les violons, ou uniquement les trompettes, comme s'ils avaient été enregistrés sur des pistes séparées. C'est le défi de la séparation des sources musicales.
Pendant des décennies, les chercheurs ont appris aux ordinateurs à réaliser cette « magie musicale », mais ils l'ont principalement pratiquée sur la musique pop (comme séparer un chanteur d'un rythme de batterie). La musique classique est beaucoup plus difficile car il y a tant d'instruments qui jouent simultanément, et ils sonnent tous de manière quelque peu similaire (comme un violon et un alto).
Cet article présente un nouvel outil appelé The Spheres Dataset pour aider les chercheurs à résoudre ce problème. Voici un résumé simple de ce qu'ils ont fait et pourquoi cela compte :
1. Le studio d'enregistrement « parfait »
Habituellement, lorsqu'un orchestre enregistre un morceau, tout le monde joue ensemble dans une seule pièce. Même si vous placez un microphone juste à côté d'un violon, il entend toujours les trompettes et les percussions. C'est ce qu'on appelle la « fuite » (bleeding). C'est comme essayer d'entendre votre ami parler dans une fête bruyante ; vous l'entendez, mais vous entendez aussi tout le monde.
Pour résoudre ce problème, les chercheurs se sont rendus dans un studio d'enregistrement spécial appelé The Spheres. Ils n'ont pas simplement enregistré l'orchestre entier d'un coup. Au contraire, ils ont fait quelque chose de très inhabituel :
- Ils ont fait jouer l'orchestre un instrument à la fois.
- Pendant que seuls les violons jouaient, les trompettes, les percussions et les flûtes restaient assis en silence sur leurs chaises.
- Ils ont enregistré cela avec 23 microphones placés partout dans la pièce (certains loin, d'autres juste à côté des instruments).
- Ensuite, ils ont fait de même pour les flûtes, puis les percussions, et ainsi de suite.
Le résultat : Ils ont créé un « jeu de construction numérique ». Parce qu'ils ont enregistré chaque instrument séparément mais avec tous les microphones à l'écoute, ils peuvent maintenant mélanger et assortir les sons mathématiquement. Ils peuvent créer un mix d'orchestre réaliste (avec toutes les « fuites » naturelles et l'écho de la pièce) et ils disposent des pistes « propres » et isolées pour chaque instrument individuel.
2. Qu'y a-t-il dans la boîte ?
Le jeu de données contient :
- Deux chefs-d'œuvre célèbres : Roméo et Juliette de Tchaïkovski et la Symphonie n° 40 de Mozart.
- Pratique en solo : Chaque musicien a également joué des gammes (comme s'il s'entraînait seul sur son instrument) afin que les chercheurs puissent étudier le son spécifique de chaque instrument.
- Cartes de la pièce : Ils ont mesuré comment le son rebondit dans la pièce (appelées Réponses Impulsionnelles de la Pièce). Pensez-y comme à une « carte sonore » qui indique à un ordinateur exactement comment la pièce modifie le son, ce qui aide à rendre les enregistrements réalistes.
3. Tester la magie (Les expériences)
Les chercheurs n'ont pas simplement publié les données ; ils les ont testées pour voir à quel point il est difficile pour les ordinateurs de séparer ces sons. Ils ont mené deux tests principaux :
Test A : Trier par famille
Ils ont demandé à l'ordinateur de séparer l'orchestre en quatre grands groupes : Cordes, Bois, Cuivres et Percussions.- Le résultat : L'ordinateur s'est amélioré dans cette tâche par rapport à avant, mais il a eu du mal. C'était comme demander à un enfant de trier un tas de Legos mélangés dans quatre seaux. Cela a fonctionné correctement, mais l'ordinateur a parfois mis une trompette dans le seau « bois » par erreur.
Test B : Nettoyer les « fuites »
Ils ont demandé à l'ordinateur de prendre un enregistrement provenant d'un microphone placé près des violons (qui était plein de bruit de trompette) et de supprimer le bruit de la trompette, ne laissant que les violons.- Le résultat : C'était beaucoup plus difficile. L'ordinateur a réussi à nettoyer considérablement le son, mais ce n'était pas parfait. Cela a montré que, bien que nous puissions réduire le bruit, isoler complètement un instrument dans un orchestre complet reste un casse-tête très difficile.
4. La grande leçon
La découverte la plus importante de l'article concerne l'apprentissage d'une pièce à une autre.
- Les chercheurs ont entraîné leurs modèles informatiques en utilisant le morceau de Tchaïkovski enregistré dans leur studio.
- Lorsqu'ils l'ont testé sur le morceau de Mozart (enregistré dans le même studio), cela a fonctionné raisonnablement bien.
- Cependant, lorsqu'ils ont essayé d'utiliser ce même modèle informatique sur un enregistrement provenant d'un autre studio (le jeu de données « Operation Beethoven »), cela a échoué lamentablement.
La conclusion : Il est plus facile d'enseigner à un ordinateur de reconnaître une nouvelle chanson si elle se trouve dans la même pièce, mais il est très difficile de lui apprendre à reconnaître une chanson si la pièce, les microphones ou la configuration sont différents. L'article suggère que les futurs jeux de données doivent se concentrer sur l'enregistrement dans de nombreux types de pièces différents plutôt que sur l'enregistrement pendant longtemps dans une seule pièce parfaite.
Résumé
The Spheres Dataset est une immense bibliothèque de haute qualité d'enregistrements de musique classique où chaque instrument a été enregistré séparément, mais avec tous les sons naturels de la pièce intacts. Il offre aux chercheurs une « vérité terrain » pour tester la capacité de leur IA à séparer les instruments. L'article montre que, bien que l'IA s'améliore dans ce domaine, la « pièce » et la configuration d'enregistrement comptent plus que nous ne le pensions, et il nous reste encore un long chemin à parcourir avant que les ordinateurs ne puissent parfaitement séparer un orchestre complet comme le ferait un ingénieur humain.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.