🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

Cet article introduit MulTTiPop, un ensemble de données comprenant 572 segments de musique pop diversifiés alignés avec des enregistrements MIDI multipistes, qui est utilisé pour évaluer et démontrer d'importants écarts de performance dans les modèles de transcription musicale automatique de pointe.

Auteurs originaux : Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Publié 2026-07-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à lire la musique à l'oreille. Vous voulez qu'il écoute une chanson pop complète — batterie, basse, guitares, voix, le tout mixé ensemble — et qu'il écrive exactement ce que chaque instrument joue. Ça a l'air cool, n'est-ce pas ? Mais voici le problème : jusqu'à présent, nous n'avions pas de bon « corrigé » pour vérifier s'il faisait correctement son travail. La plupart des corrigés existants étaient soit pour un piano solo (trop facile), soit créés par des ordinateurs (trop parfaits), soit ne listaient que la mélodie principale et les accords (trop simples).

Entrez en scène MulTTiPop, un nouveau jeu de données créé par des chercheurs de l'Université Carnegie Mellon pour résoudre ce problème. Voyez MulTTiPop comme une immense playlist de 3,5 heures de succès pop réels, allant des années 1930 jusqu'aux années 2000, couplée à une « partition magique » qui indique exactement ce que fait chaque instrument, à la milliseconde près.

Le grand jeu des correspondances

Comment l'ont-ils construit ? C'était comme une partie de « Trouvez la correspondance » à enjeux élevés.

Les indices : Ils ont commencé avec une liste géante de vidéos YouTube de chansons pop (provenant d'une base de données appelée TheoryTab) et une immense bibliothèque de partitions numériques (provenant du jeu de données Lakh MIDI).
Le premier filtre : Ils ont utilisé une magie informatique pour faire correspondre les titres de chansons et les noms d'artistes. Si les noms étaient presque identiques, ils gardaient la paire. Cela a réduit le nombre à environ 1 164 correspondances potentielles.
Le virage du tempo : C'est ici que cela devient délicat. Même si la chanson est la même, le « rythme » dans la partition numérique peut être légèrement plus rapide ou plus lent que dans la vraie vidéo YouTube. C'est comme deux personnes essayant de danser sur la même chanson, mais l'une d'elles traîne un peu les pieds.
La touche humaine : Pour corriger le timing, les chercheurs ont utilisé une astuce ingénieuse. Ils ont trouvé un « battement d'ancrage » spécifique (un moment où la musique s'aligne parfaitement) puis ont étiré ou compressé la partition numérique pour qu'elle corresponde parfaitement au rythme de la vidéo réelle. Mais les ordinateurs ne sont pas parfaits pour choisir cet ancrage. Ils ont donc demandé à des annotateurs humains (des étudiants passionnés de musique et de technologie) d'écouter la vidéo et de regarder la partition numérique côte à côte pour choisir l'alignement correct.

Au final, ils ont réussi à aligner 572 segments de musique. Cela représente environ 3,5 heures d'audio, couvrant 374 chansons uniques jouées par 263 artistes différents.

Le test de réalité : Les robots ont encore un long chemin à parcourir

Les chercheurs n'ont pas seulement construit le jeu de données ; ils ont immédiatement mis à l'épreuve les meilleurs musiciens robots. Ils ont demandé à deux modèles d'IA de haut niveau (appelés MT3 et YourMT3+) d'écouter ces clips de MulTTiPop et d'écrire les notes.

Les résultats ? Les robots ont eu du mal.

Le meilleur modèle n'a obtenu qu'environ 38 % de notes de départ correctes (une métrique appelée « Onset F1 »).
Les robots se sont souvent emmêlé les pinceaux lorsque la musique devenait dense. Ils pouvaient entendre la mélodie mais manquer la basse, ou rester bloqués sur un instrument et ignorer les autres.
Un modèle a tenté de deviner les voix, mais les a étiquetées comme un saxophone (ce qui est drôle, mais faux).

L'article suggère que la raison pour laquelle ces robots échouent est qu'ils ont été principalement entraînés sur de la musique factice générée par ordinateur (comme le jeu de données Slakh2100) plutôt que sur de véritables enregistrements pop commerciaux et désordonnés. C'est comme enseigner à un chef comment cuisiner en ne lui montant que des modèles de nourriture en plastique parfaits, puis en lui tendant un vrai steak grésillant et en attendant qu'il sache quoi en faire.

Ce que ce jeu de données est (et n'est pas)

Les auteurs sont très clairs sur les règles du jeu :

C'EST pour tester : MulTTiPop est un « examen final » pour l'IA de transcription musicale. Il est conçu pour nous montrer là où les robots échouent afin que nous puissions les corriger.
Ce N'EST PAS pour l'entraînement : Les chercheurs excluent explicitement l'utilisation de ce jeu de données pour enseigner aux robots. Parce que les chansons sont des succès commerciaux protégés par le droit d'auteur et que le jeu de données est relativement petit, utiliser ce jeu de données pour entraîner un modèle serait injuste et juridiquement précaire.
Il a un biais : L'article admet que les chansons choisies sont principalement issues de la musique pop occidentale (artistes américains, harmonies occidentales). Il suggère que si un robot réussit sur MulTTiPop, il est bon en pop occidentale, mais nous ne pouvons pas être certains qu'il réussirait avec de la musique provenant d'autres parties du monde ou de traditions différentes.

L'essentiel à retenir

MulTTiPop est un nouvel outil vital qui fournit enfin un « corrigé » réaliste pour la musique pop complexe. Il prouve que si nos IA de transcription musicale s'améliorent sur des tâches simples, elles ont encore une marge de progression substantielle avant de pouvoir véritablement comprendre le chaos désordonné et merveilleux d'un véritable groupe de pop. Les robots obtiennent actuellement un « C- » à ce test, et les chercheurs espèrent qu'avec ce nouveau jeu de données, ils pourront les aider à étudier plus dur pour obtenir un « A » la prochaine fois.

Résumé technique : MulTTiPop

Problématique

La transcription automatique de la musique (AMT - Automatic Music Transcription) est passée de la transcription de piano solo à une couverture plus large d'instruments et de styles. Cependant, un écart important subsiste dans la transcription multitrack pour la musique pop commerciale. Les modèles existants échouent souvent sur les chansons produites commercialement car ils sont entraînés sur des données synthétiques (par exemple, Slakh2100) ou sur des domaines limités (par exemple, le piano solo dans MAESTRO). De plus, l'évaluation systématique est entravée par l'absence de jeux de données associant de l'audio pop commerciale à des transcriptions multitrack MIDI alignées temporellement avec la vérité de terrain (ground truth). Bien que des jeux de données comme TheoryTab proposent de l'audio commercial, ils ne fournissent que des annotations de mélodie et d'accords faiblement alignées, et non des MIDI multitrack complets. À l'inverse, des jeux de données comme RWC-Pop offrent du MIDI multitrack mais manquent de diversité de genres et utilisent des chansons composées spécifiquement pour la recherche plutôt que de la pop réelle.

Méthodologie

Les auteurs présentent MulTTiPop, un jeu de données créé en alignant des segments d'audio pop commerciale avec des fichiers MIDI multitrack. Le processus de construction comprend quatre étapes clés :

Correspondance basée sur les métadonnées :
- Source audio : Les segments sont extraits du jeu de données TheoryTab (25 947 cibles initiales), qui contient des annotations de mélodie/accords générées par les utilisateurs et des horodatages de vidéos YouTube.
- Source MIDI : Les fichiers MIDI multitrack proviennent du Lakh MIDI Dataset (LMD), spécifiquement le sous-ensemble correspondant au Million Song Dataset (31 305 chansons).
- Correspondance : Les auteurs calculent la distance de Levenshtein entre les métadonnées d'artiste et de titre de chanson de TheoryTab et de LMD en utilisant RapidFuzz. Ce filtrage produit 1 164 correspondances potentielles.
Alignement temporel basé sur le rythme (Beat-based) :
- Puisque les tempos MIDI diffèrent souvent légèrement de l'audio commercial, un alignement fin est nécessaire.
- Détection du rythme (Beat Tracking) : Les auteurs utilisent un suivi de rythme basé sur un RNN (via madmom) sur le segment audio (avec un padding de 0,5 s) pour extraire une grille de battements audio ( $b_a$ ). La grille de battements MIDI ( $b_m$ ) est dérivée de la structure interne du fichier.
- Déformation (Warping) : Pour gérer les écarts de tempo, le système effectue une interpolation linéaire sur les durées des notes MIDI. Il définit un battement ancre $k$ qui lie le premier battement audio au $k$ -ème battement MIDI, déformant le MIDI pour qu'il corresponde au timing de l'audio.
Sélection des battements ancres candidats :
- La sélection automatique du battement ancre s'est révélée peu fiable. Les auteurs génèrent jusqu'à quatre alignements candidats en utilisant différentes métriques :
  - Base : Similarité cosinus de Chroma et corrélation d'onset (Pearson) entre le MIDI déformé et l'audio.
  - Mélodie : Chroma cosinus entre les annotations de mélodie de TheoryTab et les différentes parties instrumentales MIDI (pondéré à 75 %).
  - Timing YouTube (yt) : Filtrage des battements basés sur le temps de début absolu de la vidéo YouTube par rapport à la durée totale du MIDI.
  - Combiné (yt_melody) : Application de la métrique de mélodie aux battements filtrés par le timing YouTube.
Annotation humaine :
- Des annotateurs humains (étudiants en informatique et technologie musicale) examinent les candidats. Ils sont présentés avec l'audio original, une visualisation en piano roll, une version MIDI synthétisée, et une superposition audio/MIDI.
- Les annotateurs sélectionnent l'alignement qui correspond le mieux à l'audio. Si aucun candidat n'est parfait, l'échantillon est rejeté. Les annotateurs distinguent également les échements causés par une mauvaise correspondance de métadonnées (mauvaise chanson) des problèmes d'alignement (mauvais battement/tempo).

Contributions clés

Jeu de données MulTTiPop : Une collection de 572 segments (3,5 heures) de musique pop commerciale associés à des transcriptions MIDI multitrack alignées temporellement.
Diversité : Le jeu de données couvre 374 chansons uniques et 263 artistes allant des années 1930 aux années 2000, couvrant 101 genres (ex: Rock, New Wave, Motown). Cela dépasse significativement la diversité de genres de RWC-Pop.
Vérité de terrain audio commercial : Contrairement aux jeux de données synthétiques, MulTTiPop fournit une vérité de terrain pour des enregistrements commerciaux entièrement produits, comblant ainsi le fossé "synthétique-vers-réel" dans l'AMT.
Protocole d'évaluation : Le jeu de données est divisé en ensembles de développement (169 segments) et de test (403 segments), stratifiés par artiste pour éviter la fuite de données (data leakage). Les auteurs recommandent explicitement d'utiliser MulTTiPop uniquement pour l'évaluation, et non pour l'entraînement, en raison de sa taille et des contraintes de droits d'auteur.

Résultats

Les auteurs ont évalué deux modèles d'AMT de pointe, MT3 et YourMT3+, sur le jeu de test de MulTTiPop :

Performance : Les deux modèles performent mal par rapport à leurs résultats sur d'autres benchmarks (ex: MusicNet, GuitarSet).
- YourMT3+ a obtenu le meilleur F1 d'Onset de 37,87 % (Harmonique-Percussif) et 25,29 % (Exact).
- MT3 a obtenu un F1 d'Onset de 36,83 % (Harmonique-Percussif) et 28,42 % (Exact).
Analyse qualitative :
- Les modèles ont eu du mal avec la musique textuellement dense, échouant souvent à produire des transcriptions multitrack cohérentes.
- MT3 avait tendance à se focaliser sur une ou deux parties d'une chanson, ce qui entraînait des transcriptions décousues et des étiquetages d'instruments incohérents.
- YourMT3+ montrait une meilleure cohérence mais manquait des parties instrumentales et manquait de nuance rythmique. Il identifiait également mal les lignes vocales (les étiquetant souvent comme saxophone), ce qui n'était pas bien reflété dans les métriques "Exact".
Conclusion : Les scores faibles indiquent une "marge de progression substantielle" pour les systèmes d'AMT actuels lorsqu'ils sont appliqués à la musique pop multitrack du monde réel.

Signification et affirmations

Le papier positionne MulTTiPop comme un benchmark nécessaire pour remédier à la stagnation de l'AMT sur la pop commerciale. Sa principale importance réside dans :

Combler le fossé : Fournir le premier jeu de données de ce type associant de l'audio commercial à du MIDI multitrack complet, permettant une évaluation rigoureuse des modèles destinés à un usage réel.
Révéler les limites : Démontrer que les modèles actuels, même entraînés sur des données multitrack synthétiques (Slakh2100), échouent à se généraliser aux enregistrements commerciaux, soulignant le besoin de meilleures données ou architectures d'entraînement.
Échantillonnage représentatif : Offrir un échantillon diversifié de cas d'utilisation de la musique populaire occidentale pour l'AMT multitrack.

Limites et mises en garde :
Les auteurs notent explicitement un biais occidental dans le jeu de données, car le matériel source (TheoryTab/HookTheory) est principalement centré sur l'Amérique et l'Occident. Par conséquent, ils affirment que MulTTiPop reflète la performance sur le "canon de la musique populaire occidentale" plutôt que sur la musique mondiale. De plus, en raison de la petite taille du jeu de données et de la nature des étiquettes (audio commercial protégé par le droit d'auteur), les auteurs conseillent strictement de ne pas utiliser MulTTiPop pour l'entraînement de modèles génératifs.