🤖 machine learning

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor est un modèle à poids ouverts qui parvient à une transcription musicale multi-instrumentale efficace sur des enregistrements du monde réel en combinant un pré-entraînement synthétique, un ajustement fin sur des données réelles, l'apprentissage par renforcement et le conditionnement par instrument pour surmonter les limites de généralisation des méthodes existantes.

Auteurs originaux : Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

Publié 2026-07-10✓ Author reviewed ⓘ

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer d'apprendre à un robot à écouter un concert de rock chaotique et à noter exactement quelle note a été jouée par quel musicien, sur quel instrument, et pendant combien de temps. C'est le travail de la Transcription Musicale Automatique (AMT). Pendant des années, des scientifiques ont construit des robots capables de transcrire parfaitement un solo de piano ou une batterie isolée, mais dès que vous introduisez un groupe complet avec des guitares électriques, des basses saturées et un chanteur en transe, les robots finissent généralement par s'effondrer. Ils sont confus par le bruit, les sons qui se chevauchent et la réalité désordonnée de la musique réelle.

Entrez en scène MuScriptor, un nouveau modèle open-source qui prétend être le premier à s'attaquer avec succès à ce chaos de « groupe complet » à travers presque tous les genres, de l'orchestre classique au heavy metal.

La recette secrète : Pratique fictive vs Concerts réels

La principale découverte de l'article est une recette spécifique pour entraîner ces robots lecteurs de musique. Les auteurs ont découvert qu'on ne peut pas simplement nourrir un robot de musique réelle en espérant qu'il apprenne rapidement, mais qu'on ne peut pas non plus se contenter de lui donner de la musique parfaite générée par ordinateur en espérant qu'il fonctionne dans le monde réel.

Pensez à l'entraînement d'un chef cuisinier.

Données synthétiques (La simulation) : L'équipe a commencé par nourrir le modèle avec 1,45 million de fichiers MIDI générés par ordinateur. C'est comme un chef s'entraînant dans une cuisine parfaite et stérile où chaque ingrédient est mesuré avec précision et où rien ne brûle jamais. L'article suggère que cela est excellent pour le « pré-entraînement » — donner au robot une avance considérable sur les bases de la théorie musicale.
Données réelles (Le restaurant) : Cependant, l'article soutient explicitement que s'arrêter à la simulation est un échec. Si vous n'entraînez le robot que sur des données fictives, il échoue lamentablement lorsqu'il entend une vraie guitare avec de la distorsion ou un chanteur avec de la réverbération. Pour y remédier, l'équipe a ajouté 170 000 enregistrements musicaux réels (totalisant plus de 11 000 heures) au mélange. C'est le « vrai restaurant » où le chef apprend à gérer des ingrédients désordonnés et imprévisibles.
Le résultat : L'article montre que la combinaison des deux est la magie. Le modèle entraîné uniquement sur des données fictives était correct pour reconnaître les notes, mais médiocre sur les détails. Mais une fois qu'ils l'ont affiné sur les enregistrements réels, les performances ont bondi d'environ 20 points de pourcentage sur toute la ligne.

Le polissage par « Apprentissage par Renforcement »

Après que le robot a appris à partir des données fictives et réelles, les auteurs lui ont donné un dernier polissage, très strict. Ils ont pris un ensemble minuscule et de très haute qualité de 300 chansons où les notes étaient parfaitement annotées par des humains. Ils ont utilisé une technique appelée Apprentissage par Renforcement (plus précisément une méthode appelée GRPO) pour permettre au modèle de s'exercer sur ces 300 pistes et d'« apprendre de ses erreurs » en comparant sa production à la version humaine parfaite.

Considérez cela comme le chef goûtant son propre plat et réalisant : « Oh, j'ai mis trop de sel », puis ajustant le tir. L'article suggère que cette étape n'a pas seulement peaufiné les chiffres ; elle a spécifiquement réduit le nombre de notes que le modèle manquait (faux négatifs) et a rendu le timing des notes plus précis.

Ce que le robot peut (et ne peut pas) faire

L'article est très clair sur ce que MuScriptor peut faire. Il peut écouter un clip audio de 5 secondes et recracher une liste de notes. On peut même lui dire : « Hé, je sais qu'il y a une guitare et une batterie dans cette chanson, mais ignore tout le reste. » Ce « conditionnement par instrument » aide le robot à rester concentré et à ne pas se tromper sur l'instrument qui joue quelle note.

Cependant, l'article exclut également certaines capacités :

Ce n'est pas magique pour les notes qui se chevauchent : Si deux personnes jouent exactement la même note sur le même instrument au même moment (comme deux violons jouant à l'unisson), le système actuel doit abandonner la plus courte pour la compter correctement. L'article admet qu'une « tokenisation » différente (une autre façon d'écrire les notes) serait nécessaire pour gérer cela parfaitement.
Ce n'est pas encore une solution « universelle » pour tous les jeux de données : Bien qu'il batte les meilleurs modèles précédents (comme YourMT3+), l'article note que sur certains jeux de données spécifiques (comme la musique chorale), le moment où une note commence et s'arrête est encore délicat. L'article suggère que annoter les temps de début et de fin précis pour certains styles de musique est intrinsèquement difficile, même pour les humains.

Le jeu des chiffres

L'article ne dit pas seulement qu'il est « meilleur » ; il le mesure.

Sur un ensemble de test de chansons diverses, le modèle final (entraîné sur des données synthétiques, des données réelles et le polissage des 300 chansons) a obtenu un score Multi F1 de 47,8 (avec un réglage spécifique appelé αCFG = 2).
Comparez cela au précédent meilleur modèle, YourMT3+, qui a obtenu 21,9 sur la même métrique. C'est un bond massif.
Même la plus petite version de leur modèle (avec 60 millions de paramètres) a réussi un score F1 de cadre de 65, ce qui suggère qu'il n'est pas nécessaire d'avoir un supercalculateur pour obtenir des résultats corrects.

L'essentiel

L'article conclut que MuScriptor est une étape importante en avant car c'est un modèle à poids ouverts (ce qui signifie que n'importe qui peut le télécharger et l'utiliser) qui fonctionne réellement sur de la musique multi-instrumentale réelle et désordonnée. Il suggère que si les données synthétiques sont un outil puissant pour les premières étapes de l'apprentissage, elles ne sont pas suffisantes à elles seules. Vous avez besoin des données réelles et désordonnées pour apprendre au robot comment gérer le chaos d'un véritable concert.

Les auteurs sont confiants dans leurs résultats car ils ont testé le modèle sur un ensemble diversifié de genres et l'ont comparé directement aux références de pointe. Ils ne prétendent pas avoir résolu tous les problèmes de la transcription musicale (comme la gestion parfaite des notes qui se chevauchent sur un même instrument), mais ils ont construit un outil bien plus utile pour les musiciens et les chercheurs que tout ce qui existait auparavant.

Résumé Technique : MuScriptor – Un modèle ouvert pour la transcription musicale multi-instrumentale

1. Énoncé du Problème

La transcription musicale automatique (AMT) vise à convertir des enregistrements audio en représentations symboliques (généralement MIDI). Bien que des progrès significatifs aient été réalisés pour les scénarios à instrument unique (ex. : piano, guitare, batterie), la transcription multi-instrumentale généraliste pour des mixages musicaux réels et complexes reste un goulot d'étranglement critique. Les modèles actuels de pointe, tels que MT3 et ses dérivés, dépendent souvent fortement de données synthétiques pour l'entraînement. Bien que ces modèles soient performants sur des ensembles de tests synthétiques, ils souffrent d'un décalage de domaine important lorsqu'ils sont appliqués à des productions réelles complexes présentant des timbres diversifiés, des fréquences chevauchantes et des effets audio (ex. : distorsion). Par conséquent, les systèmes actuels d'AMT multi-instrumentale sont souvent trop sujets aux erreurs pour des applications en musicologie, en modélisation générative ou en recherche d'information musicale (MIR).

2. Méthodologie

2.1 Architecture du Modèle

MuScriptor utilise une architecture de type Transformer uniquement décodeur (decoder-only), évitant les structures d'attention hiérarchiques ou encodeur-décodeur complexes au profit d'une conception simple mais efficace.

Entrées : Le modèle accepte un spectrogramme de Mel de 5 secondes (dérivé d'un audio mono de 16 kHz via STFT avec un nFFT de 2048, un pas de 160 et 512 bandes de Mel) et une liste optionnelle d'instruments cibles.
Conditionnement : La présence d'instruments est fournie sous forme de signal de conditionnement global (la liste complète des instruments de la piste) plutôt que par des données de segments locaux. Ces plongements (embeddings) d'instruments sont concaténés avec la projection du spectrogramme pour servir de conditionnement de préfixe au Transformer.
Tokenisation : Les annotations de notes sont tokenisées de manière similaire à MT3, mappant 128 instruments MIDI en 36 sous-groupes selon la taxonomie MT3_FULL_PLUS.
Inférence : Les transcriptions sont générées via un décodage autorégressif. Le système supporte le guidage sans classificateur (Classifier-Free Guidance - CFG) avec une force de $\alpha_{CFG} = 2$ pour améliorer la qualité de la génération.

2.2 Stratégie de Données

Le pipeline d'entraînement utilise une approche en trois étapes combinant données synthétiques et réelles :

Pré-entraînement Synthétique ( $D_{Synth}$ ) : Un ensemble de 1,45 million de fichiers MIDI est converti en audio à la volée. Le pipeline applique des augmentations aléatoires (décalage de hauteur, changements de tempo, ajustements de vélocité, randomisation des instruments) et synthétise l'audio à l'aide d'un pool de plus de 250 soundfonts avec un désaccordage (detuning) aléatoire. Cela crée une variété infinie de réalisations audio à partir des données symboliques.
Affinage sur Données Réelles ( $D_{Real}$ ) : Le modèle est affiné sur un ensemble de données organisé de 170 000 enregistrements musicaux réels (environ 11 000 heures) couvrant divers genres, du classique au heavy metal. Ces pistes comportent des annotations de notes alignées obtenues par synchronisation audio-symbolique (utilisant l'interpolation linéaire et le way de warping temporel dynamique - DTW).
Post-entraînement par Apprentissage par Renforcement ( $D_{RL}$ ) : Un petit sous-ensemble de 300 pistes de haute qualité vérifiées manuellement est utilisé pour le post-entraînement. Le modèle emploie un algorithme d'Optimisation de Politique Relative de Groupe (GRPO).
- Pour chaque lot (batch), le modèle génère $G=8$ transcriptions indépendantes.
- Les récompenses sont calculées comme la somme des scores F1 d'attaque (Onset), de cadre (Frame) et de relâchement (Offset) par rapport à la vérité terrain.
- Les avantages (advantages) sont calculés en normalisant les récompenses au sein du groupe, et le modèle est mis à jour via un objectif REINFORCE pondéré par ces avantages.

2.3 Métriques d'Évaluation

La performance est mesurée à l'aide des métriques standards de la MIR de la bibliothèque mir_eval :

F1 d'Attaque (Onset F1) : Correspondance de la hauteur avec une tolérance d'attaque de $\pm 50$ ms.
F1 de Relâchement (Offset F1) : Inclut les critères d'attaque plus une tolérance de relâchement de $\max(50\text{ms}, 0,2 \times d_{ref})$ .
F1 de Cadre (Frame F1) : Chevauchement par cadre à une résolution de 62,5 ms.
F1 Multi (Multi F1) : La métrique la plus stricte, exigeant la correspondance correcte de la hauteur, du timing et de l'instrument.
Note : Les notes se chevauchant pour un même instrument et une même hauteur sont supprimées de l'ensemble de test avant l'évaluation en raison des limitations de la tokenisation.

3. Contributions Clés

Modèle MuScriptor : La publication d'un modèle de transcription multi-instrumentale à poids ouverts et à usage général (disponible dans des tailles allant de 60M à 1,3 milliard de paramètres) capable de gérer divers genres musicaux.
Jeu de Données à Grande Échelle : La création d'un ensemble de données complet comprenant 170 000 enregistrements réels avec annotations alignées et 1,45 million de fichiers MIDI synthétiques, répondant à la rareté des données annotées multi-instrumentales.
Analyse du Pré-entraînement Synthétique : Une étude comparative démontrant que si les données synthétiques sont insuffisantes pour une transcription généraliste autonome, elles sont très efficaces pour le pré-entraînement, particulièrement lorsque les données réelles sont rares.
Alignement par Apprentissage par Renforcement : L'application d'un algorithme de type GRPO pour aligner le modèle sur des transcriptions de haute qualité, une technique auparavant inexplorée dans la littérature de l'AMT.
Transcription Conditionnée par l'Instrument : L'introduction du conditionnement optionnel par instrument, permettant aux utilisateurs de personnaliser le résultat (ex. : transcrire des instruments spécifiques) et de stabiliser les prédictions à travers les limites de segments.

4. Résultats Expérimentaux

4.1 Étapes d'Entraînement et Performance

Les expériences sur le modèle de 1,3 milliard de paramètres (évalué sur un ensemble de test réservé $D_{Test}$ ) montrent une progression claire des performances :

Synthétique Uniquement : Atteint un Frame F1 compétitif (51,3) mais un Multi F1 médiocre (15,2) et un Onset F1 faible (26,1), confirmant le décalage de domaine.
Synthétique + Réel ( $D_{Synth} + D_{Real}$ ) : L'affinage sur des données réelles produit une amélioration massive, portant le Multi F1 à 41,7 et l'Onset F1 à 54,4.
Pipeline Complet ( $D_{Synth} + D_{Real} + D_{RL}$ ) : L'ajout du post-entraînement par RL booste davantage les performances, atteignant un Multi F1 de 47,8 et un Onset F1 de 60,4 (avec $\alpha_{CFG}=2$ ).

4.2 Analyse Comparative

vs. État de l'Art : MuScriptor surpasse significativement la ligne de base YourMT3+ (un modèle SOTA robuste) sur plusieurs ensembles de tests externes (ex. : Bach10, Dagstuhl ChoirSet, RWC). Par exemple, sur le Dagstuhl ChoirSet, le Frame F1 passe de 51,0 (YourMT3+) à 80,7 (MuScriptor).
Impact du Pré-entraînement Synthétique : L'analyse montre que le pré-entraînement est plus bénéfique lorsque les données réelles sont limitées (ex. : en utilisant seulement 1 % de $D_{Real}$ , le pré-entraînement améliore l'Offset F1 de 9,9 à 33,4). Cependant, à mesure que le volume de données réelles augmente, le gain relatif du pré-entraînement diminue, bien qu'il apporte toujours un léger avantage avec 100 % des données.
Scaling du Modèle : La performance augmente avec la taille du modèle ; le modèle de 60 millions de paramètres atteint un Frame F1 de 65,7, tandis que le modèle de 1,3 milliard atteint 68,7, suggérant une applicabilité selon les contraintes de ressources.
Représentations d'Entrée : Les spectrogrammes de Mel ont surpassé les autres entrées comme le Magnitude CQT, les codecs Encodec et les embeddings MERT, suggérant que les représentations proches des propriétés du signal brut sont optimales pour cette tâche.

5. Signification et Revendications

L'article affirme que MuScriptor est le premier modèle à poids ouverts efficace pour la transcription musicale multi-instrumentale à travers une grande variété de genres.

Les auteurs soulignent que, contrairement aux approches précédentes qui reposaient sur des raffinements architecturaux (ex. : attention hiérarchique, MoE), leur succès provient principalement de l'échelle et du type de données — spécifiquement la combinaison stratégique d'un pré-entraînement synthétique à grande échelle, d'un affinage extensif sur des données réelles et d'un alignement par RL. Le modèle est présenté comme un outil fondamental pour les musiciens, les musicologues et les chercheurs en MIR et en modélisation générative, permettant des tâches auparavant entravées par l'absence d'outils de transcription précis pour les mixages complexes. Les auteurs notent modestement que des limitations subsistent concernant la tokenisation des notes se chevauchant pour un même instrument et suggèrent que les travaux futurs pourraient étendre le vocabulaire d'instruments et la taille des segments.