💬 NLP

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

Le document présente MIDI-LLM, un cadre d'entraînement en deux étapes qui adapte les grands modèles de langage pour générer de la musique MIDI multipiste et des partitions de type « lead sheet » de haute qualité contrôlées par le texte, démontrant une performance et une acceptation par les utilisateurs supérieures aux bases de référence existantes grâce à des études d'ablation approfondies et une évaluation à grande échelle en aveugle en conditions réelles.

Auteurs originaux : Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où vous pouvez parler à un ordinateur et lui demander d'écrire une chanson pour vous. Dans le domaine de l'intelligence artificielle, cela s'appelle le « text-to-music » (du texte vers la musique). Pendant un certain temps, la meilleure façon de faire cela consistait à demander à l'ordinateur de générer des ondes sonores brutes, comme un enregistrement numérique. Mais voici le problème : une fois que ce son est créé, c'est comme une peinture sur une toile. On ne peut pas facilement effacer un coup de pinceau ou changer le tempo d'un simple battement de batterie sans gâcher toute l'image. Les musiciens ont besoin de quelque chose de plus flexible, quelque chose qu'ils peuvent éditer note par note. C'est là que le « MIDI » entre en jeu. Voyez le MIDI non pas comme du son, mais comme une partition numérique ou un ensemble d'instructions disant à un piano virtuel exactement quelles touches presser, avec quelle force et pendant combien de temps. C'est la différence entre un enregistrement fini et un ensemble de LEGO ; vous pouvez démonter les LEGO et construire quelque chose de nouveau.

Maintenant, imaginez que vous preniez les modèles de langage super intelligents (l'IA qui écrit des essais et répond à des questions) et que vous leur appreniez à parler ce langage musical. C'est l'idée principale derrière cette nouvelle recherche. Les scientifiques voulaient voir s'ils pouvaient transformer un expert en texte en un expert en musique, permettant aux gens de taper des choses comme « un morceau de jazz triste avec une batterie rapide » et d'obtenir en retour une partition musicale parfaitement éditable. Ils n'essayaient pas seulement de créer un joli bruit ; ils voulaient construire un outil qui aide les créateurs humains à réfléchir et à collaborer avec l'IA d'une manière qui semble naturelle et contrôlable.

Le papier : MIDI-LLM

Les chercheurs derrière ce papier, une équipe du MIT, de Hooktheory et de l'Université Carnegie Mellon, ont concocté une nouvelle recette appelée MIDI-LLM. Voyez cela comme un moyen d'améliorer un modèle de langage standard (LLM) — le genre d'IA qui écrit des histoires et résout des problèmes de mathématiques — pour qu'il puisse aussi écrire de la musique.

Habituellement, ces modèles d'IA sont comme des chefs qui ne savent cuisiner qu'avec des mots. Ils comprennent « pomme » et « tarte », mais ils ne savent pas ce qu'est un « Do dièse » ou comment l'écrire. La première étape de l'équipe a été de donner à l'IA un nouveau vocabulaire. Ils ont étendu le dictionnaire du modèle pour inclure des « jetons MIDI » spéciaux. Au lieu d'écrire une note sous la forme d'une longue phrase comme « commence à 10 secondes, dure pendant 0,5 seconde, joue un Do aigu », le modèle la voit désormais comme un symbole unique et compact, comme un code secret. C'est comme apprendre à un chef à lire une nouvelle langue où un seul mot signifie « ajouter du sel », rendant le processus de cuisine beaucoup plus rapide et efficace.

Mais donner simplement un nouveau dictionnaire au modèle ne suffit pas ; il doit apprendre à l'utiliser. L'équipe a entraîné l'IA en deux étapes distinctes, comme un étudiant en musique apprenant d'abord la théorie, puis jouant dans un groupe.

Étape 1 : La pratique en solo (Préentraînement unimodal)
D'abord, ils ont laissé l'IA s'exercer seule. Ils lui ont fourni deux types de données :

Texte lié à la musique : Des articles, des questions et des réponses sur la théorie musicale (comme « Qu'est-ce qu'un accord mineur ? »).
Fichiers MIDI autonomes : Des milliers de partitions musicales brutes sans aucune description textuelle.
Cette étape consistait à enseigner à l'IA la « syntaxe » de la musique. Elle a appris comment les notes s'assemblent, comment les rythmes fonctionnent et la structure d'une chanson, tout cela sans avoir besoin qu'un humain lui dise quoi faire. C'est comme un musicien pratiquant ses gammes et lisant une partition dans une pièce calme.

Étape 2 : Le duo (Affinage supervisé multimodal)
Ensuite, ils ont associé l'IA à un partenaire. Ils lui ont fourni des paires de texte et de musique : une incitation comme « une chanson pop joyeuse » suivie immédiatement de la partition MIDI correspondante. Cela a appris à l'IA à traduire des idées humaines en instructions musicales. Si vous disiez « jazz », elle apprenait à écrire des notes de jazz. Si vous disiez « triste », elle apprenait à écrire des accords mineurs lents. C'est le moment où l'IA apprend à écouter votre demande et à jouer réellement ce que vous avez demandé.

Ce qu'ils ont trouvé

Les résultats étaient assez impressionnants. Lorsqu'ils ont testé leur nouveau MIDI-LLM contre un concurrent récent appelé Text2midi, leur modèle l'a emporté de deux manières majeures :

Meilleure qualité : La musique qu'il générait sonnait de manière plus réaliste et respectait mieux les règles de la musique.
Meilleur contrôle : Il écoutait plus attentivement les instructions textuelles. Si vous demandiez un genre ou une ambiance spécifique, il l'exécutait réellement.
Vitesse : Comme ils utilisaient une architecture d'IA standard (basée sur Llama 3.2), ils pouvaient utiliser des outils informatiques existants et très rapides pour faire fonctionner le modèle. Leur modèle était 7 à 13 fois plus rapide que le concurrent, même s'il était légèrement plus grand.

Ils ont également testé une fonctionnalité spéciale appelée « remplissage » (infilling). Imaginez que vous avez une chanson à moitié finie et que vous voulez que l'IA écrive la partie centrale. L'équipe a découvert que l'IA était très douée pour cela, mais qu'il y avait un équilibre délicat. Si l'IA était trop concentrée sur le texte que vous tapiez, elle pourrait ignorer la musique que vous aviez déjà écrite. Si elle était trop concentrée sur la musique existante, elle pourrait ignorer vos nouvelles instructions textuelles. Pour corriger cela, ils ont introduit un « bouton » (appelé Classifier-Free Guidance) qui permet aux utilisateurs d'ajuster à quel point l'IA doit écouter le texte par rapport à la musique existante.

Test en conditions réelles : L'étude « In-the-Wild »

Pour voir si cela aidait réellement les gens, l'équipe ne s'est pas contentée de tests informatiques ; elle est allée dans le monde réel. Ils ont collaboré avec Hookpad, un site web où les auteurs-compositeurs créent de la musique. Ils ont laissé 58 utilisateurs réels (qui étaient déjà abonnés) essayer leur nouvel assistant IA.

Les utilisateurs devaient créer des chansons à partir de zéro ou remplir des parties manquantes de chansons. Ils pouvaient choisir parmi trois modèles d'IA différents :

L'ancien modèle (qui ne regardait que la musique, ignorant le texte).
Une version du nouveau modèle qui ignorait le texte.
Le nouveau MIDI-LLM complet (qui écoutait le texte).

Les résultats ont montré que lorsque les utilisateurs commençaient une chanson de zéro (« zero-to-one »), le plein MIDI-LLM était le grand gagnant. Il avait un taux d'acceptation presque deux fois supérieur aux autres modèles. Cela suggère que lorsque les gens essaient de lancer une nouvelle idée, pouvoir taper « fais que ça ressemble à une chanson rock des années 90 » est incroyablement précieux.

Cependant, lorsque les utilisateurs remplissaient simplement un petit écart dans une chanson existante, les résultats étaient plus mitigés. Parfois, les utilisateurs préféraient l'ancien modèle qui ignorait le texte. Les chercheurs suggèrent que c'est peut-être parce que, lorsque vous êtes déjà profondément engagé dans une chanson, vous voulez peut-être que l'IA se contente de « s'intégrer » à ce qui est déjà là, plutôt que d'essayer d'imposer une nouvelle idée qui pourrait entrer en conflit avec la mélodie existante.

L'essentiel

Le papier conclut que l'adaptation des modèles de langage étendus pour la musique est une recette puissante. En apprenant à ces modèles à parler à la fois le « texte » et le « MIDI », ils ont créé un outil qui aide les humains et l'IA à collaborer plus efficacement. Il ne s'agit pas seulement de générer du bruit ; il s'agit de donner aux créateurs un partenaire flexible, rapide et intelligent capable de transformer une simple phrase en une partition musicale complète, prête à être peaufinée et perfectionnée. L'équipe déploie déjà cela auprès de plus d'utilisateurs, avec l'espoir de voir comment cela changera la façon dont les gens écrivent de la musique à l'avenir.

Résumé Technique : MIDI-LLM

Problématique

Bien que les modèles récents de texte-vers-musique aient permis la génération d'audio réaliste à partir de prompts en langage naturel, leurs sorties sous forme d'ondes sonores restent difficiles à éditer avec précision, à restructurer ou à réutiliser dans des flux de travail créatifs en aval. Cette limitation entrave la collaboration homme-IA itérative que les grands modèles de langage (LLM) ont réussi à instaurer dans les domaines textuels. À l'inverse, les modèles du domaine symbolique qui génèrent des sorties MIDI permettent une édition et une réutilisation directes, favorisant l'agence créative. Cependant, les modèles symboliques existants manquent souvent d'un contrôle efficace par texte libre, ce qui limite leur utilité pour l'idéation rapide et l'édition basée sur des instructions. De plus, de nombreux modèles symboliques reposent sur des architectures personnalisées qui nécessitent des efforts d'ingénierie spécifiques pour accélérer l'inférence en vue d'un déploiement à l'échelle de la production, contrairement aux écosystèmes d'inférence bien développés disponibles pour les LLM en poids ouverts.

Méthodologie

Le document propose MIDI-LLM, une recette pour adapter les LLM afin d'améliorer la génération de texte-vers-MIDI et le remplissage (infilling). L'approche comprend trois composantes centrales :

1. Expansion du Vocabulaire

Pour incorporer les données MIDI dans un LLM sans la surcharge de longueur de séquence liée à la sérialisation des jetons sous forme de chaînes de caractères textuelles, les auteurs étendent la couche d'embedding des jetons du modèle Llama 3.2 (1B). Ils intègrent le vocabulaire de l'Anticipatory Music Transformer (AMT), qui représente chaque note musicale comme un triplet de jetons :

Temps d'attaque (Onset) : Quantifié par paliers de 10 ms (0–100 s).
Durée : Quantifiée par paliers de 10 ms (0–10 s).
Jeton conjoint instrument-hauteur (pitch) : Une combinaison de 129 instruments et 128 hauteurs de notes.
Cela résulte en une expansion du vocabulaire original pour inclure 55 000 nouveaux jetons MIDI. Les nouveaux poids d'embedding et la couche de dé-embedding correspondante sont initialisés de manière aléatoire.

2. Pipeline d'Entraînement en Deux Étapes

Le modèle subit un processus d'entraînement en deux étapes totalisant plus de 4 milliards de jetons :

Étape I : Pré-entraînement Continu (CPT) Unimodal : Le modèle est entraîné sur un mélange de textes liés à la musique (ex: articles de musique, connaissances synthétiques de GPT-4, notation ABC) et de données MIDI multi-pistes autonomes (GigaMIDI). Cette étape vise à faire émerger les connaissances musicales existantes au sein du LLM et à enseigner la syntaxe et la structure des données MIDI sous le cadre AMT.
Étape II : Fine-tuning Supervisé (SFT) Multimodal : Le modèle est affiné sur des données texte-MIDI appariées (MidiCaps + Lakh MIDI). Des prompts textuels décrivant le genre, l'ambiance, l'instrumentation et les accords servent d'instructions pour générer les séquences MIDI correspondantes. Cette étape inclut également des tâches de remplissage de segments (span infilling) où le modèle prédit les notes manquantes en se basant sur le contexte MIDI environnant et les instructions textuelles.

3. Spécialisation Aval et Inférence

Le modèle résultant sert de fondation pour des tâches en aval, démontrées spécifiquement sur le jeu de données TheoryTab pour la génération et le remplissage de partitions (mélodie + accords).

Guidage sans classeur (Classifier-Free Guidance - CFG) : Pour remédier au problème où le contexte MIDI environnant domine les prompts textuels lors du remplissage, les auteurs implémentent le CFG. Cela permet aux utilisateurs de négocier entre la qualité et un contrôle textuel plus fort en modulant un paramètre d'échelle ( $\lambda$ ) pendant l'inférence.
Inférence Optimisée : En préservant la structure originale des paramètres du LLM, le modèle s'intègre parfaitement aux écosystèmes d'inférence optimisés comme vLLM, utilisant des techniques telles que les graphes CUDA, l'attention par cache KV paginé et la quantification FP8.

Contributions Clés

Une Recette d'Adaptation : Une méthodologie pour adapter les LLM à la génération de texte-vers-MIDI via l'expansion du vocabulaire et un pipeline d'entraînement en deux étapes (CPT unimodal + SFT multimodal) qui s'intègre aux écosystèmes de service de LLM existants.
Instanciation Concrète : Une implémentation spécifique basée sur Llama 3.2 (1B) qui surpasse le modèle récent Text2midi tant en termes de contrôle textuel que de qualité musicale.
Spécialisation pour les Partitions (Lead Sheets) : Démonstration que MIDI-LLM peut être spécialisé pour la composition de partitions (mélodie + accords) et une étude d'ablation validant la synergie entre le pré-entraînement textuel, le pré-entraînement MIDI et le fine-tuning supervisé texte-vers-MIDI.
Validation en Conditions Réelles : Une étude utilisateur "en milieu réel" menée auprès de 58 utilisateurs de Hookpad Aria et 4 002 sorties générées, évaluant l'efficacité du modèle dans la co-création homme-IA.

Résultats

Benchmarks Quantitatifs

vs. Text2midi : Sur le jeu de données MidiCaps + Lakh MIDI, MIDI-LLM atteint une qualité musicale supérieure (FAD plus bas) et un contrôle textuel plus fort (scores CLAP plus élevés) par rapport à Text2midi.
Vitesse d'Inférence : Malgré une taille de paramètres 5 fois plus grande, MIDI-LLM atteint une inférence 7 à 13 fois plus rapide que Text2midi grâce à l'intégration de vLLM.
Étude d'Ablation : Sur la tâche en aval TheoryTab, la recette complète (combinant le pré-entraînement de texte Llama, le CPT unimodal et le SFT) atteint le meilleur équilibre entre qualité musicale et contrôlabilité textuelle.
- Le pré-entraînement textuel seul établit un contrôle fort mais produit une qualité musicale plus faible.
- Le pré-entraînement MIDI seul améliore la qualité mais entraîne un contrôle textuel faible ou incohérent.
- La combinaison des modalités révèle une synergie structurelle où les connaissances textuelles larges améliorent à la fois le contrôle et la qualité musicale.

Résultats de l'Étude Utilisateur

Génération de Zéro à Un : Pour la génération de partitions "à partir de zéro", MIDI-LLM a atteint un taux d'acceptation de 13,0 %, soit presque le double du taux de 7-8 % des bases de référence (AMT sans texte et MIDI-LLM sans texte). Cela indique une haute valeur utilisateur pour le contrôle textuel lors de l'établissement de nouvelles idées musicales.
Remplissage (Infilling) : Pour les tâches de remplissage (mélodie, accords ou les deux), la base de référence MIDI seule (AMT) a performé de manière compétitive ou supérieure. Les auteurs attribuent cela à de potentiels décalages entre contexte et contrôle, ou aux préférences des utilisateurs pour la continuité musicale plutôt que pour l'adhérence stricte au texte dans les contextes existants.
Impact Post-Étude : Suite à l'étude, le déploiement large de MIDI-LLM auprès des utilisateurs de Hookpad Aria a entraîné une augmentation de 22 % des générations et remplissages acceptés.

Signification et Revendications

L'article affirme que MIDI-LLM parvient avec succès à doter les modèles symboliques d'un contrôle textuel efficace en langage libre tout en profitant de l'efficacité et de l'écosystème des LLM en poids ouverts. En démontrant qu'une architecture de LLM unifiée peut surpasser les modèles symboliques personnalisés tant en qualité qu'en contrôle, ce travail suggère que la "recette" d'adaptation des LLM est une voie viable pour la génération musicale.

Les auteurs soulignent que leur approche soutient le type de collaboration homme-IA itérative observée dans les domaines textuels, là où les modèles d'ondes sonores peinent à le faire. L'intégration du CFG permet un contrôle ajustable sur la tension entre le contexte musical préexistant et l'intention de l'utilisateur, une caractéristique critique pour les flux de travail créatifs. Enfin, le succès du déploiement dans une plateforme de co-création réelle (Hookpad) valide l'utilité pratique de la génération de musique symbolique conditionnée par le texte pour l'idéation musicale "de zéro à un".