💬 NLP

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

Het artikel introduceert MIDI-LLM, een tweestaps trainingsframework dat Large Language Models aanpast om hoogwaardige, tekstgestuurde multitrack MIDI-muziek en lead sheets te genereren, waarbij superieure prestaties en gebruikersacceptatie worden aangetoond ten opzichte van bestaande baselines door middel van uitgebreide ablatiestudies en een grootschalige real-world blinde evaluatie.

Oorspronkelijke auteurs: Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je met een computer kunt praten en het kunt vragen om een liedje voor je te schrijven. In de wereld van kunstmatige intelligentie wordt dit "text-to-music" genoemd. Een tijdje was de beste manier om dit te doen door de computer te vragen om ruwe geluidsgolven te genereren, zoals een digitale opname. Maar hier zit de adder onder het gras: zodra dat geluid is gemaakt, is het als een schilderij op een canvas. Je kunt niet gemakkelijk een enkele penseelstreek uitgummen of het tempo van alleen de drumbeat veranderen zonder het hele plaatje te verpesten. Muzikanten hebben iets flexibelers nodig, iets dat ze noot voor noot kunnen bewerken. Hier komt "MIDI" om de hoek kijken. Denk aan MIDI niet als geluid, maar als digitale bladmuziek of een set instructies die een virtuele piano precies vertelt welke toetsen hij moet indrukken, hoe hard, en hoe lang. Het is het verschil tussen een voltooide opname en een Lego-set; je kunt de Lego uit elkaar halen en iets nieuws bouwen.

Stel je nu voor dat je de superintelligente taalmodellen (de AI die essays schrijft en vragen beantwoordt) neemt en ze leert deze muzikale taal te spreken. Dat is het grote idee achter dit nieuwe onderzoek. De wetenschappers wilden zien of ze een tekstexpert in een muziekexpert konden veranderen, zodat mensen dingen kunnen typen zoals "een droevig jazznummer met een snelle drum" en in ruil daarvoor een perfect bewerkbaar muzikaal partituur krijgen. Ze probeerden niet alleen een mooi geluid te maken; ze wilden een hulpmiddel bouwen dat menselijke makers helpt bij het brainstormen en samenwerken met AI op een manier die natuurlijk en controleerbaar aanvoelt.

Het Papier: MIDI-LLM

De onderzoekers achter dit papier, een team van MIT, Hooktheory en Carnegie Mellon University, hebben een nieuw recept samengesteld genaamd MIDI-LLM. Zie dit als een manier om een standaard Large Language Model (LLM) — het soort AI dat verhalen schrijft en wiskundevragen oplost — een upgrade te geven zodat het ook muziek kan schrijven.

Normaal gesproken zijn deze AI-modellen als chefs die alleen weten hoe ze met woorden moeten koken. Ze begrijpen "appel" en "taart", maar ze weten niet hoe een "C-scherpe noot" klinkt of hoe ze die moeten opschrijven. De eerste zet van het team was om de AI een nieuw vocabulaire te geven. Ze breidden het woordenboek van het model uit met speciale "MIDI-tokens". In plaats van een noot uit te schrijven als een lange zin zoals "begin op 10 seconden, duurt 0,5 seconde, speel een hoge C", ziet het model het nu als één compact symbool, als een geheime code. Dit is alsof je een chef leert een nieuwe taal lezen waarbij één woord betekent "voeg zout toe", wat het kookproces veel sneller en efficiënter maakt.

Maar het model alleen een nieuw woordenboek geven is niet genoeg; het moet ook leren hoe het het moet gebruiken. Het team trainde de AI in twee afzonderlijke fasen, zoals een muziekstudent die eerst muziektheorie leert en dan in een band speelt.

Fase 1: De Solo-oefening (Unimodale Pretraining)
Eerst lieten ze de AI alleen oefenen. Ze voerden de AI twee soorten data:

Muziekgerelateerde tekst: Artikelen, vragen en antwoorden over muziektheorie (zoals "Wat is een mineurakkoord?").
Zelfstandige MIDI-bestanden: Duizenden ruwe muzikale partituren zonder enige tekstuele beschrijving.
Deze fase ging over het aanleren van de "syntaxis" van muziek aan de AI. Het leerde hoe noten bij elkaar passen, hoe ritmes werken en de structuur van een liedje, allemaal zonder dat er een mens aan te pas kwam om het te vertellen. Het is alsogelijk aan een muzikant die toonladden oefent en bladmuziek leest in een stille kamer.

Fase 2: Het Duet (Multimodale Supervised Finetuning)
Vervolgens koppelden ze de AI aan een partner. Ze voerden de AI paren van tekst en muziek: een prompt zoals "een vrolijk popliedje" gevolgd door direct de bijbehorende MIDI-partituur. Dit leerde de AI om menselijke ideeën te vertalen naar muzikale instructies. Als je "jazz" zei, leerde het de AI jazznoten te schrijven. Als je "droevig" zei, leerde het de AI langzame, mineur akkoorden te schrijven. Dit is het moment waarop de AI leert te luisteren naar jouw verzoek en daadwerkelijk te spelen wat je vroeg.

Wat ze vonden

De resultaten waren behoorlijk indrukwekkend. Toen ze hun nieuwe MIDI-LLM testten tegenover een recente concurrent genaamd Text2midi, kwam hun model bovendrijven op twee belangrijke gebieden:

Betere Kwaliteit: De gegenereerde muziek klonk realistischer en volgde de regels van de muziek beter.
Betere Controle: Het luisterde nauwgezetder naar de tekstuele instructies. Als je om een specifieke stemming of genre vroeg, leverde het dat ook echt aan.
Snelheid: Omdat ze een standaard AI-architectuur gebruikten (gebaseerd op Llama 3.2), konden ze bestaande, supersnelle computertools gebruiken om het model te draaien. Hun model was 7 tot 13 keer sneller dan de concurrent, ook al was het iets groter.

Ze testten ook een speciale functie genaamd "infilling". Stel je voor dat je een liedje hebt dat half af is, en je wilt dat de AI het middendeel schrijft. Het team ontdekte dat de AI hier erg goed in was, maar dat er een lastige balans bestond. Als de AI te veel gefocust was op de tekst die je typte, zou het de muziek die je al geschreven had kunnen negeren. Als het te veel gefocust was op de bestaande muziek, zou het je nieuwe tekstinstructies kunnen negeren. Om dit op te lossen, introduceerden ze een "knop" (genaamd Classifier-Free Guidance) waarmee gebruikers kunnen aanpassen hoeveel de AI moet luisteren naar de tekst versus de bestaande muziek.

Praktijktesten: De "In-the-Wild" Studie

Om te zien of dit echt mensen hielp, deden de onderzoekers niet alleen computertests; ze gingen de echte wereld in. Ze werkten samen met Hookpad, een website waar songwriters muziek creëren. Ze lieten 58 echte gebruikers (die al abonnees waren) hun nieuwe AI-co-piloot uitproberen.

De gebruikers kregen de opdracht om liedjes vanaf nul te creëren of ontbrekende delen van liedjes in te vullen. Ze konden kiezen uit drie verschillende AI-modellen:

Het oude model (dat alleen naar de muziek keek en de tekst negeerde).
Een versie van het nieuwe model die de tekst negeerde.
De volledige nieuwe MIDI-LLM (die naar tekst luisterde).

De resultaten lieten zien dat wanneer gebruikers een liedje vanaf nul begonnen ("zero-to-one"), de volledige MIDI-LLM de duidelijke winnaar was. Het had bijna twee keer zo hoog een acceptatiepercentage als de andere modellen. Dit suggereert dat wanneer mensen proberen een nieuw idee op gang te brengen, het vermogen om te typen "laat het klinken als een jaren '90 rocknummer" ongelooflijk waardevol is.

Echter, wanneer gebruikers slechts een klein gat in een bestaand liedje moesten invullen, waren de resultaten gemengder. Soms gaven de gebruikers de voorkeur aan het oudere model dat de tekst negeerde. De onderzoekers suggereren dat dit kan komen doordat je, wanneer je al diep in een liedje zit, wilt dat de AI gewoon "past" bij wat er al is, in plaats van een nieuw idee te forceren dat met de bestaande melodie zou kunnen botsen.

De Kernboodschap

Het papier concludeert dat het aanpassen van Large Language Models voor muziek een krachtig recept is. Door deze modellen te leren zowel "tekst" als "MIDI" te spreken, creëerden ze een hulpmiddel dat mensen en AI effectiever laat samenwerken. Het gaat niet alleen om het genereren van lawaai; het gaat om het bieden van een flexibele, snelle en intelligente partner die een menselijke creatieve maker helpt om een simpele zin om te zetten in een volledige muzikale partituur, klaar om te worden aangepast en geperfectioneerd. Het team is al bezig dit uit te rollen naar meer gebruikers, in de hoop te zien hoe dit de manier waarop mensen muziek schrijven in de toekomst zal veranderen.

Technische Samenvatting: MIDI-LLM

Probleemstelling

Hoewel recente tekst-naar-muziekmodellen het mogelijk hebben gemaakt om realistische audio te genereren vanuit natuurlijke taalprompts, blijven hun audio-golfvormoutputs moeilijk nauwkeurig te bewerken, te herstructureren of te hergebruiken in downstream creatieve workflows. Deze beperking belemmert de iteratieve mens-AI-samenwerking die Large Language Models (LLM's) in tekstdomeinen succesvol hebben mogelijk gemaakt. Daarentegen bieden modellen in het symbolische domein die MIDI-outputs genereren de mogelijkheid tot directe bewerking en hergebruik, wat de creatieve autonomie bevordert. Echter, bestaande symbolische modellen missen vaak effectieve vrije-tekstcontrole, wat hun bruikbaarheid voor snelle ideatie en instructiegebaseerde bewerking beperkt. Bovendien vertrouwen veel symbolische modellen op aangepaste architecturen die specifieke engineering vereisen om de inferentie te versnellen voor productie-schaalbare implementatie, in tegen tegenover de goed ontwikkelde inferentie-ecosystemen die beschikbaar zijn voor open-weight LLM's.

Methodologie

Het artikel stelt MIDI-LLM voor, een recept voor het aanpassen van LLM's om tekst-naar-MIDI-generatie en infilling te verbeteren. De aanpak bestaat uit drie kerncomponenten:

1. Vocabulaire-uitbreiding

Om MIDI-data in een LLM op te nemen zonder de sequentielengte-overhead van het serialiseren van tokens als tekststrings, breiden de auteurs de token-embeddinglaag van het Llama 3.2 (1B) model uit. Ze integreren de Anticipatory Music Transformer (AMT) vocabulaire, die elke muzikale noot representeert als een triplet van tokens:

Onset time (Aanvangstijd): Gekwantiseerd in stappen van 10ms (0–100s).
Duration (Duur): Gekwantiseerd in stappen van 10ms (0–10s).
Instrument-pitch joint token: Een combinatie van 129 instrumenten en 128 pitches.
Dit resulteert in een vocabulaire-uitbreiding van de oorspronkelijke tekstgrootte om 55K nieuwe MIDI-tokens toe te voegen. De nieuwe embeddinggewichten en de bijbehorende unembedding-laag worden willekeurig geïnitialiseerd.

2. Tweefasige trainingspipeline

Het model ondergaat een tweefasig trainingsproces met in totaal meer dan 4 miljard tokens:

Fase I: Unimodale Continued Pretraining (CPT): Het model wordt getraind op een mix van muziek-gerelateerde tekst (bijv. muziekartikelen, GPT-4 synthetische kennis, ABC-notatie) en standalone multitrack MIDI-data (GigaMIDI). Deze fase heeft als doel de bestaande muzikale kennis binnen de LLM naar boven te halen en de syntaxis en structuur van MIDI-data onder het AMT-framework aan te leren.
Fase II: Multimodale Supervised Finetuning (SFT): Het model wordt gefinetuned op gepaarde tekst-MIDI-data (MidiCaps + Lakh MIDI). Tekstprompts die genre, stemming, instrumentatie en akkoorden beschrijven, dienen als instructies om overeenkomstige MIDI-sequenties te genereren. Deze fase bevat ook span-infilling taken waarbij het model ontbrekende noten voorspelt op basis van de omliggende MIDI-context en tekstinstructies.

3. Downstream specialisatie en inferentie

Het resulterende model dient als fundament voor downstream taken, specifelijk gedemonstreerd op de TheoryTab dataset voor lead sheet (melodie + akkoorden) generatie en infilling.

Classifier-Free Guidance (CFG): Om het probleem aan te pakken waarbij de omliggende MIDI-context de tekstprompts domineert tijdens infilling, implementeren de auteurs CFG. Dit stelt gebruikers in staat om de kwaliteit af te ruilen voor sterkere tekstcontrole door tijdens de inferentie een schaalparameter ( $\lambda$ ) te moduleren.
Geoptimaliseerde inferentie: Door de oorspronkelijke LLM-parameterstructuur te behouden, integreert het model naadloos met geoptimaliseerde inferentie-ecosystemen zoals vLLM, gebruikmakend van technieken zoals CUDA-graphs, paged KV cache attention en FP8-kwantisatie.

Belangrijkste Bijdragen

Een recept voor adaptatie: Een methodologie voor het aanpassen van LLM's aan tekst-naar-MIDI-generatie via vocabulaire-uitbreiding en een tweefasige trainingspipeline (unimodale CPT + multimodale SFT) die integreert met bestaande LLM-serving ecosystemen.
Concrete instantiatie: Een specifieke implementatie gebaseerd op Llama 3.2 (1B) die het recente Text2midi-model overtreft in zowel tekstcontrole als muzikale kwaliteit.
Specialisatie voor Lead Sheets: Demonstratie dat de MIDI-LLM kan worden gespecialiseerd voor lead sheet compositie (melodie + akkoorden) en een ablatie-studie die de synergie tussen tekst-pretraining, MIDI-pretraining en tekst-naar-MIDI supervised finetuning valideert.
Validatie in de echte wereld: Een "in-the-wild" gebruikersstudie uitgevoerd met 58 Hookpad Aria-gebruikers en 4.002 gegenereerde outputs, waarbij de effectiviteit van het model voor mens-AI co-creatie wordt geëvalueerd.

Resultaten

Kwantitatieve benchmarks

vs. Text2midi: Op de MidiCaps + Lakh MIDI dataset bereikt MIDI-LLM een hogere muziekkwaliteit (lagere FAD) en sterkere tekstcontrole (hogere CLAP-scores) vergeleken met Text2midi.
Inferentiesnelheid: Ondanks een 5x groter aantal parameters, bereikt MIDI-LLM een 7–13x snellere inferentie dan Text2midi dankzij de vLLM-integratie.
Ablatie-studie: Op de TheoryTab downstream taak bereikt het volledige recept (combinatie van Llama tekst-pretraining, unimodale CPT en SFT) de beste balans tussen muziekkwaliteit en tekstuele controleerbaarheid.
- Alleen tekst-pretraining vestigt sterke controle maar levert een lagere muziekkwaliteit op.
- Alleen MIDI-pretraining verbetert de kwaliteit maar resulteert in zwakke of inconsistente tekstcontrole.
- De combinatie van modaliteiten onthult een structurele synergie waarbij brede tekstuele kennis zowel de controle als de muziekkwaliteit versterkt.

Bevindingen uit de gebruikersstudie

Zero-to-One Generatie: Bij "From Scratch" lead sheet generatie bereikte MIDI-LLM een acceptatiepercentage van 13,0%, bijna het dubbele van de 7–8% van de baselines (AMT zonder tekst en MIDI-LLM zonder tekst). Dit duidt op een hoge gebruikerswaarde voor tekstcontrole bij het vaststellen van nieuwe muzikale ideeën.
Infilling: Voor infilling-taken (melodie, akkoorden of beide) presteerde de MIDI-only baseline (AMT) competitief of beter. De auteurs schrijven dit toe aan mogelijke context-controle mismatch of gebruikersvoorkeuren voor muzikale continuïteit boven strikte tekstnaleving in bestaande contexten.
Impact na de studie: Na de studie leidde de brede uitrol van MIDI-LLM naar Hookpad Aria-gebruikers tot een toename van 22% in geaccepteerde generaties en infills.

Betekenis en Claims

Het artikel claimt dat MIDI-LLM erin slaagt om effectieve vrije-tekstcontrole in te bedden in symbolische modellen, terwijl het profiteert van de efficiëntie en het ecosysteem van open-weight LLM's. Door aan te tonen dat een verenigde LLM-architectuur aangepaste symbolische modellen kan overtreffen in zowel kwaliteit als controle, suggereert het werk dat de "recept"-benadering van het aanpassen van LLM's een levensvatbaar pad is voor muziekgeneratie.

De auteurs benadrukken dat hun aanpak de vorm van iteratieve mens-AI-samenwerking ondersteunt die gezien wordt in tekstdomeinen, waar audio-golfvormmodellen moeite mee hebben. De integratie van CFG maakt een regelbare controle mogelijk over de spanning tussen de bestaande muzikale context en de intentie van de gebruiker, een cruciale functie voor creatieve workflows. Ten slotte valideert de succesvolle implementatie in een real-world co-creatieplatform (Hookpad) het praktische nut van tekst-geconditioneerde symbolische muziekgeneratie voor "zero-to-one" muziekideatie.