MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

Immaginate un mondo in cui potete parlare con un computer e chiedergli di scrivere una canzone per voi. Nel regno dell'intelligenza artificiale, questo è chiamato "text-to-music" (dal testo alla musica). Per un po', il modo migliore per farlo è stato chiedere al computer di generare onde sonore grezze, come una registrazione digitale. Ma ecco il problema: una volta che quel suono è stato creato, è come un dipinto su una tela. Non si può facilmente cancellare una singola pennellata o cambiare il tempo di un solo colpo di batteria senza rovinare l'intera immagine. I musicisti hanno bisogno di qualcosa di più flessibile, qualcosa che possano modificare nota per nota. È qui che entra in gioco il "MIDI". Pensate al MIDI non come al suono, ma come a uno spartito digitale o a un insieme di istruzioni che dicono a un pianoforte virtuale esattamente quali tasti premere, con quanta forza e per quanto tempo. È la differenza tra una registrazione finita e un set Lego; puoi smontare i Lego e costruire qualcosa di nuovo.

Ora, immaginate di prendere i modelli linguistici super intelligenti (l'IA che scrive saggi e risponde a domande) e di insegnare loro a parlare questo linguaggio musicale. Questa è la grande idea alla base di questa nuova ricerca. Gli scienziati volevano vedere se potevano trasformare un esperto di testi in un esperto di musica, permettendo alle persone di digitare cose come "un brano jazz triste con una batteria veloce" e ottenere in cambio uno spartito perfettamente modificabile. Non stavano solo cercando di creare un bel rumore; volevano costruire uno strumento che aiutasse i creatori umani a fare brainstorming e collaborare con l'IA in un modo che sembri naturale e controllabile.

Il Paper: MIDI-LLM

I ricercatori dietro questo articolo, un team proveniente dal MIT, dalla Hooktheory e dalla Carnegie Mellon University, hanno preparato una nuova ricetta chiamata MIDI-LLM. Pensatelo come a un modo per aggiornare un normale Modello di Linguaggio di Grandi Dimensioni (LLM) — il tipo di IA che scrive storie e risolve problemi di matematica — affinché possa anche scrivere musica.

Di solito, questi modelli di IA sono come chef che sanno cucinare solo con le parole. Capiscono "mela" e "torta", ma non sanno cosa sia un "Do diesis" o come scriverlo. La prima mossa del team è stata dare all'IA un nuovo vocabolario. Hanno ampliato il dizionario del modello includendo speciali "token MIDI". Invece di scrivere una nota come una frase lunga tipo "inizia a 10 secondi, dura 0,5 secondi, suona un Do alto", il modello ora la vede come un singolo simbolo compatto, come un codice segreto. Questo è come insegnare a uno chef a leggere un nuovo linguaggio dove una singola parola significa "aggiungi sale", rendendo il processo di cucina molto più veloce ed efficiente.

Ma dare al modello solo un nuovo dizionario non è sufficiente; deve imparare come usarlo. Il team ha addestrato l'IA in due fasi distinte, come uno studente di musica che prima impara la teoria e poi suona in una band.

Fase 1: L'Esercitazione Solista (Pre-addestramento Unimodale)
Per prima cosa, hanno lasciato che l'IA si esercitasse da sola. L'hanno nutrita con due tipi di dati:

1. Testi relativi alla musica: Articoli, domande e risposte sulla teoria musicale (come "Cos'è un accordo minore?").
2. File MIDI indipendenti: Migliaia di spartiti musicali grezzi senza alcuna descrizione testuale.
   Questa fase riguardava l'insegnamento della "sintassi" della musica all'IA. Ha imparato come le note si incastrano, come funzionano i ritmi e la struttura di un brano, tutto senza bisogno che un essere umano le dicesse cosa fare. È come un musicista che pratica le scale e legge lo spartito in una stanza silenziosa.

Fase 2: Il Duetto (Fine-tuning Supervisionato Multimodale)
Successivamente, hanno accoppiato l'IA con un partner. Hanno fornito all'IA coppie di testo e musica: un prompt come "una canzone pop allegra" seguito immediatamente dallo spartito MIDI corrispondente. Questo ha insegnato all'IA a tradurre le idee umane in istruzioni musicali. Se dicevi "jazz", imparava a scrivere note jazz. Se dicevi "triste", imparava a scrivere accordi minori lenti. Questo è il momento in cui l'IA impara ad ascoltare la tua richiesta e a suonare effettivamente ciò che hai chiesto.

Cosa hanno scoperto

I risultati sono stati piuttosto impressionanti. Quando hanno testato il loro nuovo MIDI-LLM contro un recente concorrente chiamato Text2midi, il loro modello è arrivato in testa in due modi principali:

1. Qualità migliore: La musica che ha generato suonava più realistica e seguiva meglio le regole della musica.
2. Controllo migliore: Ha ascoltato più attentamente le istruzioni testuali. Se chiedevi un mood o un genere specifico, lo realizzava davvero.
3. Velocità: Poiché hanno utilizzato un'architettura IA standard (basata su Llama 3.2), hanno potuto utilizzare strumenti informatici esistenti e super veloci per eseguire il modello. Il loro modello era da 7 a 13 volte più veloce del concorrente, nonostante fosse leggermente più grande.

Hanno anche testato una funzione speciale chiamata "infilling" (riempimento). Immaginate di avere una canzone a metà opera e di voler far scrivere all'IA la parte centrale. Il team ha scoperto che l'IA era bravissima in questo, ma c'era un equilibrio delicato. Se l'IA era troppo concentrata sul testo che avevi digitato, poteva ignorare la musica che avevi già scritto. Se era troppo concentrata sulla musica esistente, poteva ignorare le tue nuove istruzioni testuali. Per risolvere questo, hanno introdotto una "manopola" (chiamata Classifier-Free Guidance) che permette agli utenti di regolare quanto l'IA debba ascoltare il testo rispetto alla musica esistente.

Test nel mondo reale: Lo studio "In-the-Wild"

Per vedere se questo aiutasse davvero le persone reali, il team non si è limitato a test informatici; è andato nel mondo reale. Hanno collaborato con Hookpad, un sito web dove i cantautori creano musica. Hanno permesso a 58 utenti reali (che erano già abbonati) di provare il loro nuovo co-pilota IA.

Agli utenti è stato chiesto di creare canzoni da zero o di riempire le parti mancanti di canzoni esistenti. Potevano scegliere tra tre diversi modelli di IA:

• Il vecchio modello (che guardava solo la musica, ignorando il testo).
• Una versione del nuovo modello che ignorava il testo.
• Il nuovo MIDI-LLM completo (che ascoltava il testo).

I risultati hanno mostato che quando gli utenti stavano creando una canzone da zero ("zero-to-one"), il pieno MIDI-LLM era il vincitore assoluto. Aveva quasi il doppio del tasso di accettazione degli altri modelli. Questo suggerisce che quando le persone stanno cercando di avviare una nuova idea, essere in grado di digitare "fallo sembrare un brano rock degli anni '90' è incredibilmente prezioso.

Tuttavia, quando gli utenti stavano solo riempiendo un piccolo spazio in una canzone esistente, i risultati erano più contrastanti. A volte, gli utenti preferivano il vecchio modello che ignorava il testo. I ricercatori suggeriscono che questo potrebbe essere dovuto al fatto che, quando sei già immerso in una canzone, potresti voler che l'IA si limiti a "adattarsi" a ciò che c'è già, piuttosto che cercare di forzare una nuova idea che potrebbe entrare in conflitto con la melodia esistente.

Conclusione

Il paper conclude che adattare i Large Language Models per la musica è una ricetta potente. Insegnando a questi modelli a parlare sia il "testo" che il "MIDI", hanno creato uno strumento che aiuta gli esseri umani e l'IA a collaborare in modo più efficace. Non si tratta solo di generare rumore; si tratta di fornire ai creatori un partner flessibile, veloce e intelligente che può trasformare una semplice frase in uno spartito musicale completo, pronto per essere perfezionato e modificato. Il team sta già distribuendo questo strumento a più utenti, sperando di vedere come cambierà il modo in cui le persone scrivono musica in futuro.