💬 NLP

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

O artigo apresenta o MIDI-LLM, um framework de treinamento em dois estágios que adapta Grandes Modelos de Linguagem para gerar música MIDI multifaixa e partituras (lead sheets) de alta qualidade controladas por texto, demonstrando desempenho superior e aceitação pelo usuário em relação às linhas de base existentes através de extensos estudos de ablação e uma avaliação cega em larga escala no mundo real.

Autores originais: Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde você pode conversar com um computador e pedir para ele escrever uma música para você. No reino da inteligência artificial, isso é chamado de "text-to-music" (texto para música). Por um tempo, a melhor maneira de fazer isso era pedir ao computador para gerar ondas sonoras brutas, como uma gravação digital. Mas aqui está o problema: uma vez que esse som é feito, é como uma pintura em uma tela. Você não consegue apagar facilmente uma única pincelada ou mudar o tempo de apenas a batida da bateria sem estragar a imagem inteira. Os músicos precisam de algo mais flexível, algo que eles possam editar nota por nota. É aqui que o "MIDI" entra. Pense no MIDI não como som, mas como uma partitura digital ou um conjunto de instruções dizendo a um piano virtual exatamente quais teclas pressionar, com que força e por quanto tempo. É a diferença entre uma gravação finalizada e um conjunto de LEGO; você pode desmontar o LEGO e construir algo novo.

Agora, imagine pegar os modelos de linguagem superinteligentes (a IA que escreve ensaios e responde perguntas) e ensiná-los a falar essa linguagem musical. Essa é a grande ideia por trás desta nova pesquisa. Os cientistas queriam ver se poderiam transformar um especialista em texto em um especialista em música, permitindo que as pessoas digitem coisas como "uma música de jazz triste com uma bateria rápida" e recebam em troca uma partitura musical perfeitamente editável. Eles não estavam apenas tentando criar um ruído bonito; eles queriam construir uma ferramenta que ajudasse os criadores humanos a fazer brainstorming e colaborar com a IA de uma forma que pareça natural e controlável.

O Artigo: MIDI-LLM

Os pesquisadores por trás deste artigo, uma equipe do MIT, Hooktheory e Carnegie Mellon University, prepararam uma nova receita chamada MIDI-LLM. Pense nisso como uma forma de atualizar um Modelo de Linguagem Grande (LLM) padrão — o tipo de IA que escreve histórias e resolve problemas matemáticos — para que ele também possa escrever música.

Normalmente, esses modelos de IA são como chefs que só sabem cozinhar com palavras. Eles entendem "maçã" e "torta", mas não sabem como soa um "Dó sustenido" ou como escrevê-lo. O primeiro passo da equipe foi dar à IA um novo vocabulário. Eles expandiram o dicionário do modelo para incluir "tokens MIDI" especiais. Em vez de escrever uma nota como uma frase longa como "comece em 10 segundos, dure 0,5 segundos, toque um Dó agudo", o modelo agora a vê como um símbolo único e compacto, como um código secreto. Isso é como ensinar um chef a ler uma nova língua onde uma única palavra significa "adicionar sal", tornando o processo de cozimento muito mais rápido e eficiente.

Mas apenas dar ao modelo um novo dicionário não é suficiente; ele precisa aprender a usá-lo. A equipe treinou a IA em duas etapas distintas, como um estudante de música aprendendo primeiro a teoria e depois tocando em uma banda.

Etapa 1: A Prática Solo (Pré-treinamento Unimodal)
Primeiro, eles deixaram a IA praticar sozinha. Eles a alimentaram com dois tipos de dados:

Texto relacionado à música: Artigos, perguntas e respostas sobre teoria musical (como "O que é um acorde menor?").
Arquivos MIDI isolados: Milhares de partituras musicais brutas sem quaisquer descrições de texto.
Esta etapa consistia em ensinar à IA a "sintaxe" da música. Ela aprendeu como as notas se encaixam, como os ritmos funcionam e a estrutura de uma música, tudo isso sem precisar que um humano lhe dissesse o que fazer. É como um músico praticando escalas e lendo partituras em uma sala silenciosa.

Etapa 2: O Dueto (Ajuste Fino Supervisionado Multimodal)
Em seguida, eles parearam a IA com um parceiro. Eles a alimentaram com pares de texto e música: um comando como "uma música pop feliz" seguido imediatamente pela respectiva partitura MIDI. Isso ensinou a IA a traduzir ideias humanas em instruções musicais. Se você dissesse "jazz", ela aprendeu a escrever notas de jazz. Se dissesse "triste", ela aprendeu a escrever acordes menores lentos. Este é o momento em que a IA aprende a ouvir o seu pedido e realmente tocar o que você pediu.

O Que Eles Descobriram

Os resultados foram bastante impressionantes. Quando testaram seu novo MIDI-LLM contra um concorrente recente chamado Text2midi, o modelo deles saiu vencedor em duas grandes formas:

Melhor Qualidade: A música que ele gerou soava mais realista e seguia melhor as regras da música.
Melhor Controle: Ele ouviu mais atentamente as instruções de texto. Se você pedisse um humor ou gênero específico, ele realmente entregava.
Velocidade: Como utilizaram uma arquitetura de IA padrão (baseada no Llama 3.2), puderam usar ferramentas de computador já existentes e super-rápidas para rodar o modelo. Seu modelo foi 7 a 13 vezes mais rápido que o concorrente, embora fosse ligeiramente maior.

Eles também testaram um recurso especial chamado "preenchimento" (infilling). Imagine que você tem uma música que está pela metade e quer que a IA escreva a parte do meio. A equipe descobriu que a IA era ótima nisso, mas havia um equilíbrio delicado. Se a IA fosse focada demais no texto que você digitou, ela poderia ignorar a música que você já havia escrito. Se fosse focada demais na música existente, ela poderia ignorar suas novas instruções de texto. Para corrigir isso, eles introduziram um "botão de ajuste" (chamado de Classifier-Free Guidance) que permite aos usuários ajustar o quanto a IA deve ouvir o texto versus a música existente.

Teste no Mundo Real: O Estudo "In-the-Wild"

Para ver se isso realmente ajudava pessoas reais, a equipe não apenas realizou testes de computador; eles foram para o mundo real. Eles fizeram uma parceria com a Hookpad, um site onde compositores criam música. Eles deixaram 58 usuários reais (que já eram assinantes) experimentar seu novo copiloto de IA.

Os usuários foram solicitados a criar músicas do zero ou preencher partes faltantes de músicas. Eles podiam escolher entre três modelos de IA diferentes:

O modelo antigo (que apenas olhava para a música, ignorando o texto).
Uma versão do novo modelo que ignorava o texto.
O novo MIDI-LLM completo (que ouvia o texto).

Os resultados mostraram que, quando os usuários estavam começando uma música do zero ("zero-to-one"), o MIDI-LLM completo era o vencedor claro. Ele teve quase o dobro da taxa de aceitação dos outros modelos. Isso sugere que, quando as pessoas estão tentando iniciar uma nova ideia, ser capaz de digitar "faça parecer uma música rock dos anos 90" é incrivelmente valioso.

No entanto, quando os usuários estavam apenas preenchendo uma pequena lacuna em uma música existente, os resultados foram mais mistos. Às vezes, os usuários preferiam o modelo mais antigo que ignorava o texto. Os pesquisadores sugerem que isso pode ser porque, quando você já está imerso em uma música, pode querer que a IA apenas "se encaixe" no que já está lá, em vez de tentar forçar uma nova ideia que possa entrar em conflito com a melodia existente.

A Conclusão

O artigo conclui que adaptar Modelos de Linguagem Grandes para música é uma receita poderosa. Ao ensinar esses modelos a falar tanto "texto" quanto "MIDI", eles criaram uma ferramenta que ajuda humanos e IA a colaborar de forma mais eficaz. Não se trata apenas de gerar ruído; trata-se de dar aos criadores um parceiro flexível, rápido e inteligente que pode transformar uma simples frase em uma partitura musical completa, pronta para que eles a ajustem e aperfeiçoem. A equipe já está disponibilizando isso para mais usuários, esperando ver como isso mudará a maneira como as pessoas escrevem música no futuro.

Resumo Técnico: MIDI-LLM

Declaração do Problema

Embora modelos recentes de texto para música tenham permitido a geração de áudio realista a partir de comandos de linguagem natural, suas saídas de forma de onda de áudio permanecem difíceis de editar, reestruturar ou reutilizar com precisão em fluxos de trabalho criativos subsequentes. Essa limitação dificulta a colaboração iterativa humano-IA que os Grandes Modelos de Linguagem (LLMs) implementaram com sucesso em domínios de texto. Por outro lado, modelos de domínio simbólico que geram saídas MIDI permitem a edição direta e a reutilização, promovendo a agência criativa. No entanto, os modelos simbólicos existentes muitas vezes carecem de um controle eficaz por texto livre, limitando sua utilidade para ideação rápida e edição baseada em instruções. Além disso, muitos modelos simbólicos dependem de arquiteturas customizadas que exigem esforços de engenharia específicos para acelerar a inferência para implantação em escala de produção, ao contrário dos ecossistemas de inferência bem desenvolvidos disponíveis para LLMs de pesos abertos.

Metodologia

O artigo propõe o MIDI-LLM, uma receita para adaptar LLMs para melhorar a geração de texto para MIDI e o preenchimento (infilling). A abordagem envolve três componentes principais:

1. Expansão do Vocabulário

Para incorporar dados MIDI em um LLM sem o overhead de comprimento de sequência da serialização de tokens como strings de texto, os autores expandem a camada de incorporação de tokens do modelo Llama 3.2 (1B). Eles integram o vocabulário do Anticipatory Music Transformer (AMT), que representa cada nota musical como um trio de tokens:

Tempo de início (Onset time): Quantizado em passos de 10ms (0–100s).
Duração: Quantizada em passos de 10ms (0–10s).
Token conjunto instrumento-tom (Instrument-pitch joint token): Uma combinação de 129 instrumentos e 128 tons.
Isso resulta em uma expansão de vocabulário do tamanho original de texto para incluir 55 mil novos tokens MIDI. Os novos pesos de incorporação e a camada de unembedding correspondente são inicializados aleatoriamente.

2. Pipeline de Treinamento de Dois Estágios

O modelo passa por um processo de treinamento de dois estágios totalizando mais de 4 bilhões de tokens:

Estágio I: Pré-treinamento Contínuo (CPT) Unimodal: O modelo é treinado em uma mistura de texto adjacente à música (ex: artigos de música, conhecimento sintético do GPT-4, notação ABC) e dados MIDI multifaixa independentes (GigaMIDI). Este estágio visa trazer à tona o conhecimento musical existente dentro do LLM e ensinar a sintaxe e a estrutura dos dados MIDI sob a estrutura do AMT.
Estágio II: Ajuste Fino Supervisionado (SFT) Multimodal: O modelo é ajustado em dados pareados de texto-MIDI (MidiCaps + Lakh MIDI). Prompts de texto descrevendo gênero, humor, instrumentação e acordes servem como instruções para gerar sequências MIDI correspondentes. Este estágio também inclui tarefas de preenchimento de intervalo (span infilling), onde o modelo prevê notas ausentes com base no contexto MIDI circundante e nas instruções de texto.

3. Especialização de Downstream e Inferência

O modelo resultante serve como base para tarefas de downstream, demonstradas especificamente no conjunto de dados TheoryTab para geração e preenchimento de lead sheets (melodia + acordes).

Guia Livre de Classe (Classifier-Free Guidance - CFG): Para abordar o problema onde o contexto MIDI circundante domina os prompts de texto durante o preenchimento, os autores implementam o CFG. Isso permite que os usuários troquem qualidade por um controle de texto mais forte, modulando um parâmetro de escala ( $\lambda$ ) durante a inferência.
Inferência Otimizada: Ao preservar a estrutura original de parâmetros do LLM, o modelo integra-se perfeitamente aos ecossistemas de inferência otimizados como o vLLM, utilizando técnicas como gráficos CUDA, atenção de cache KV paginado e quantização FP8.

Contribuições Principais

Uma Receita para Adaptação: Uma metodologia para adaptar LLMs para geração de texto para MIDI via expansão de vocabulário e um pipeline de treinamento de dois estágios (CPT unimodal + SFT multimodal) que se integra aos ecossistemas de serviço de LLM existentes.
Instanciação Concreta: Uma implementação específica baseada no Llama 3.2 (1B) que supera o modelo Text2midi recente tanto em controle de texto quanto em qualidade musical.
Especialização para Lead Sheets: Demonstração de que o MIDI-LLM pode ser especializado para composição de lead sheets (melodia + acordes) e um estudo de ablação validando a sinergia entre pré-treinamento de texto, pré-treinamento de MIDI e ajuste fino supervisionado de texto para MIDI.
Validação no Mundo Real: Um estudo de usuário "em campo" conduzido com 58 usuários do Hookpad Aria e 4.002 saídas geradas, avaliando a eficácia do modelo na co-criação humano-IA.

Resultados

Benchmarks Quantitativos

vs. Text2midi: No conjunto de dados MidiCaps + Lakh MIDI, o MIDI-LLM alcança maior qualidade musical (FAD mais baixo) e controle de texto mais forte (scores CLAP mais altos) em comparação ao Text2midi.
Velocidade de Inferência: Apesar de ser 5x maior em contagem de parâmetros, o MIDI-LLM alcança uma inferência 7–13x mais rápida que o Text2midi devido à integração com o vLLM.
Estudo de Ablação: No downstream da tarefa TheoryTab, a receita completa (combinando pré-treinamento de texto Llama, CPT unimodal e SFT) alcança o melhor equilíbrio entre qualidade musical e controlabilidade textual.
- O pré-treinamento apenas de texto estabelece um controle forte, mas produz menor qualidade musical.
- O pré-treinamento apenas de MIDI melhora a qualidade, mas resulta em um controle de texto fraco ou inconsistente.
- A combinação das modalidades revela uma sinergia estrutural onde o conhecimento textual amplo melhora tanto o controle quanto a qualidade musical.

Descobertas do Estudo de Usuário

Geração Zero-a-Um: Na geração de lead sheet "Do Zero", o MIDI-LLM alcançou uma taxa de aceitação de 13,0%, quase o dobro da taxa de 7–8% dos baselines (AMT sem texto e MIDI-LLM sem texto). Isso indica alto valor para o usuário no controle de texto ao estabelecer novas ideias musicais.
Infilling (Preenchimento): Para tarefas de preenchimento (melodia, acordes ou ambos), o baseline apenas de MIDI (AMT) performou de forma competitiva ou superior. Os autores atribuem isso a possíveis desajustes entre contexto e controle ou preferências do usuário pela continuidade musical sobre a adesão estrita ao texto em contextos existentes.
Impacto Pós-Estudo: Após o estudo, a implantação ampla do MIDI-LLM para usuários do Hookpad Aria resultou em um aumento de 22% nas gerações e preenchimentos aceitos.

Significância e Alegações

O artigo afirma que o MIDI-LLM consegue imbuir modelos simbólicos com um controle de texto livre eficaz, aproveitando simultaneamente a eficiência e o ecossistema dos LLMs de pesos abertos. Ao demonstrar que uma arquitetura de LLM unificada pode superar modelos simbólicos customizados tanto em qualidade quanto em controle, o trabalho sugere que a "receita" de adaptar LLMs é um caminho viável para a geração de música.

Os autores enfatizam que sua abordagem suporta o tipo de colaboração iterativa humano-IA vista em domínios de texto, que os modelos de forma de onda de áudio têm dificuldade em fornecer. A integração do CFG permite um controle ajustável sobre a tensão entre o contexto musical pré-existente e a intenção do usuário, uma característica crítica para fluxos de trabalho criativos. Finalmente, o sucesso da implantação em uma plataforma de co-criação do mundo real (Hookpad) valida a utilidade prática da geração de música simbólica condicionada a texto para a ideação musical "zero-a-um".