Resumo Técnico: Libretto – Dando aos Agentes de LLM um Senso de Estrutura Musical

Declaração do Problema

Sistemas de IA generativa para música (ex: Suno, Udio, MusicLM) alcançaram resultados impressionantes na produção de áudio a partir de prompts de texto. No entanto, esses sistemas operam em formas de onda de áudio ou tokens comprimidos que são difíceis de inspecionar, editar ou diagnosticar como estruturas musicais. Uma forma de onda não expõe explicitamente o tempo das notas, a atribuição de vozes, a estrutura de frases ou o movimento harmônico, tornando a edição local e o raciocínio estrutural difíceis para agentes.

Embora a geração de música simbólica ofereça uma representação editável, as abordagens existentes enfrentam duas limitações primárias:

1. Limitações de Interface: Muitos formatos simbólicos (ex: notação ABC) possuem um tempo implícito ou exigem lógica de acumulação complexa para determinar os ataques (onsets), dificultando a edição local e o raciocínio de ataque para agentes de LLM.
2. Limitações de Avaliação: A avaliação atual depende fortemente de preferência humana subjetiva, pontuações de verossimilhança ou preditores estéticos globais. Essas métricas frequentemente falham em explicar por que uma peça gerada falhou estruturalmente ou como um agente deve revisá-la. Há uma falta de uma interface que descreva a música através de propriedades estruturais interpretáveis, em vez de uma única pontuação de qualidade.

Metodologia: O Framework Libretto

O Libretto é um framework voltado para agentes, projetado para tornar a geração, medição e revisão de música simbólica possível para agentes de LLM. Ele opera através de um ciclo fechado de representação, medição, recuperação e revisão.

1. Gramática Nativa de LLM

O Libretto introduz uma gramática baseada em texto especificamente desenhada para que agentes possam ler, escrever e revisar a estrutura musical diretamente.

• Estrutura: As peças são representadas como texto puro com um cabeçalho global (tom, compasso, tempo, grade, contagem de compassos), declarações de vozes e um bloco por compasso.
• Ataques Explícitos: Ao contrário de formatos onde o tempo é implícito, o Libretto utiliza slots de inteiros para o ataque (onset) e duração. Em uma grade de semicolcheias 4/4, as posições de batida são slots explícitos (ex: 1, 5, 9, 13). Isso torna o ritmo compacto e permite a edição local sem recalcular os tempos subsequentes.
• Separação de Vozes: A gramática mantém vozes distintas para baixo, melodia e acompanhamento.
• Abstrações: A representação abstrai intencionalmente a velocidade (velocity), micro-timing, timbre e percussão sem altura para focar na estrutura de partitura.

2. Nuvem Estatística Calibrada por Corpus

Em vez de atribuir uma pontuação de qualidade subjetiva, o Libretto avalia a música localizando-a dentro de um espaço estatístico definido por um corpus de 314 arquivos MIDI reais através de oito gêneros.

• 29 Eixos Estruturais: Cada peça é mapeada para uma impressão digital de 29 eixos cobrindo ritmo, harmonia, melodia, textura, forma e variação dentro da canção.
• Pontuação por Percentil: Os valores brutos dos eixos são convertidos em percentis contra o corpus congelado. Isso fornece uma escala livre de distribuição onde "alto" ou "baixo" não implica "bom" ou "ruim", mas indica o desvio de estruturas musicais típicas.
• Utilidade Diagnóstica: Percentis extremos (ex: <5º ou >95º) são usados para diagnosticar degeneração estrutural, como saídas que são incomument de forma incomum repetitivas, densas ou harmonicamente instáveis.

3. Loop Agêntico e Bases de Conhecimento

O processo de geração é organizado como um loop limitado de geração–medição–revisão:

1. Geração: O agente produz uma gramática candidata.
2. Medição: O sistema analisa a gramática, computa a impressão digital de 29 eixos, verifica o risco de cópia e avalia portões (gates) específicos da tarefa.
3. Feedback: O agente recebe feedback legível para músicos descrevendo tendências para ajustar (ex: "reduzir a instabilidade harmônica", "tornar a textura menos esparsa") em vez de IDs de métricas brutos.
4. Revisão: O agente revisa a peça. O loop retém o melhor candidato encontrado até o momento, garantindo uma seleção segura.

Bases de Conhecimento:

• KB de Composição: Contém conceitos idiomáticos (harmonia, groove, voicing) com atestação de corpus e instruções acionáveis para geração condicionada ao gênero.
• KB de Teoria: Entradas pedagógicas para escalas, acordes e padrões usados para geração de exercícios educacionais.
• Recuperação (Retrieval): O sistema recupera trechos curtos de músicas reais próximos ao centroide do gênero alvo para fornecer referências de estilo, enquanto portões de risco de cópia impedem o uso direto.

4. Risco de Cópia e Novidade

O Libretto distingue entre similaridade idiomática e cópia direta. O risco de cópia é medido ao nível da nota, comparando pares de ataque-altura alinhados ao compasso entre o material gerado e as referências reais (ou respostas ocultas em tarefas de preenchimento de lacunas). Isso é mais rigoroso do que comparar rótulos de acordes, garantindo que o agente não reproduza material específico de nível de nota, mesmo que o estilo do gênero esteja correto.

Principais Contribuições

1. Representação Estrutural: Caracterizar a música simbólica através de uma nuvem estatística calibrada por corpus, em vez de uma pontuação subjetiva. A gramática nativa de LLM torna os eixos estruturais (ritmo, harmonia, etc.) diretamente legíveis e editáveis por agentes.
2. Sistema de Composição Agêntico: Um sistema que combina bases de conhecimento, recuperação, medição estrutural e auto-melhoria iterativa. O agente diagnostica falhas estruturais e revisa com base em feedback legível para músicos.
3. Suporte a Aplicações Versáteis: Demonstrar a capacidade do framework em suportar preenchimento de lacunas (gap filling), geração de peça completa guiada por referência (tipicamente ~100 compassos), morfismo gradual entre estilos e geração de música educacional para conceitos teóricos específicos.

Resultados Experimentais

O framework foi avaliado usando o Claude Code (Opus 4.8) como o agente e um corpus de 314 arquivos MIDI.

• Validade da Representação: A gramática preserva a altura e a atribuição de voz exatamente (0,019% de perda de nota) e oferece uma legibilidade de tempo superior à notação ABC. Editar uma duração no Libretto requer 0 derivações subsequentes, enquanto o ABC requer mais de 1.000.
• Eixos Estruturais: Os 29 eixos possuem baixa redundância (correlação média pareada |r| = 0,16) e carregam sinais de gênero (precisão de regressão logística de 0,384 através de 8 gêneros, ~3,1× a chance).
• Calibração de Portões (Gates): Portões de "passagem" foram calibrados contra música real para permitir extremos naturais (ex: músicas reais têm uma mediana de 3 eixos extremos; peças geradas são permitidas 4–6).
• Desempenho de Aplicação:
  • Preenchimento de Lacunas (Gap Filling): O loop iterativo melhorou a taxa de passagem de 12% (única tentativa) para 39%.
  • Geração de Peça Completa: O loop melhorou a taxa de passagem de 62% para 94%.
  • Impacto da Recuperação (Retrieval): Habilitar a recuperação na geração de peça completa triplicou a taxa de passagem de 25% para 75%, ao fundamentar o modelo em exemplos concretos e prevenir a degeneração estrutural.
  • Educação: A recuperação teve impacto mínimo em exercícios educacionais porque as restrições já eram explícitas, mas o framework gerou com sucesso exercícios válidos com baixas pontuações de cópia-versus-exibição.
  • Morfismo: O sistema gerou com sucesso transições graduais entre estilos (ex: eletrônico para folk) com curvas de progresso suaves.

Significância e Alegações

O artigo afirma que o Libretto transforma a música simbólica de uma sequência bruta de tokens em um objeto mensurável e editável para agentes de modelos de linguagem. Sua principal significância reside na mudança do foco de treinar novos modelos generativos para criar um loop de representação-avaliação que permite aos LLMs existentes raciocinar sobre a estrutura musical.

Ao tratar a música como uma estrutura organizada através de compasso, harmonia e repetição, o Libretto permite que os agentes:

• Diagnostiquem onde uma peça gerada falha em relação à música existente.
• Revisem peças usando feedback estrutural interpretável em vez de otimização de caixa-preta.
• Suportem geração de longa duração (aprox. 100 compassos) e tarefas multivozes complexas sem treinamento de modelo especializado.

Os autores posicionam o Libretto não como um substituto para sistemas de domínio de áudio ou geradores simbólicos treinados, mas como uma interface de texto que mantém o tempo, as vozes e as medições estruturais disponíveis durante todo o fluxo de trabalho de recuperação, geração, diagnóstico e auto-revisão. Isso aponta para um futuro de agentes de música simbólica que aprendem a raciocinar sobre estrutura musical mensurável, em vez de meramente emitir notas.