Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping

Resumo Técnico: Aprendizado de Estilo Musical para Arranjo de Piano através de Bootstrapping Cross-Modal

Declaração do Problema
A geração automática de música avançou significativamente no tratamento de conteúdo explícito (melodia, acordes, rótulos de texto), mas tem dificuldade com o estilo musical implícito. Embora existam descritores de texto como "swing" ou "emocional", o verdadeiro estilo musical é frequentemente uma qualidade implícita incorporada em exemplos de áudio concretos, abrangendo padrões de groove, dinâmica e sensação de performance matizados que rótulos abstratos não conseguem capturar totalmente. Modelos existentes de áudio-para-MIDI ou de geração de cover de piano conseguem extrair altura (pitch) e tempo, mas frequentemente falham em desmembrar e reproduzir o "sentimento" estilístico de uma performance de origem. As abordagens atuais tipicamente dependem de configurações unimodais ou falham em estabelecer uma ponte eficaz entre o estilo de áudio bruto e a representação simbólica sem o retreinamento de grandes modelos fundacionais.

Metodologia
Os autores propõem um framework cross-modal que aprende o estilo musical implícito a partir de áudio bruto e o aplica ao arranjo de piano simbólico. A arquitetura central utiliza um Querying Transformer (Q-Former), originalmente projetado para tarefas de linguagem-visão, para conectar um Modelo de Linguagem de Áudio (Audio LM) pré-treinado e congelado a um Modelo de Linguagem Simbólica (Symbolic LM) pré-treinado e congelado.

O sistema opera em duas etapas distintas:

1. Estágio I: Aprendizado de Representação Cross-Modal (Bootstrapping)

   • Arquitetura: O Q-Former conecta-se a um Audio LM congelado (MusicGen) via cross-attention e a um fluxo simbólico via self-attention. Um conjunto de embeddings de consulta treináveis interage com os estados ocultos do Audio LM para extrair representações de estilo ($Z$).
   • Objetivos de Treinamento: Três objetivos complementares são empregados para alinhar as modalidades enquanto evitam o vazamento de conteúdo (content leakage):
     • Aprendizado Contrastivo Áudio-Simbólico: Maximiza a similaridade entre pares áudio-simbólicos correspondentes e minimiza-a para pares negativos.
     • Correspondência Áudio-Simbólica (Matching): Uma tarefa de classificação binária para determinar se um par áudio-simbólico corresponde entre si.
     • Geração Simbólica Ancorada em Áudio: Uma tarefa autoregressiva onde o fluxo simbólico reconstrói um arranjo de piano condicionado à partitura (lead sheet) e aos sinais de estilo extraídos do áudio.
   • Estratégia de Dados: O modelo é treinado em clipes de áudio de 10 segundos e segmentos MIDI de 4 compassos, que estão grosseiramente alinhados. Para evitar a memorização de correspondências exatas nota-a-nota, o MIDI é transposto aleatoriamente e deslocado temporalmente em relação ao áudio.

2. Estágio II: Modelagem Generativa

   • Arquitetura: O Q-Former treinado atua como um codificador de estilo. Sua saída de embeddings ($Z$) é concatenada com uma partitura (fornecendo conteúdo de melodia e acordes) e inserida em um Symbolic LM congelado (MuseCoco).
   • Adaptação: Como o MuseCoco não suporta nativamente o condicionamento por partitura, adaptadores de Adaptação de Baixo Rank (LoRA) são inseridos em suas camadas de self-attention para incorporar os novos inputs sem realizar o fine-tuning do backbone.
   • Saída: O sistema gera um arranjo de MIDI de piano condicionado tanto ao conteúdo (partitura) quanto ao estilo (extraído do áudio de referência).

Principas Contribuições

1. Alinhamento de Estilo Cross-Modal: O artigo estende o papel do Q-Former além do alinhamento de conteúdo linguagem-visão para alinhar as modalidades de áudio e simbólica através do estilo musical implícito.
2. Metodologia de Desmembramento (Disentanglement): Apresenta uma abordagem escalável para desmembrar estilo de conteúdo usando LMs pré-treinados, evitando a necessidade de métodos tradicionais de desmembramento de variáveis latentes ou o retreinamento de grandes backbones de modelos.
3. Arranjo Controlável: O modelo alcança a geração de cover de piano áudio-para-simbólico consciente do estilo, superando baselines existentes em captura de coerência estilística enquanto mantém a fidelidade do conteúdo.

Resultados Experimentais
O modelo foi avaliado na geração de covers de piano (inputs alinhados) e na transferência de estilo cross-modal (inputs não pareados) utilizando datasets como POP909, PIAST, Ballroom e GTZAN.

• Métricas Objetivas:
  • Coerência de Estilo: O modelo proposto superou significamente os baselines (PiCoGen2, Audio-to-MIDI) em Coerência de Padrão de Groove (GPC), Coerência de Contorno de Velocidade (VCC) e Precisão de Tempo (TA).
  • Preservação de Conteúdo: Em dados dentro da distribuição (in-distribution, POP909), o modelo mostrou uma precisão de Melodia/Acorde (MCA/CA) ligeiramente inferior à do PiCoGen2, atribuída à dependência do Sheetsage para extração da partitura. No entanto, em datasets fora da distribuição (out-of-distribution, Ballroom/GTZAN), o modelo superou o PiCoGen2 na preservação de conteúdo, demonstrando melhor generalização através de diversos gêneros e instrumentações.
• Avaliação Subjetiva: Em um levantamento de escuta duplo-cego, o modelo recebeu classificações significativamente mais altas para Coerência Áudio-para-Simbólica e Musicalidade Geral em comparação aos baselines, mantendo um desempenho comparável em Naturalidade.
• Capacidade de Recuperação (Retrieval): Como um recuperador de áudio-para-simbólico, o Q-Former alcançou uma precisão Top-1 de 71,4% (contra 3,4% do CLaMP3) ao parear clipes de áudio com segmentos simbólicos, demonstrando robustez à transposição de tons.
• Estudos de Ablação: Experimentos confirmaram que a estratégia de treinamento em dois estágios é essencial; a remoção do pré-treinamento do Estágio I resultou em quedas significativas tanto na preservação de conteúdo quanto na coerência de estilo. Além disso, todos os três objetivos de treinamento (Contrastivo, Correspondência, Generativo) mostraram-se necessários para um alinhamento robusto, particularmente em dados multi-instrumentais complexos.

Significância e Alegações
Os autores afirmam que este trabalho demonstra a viabilidade de "bootstrapping" de transferência de estilo entre modelos de linguagem unimodais sem o retreinamento de seus backbones. Ao tratar o Q-Former como um gargalo (bottleneck) para a informação de estilo, o framework permite uma geração de música controlável e consciente do estilo que captura o "como" de uma performance, e não apenas o "o quê". O artigo posiciona isso como um passo em direção a um controle mais intuitivo e refinado sobre a geração de música que vai além de rótulos de texto explícitos, efetivamente internalizando traços estilísticos implícitos de exemplos de áudio para direcionar a síntese simbólica.