AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model

Resumo Técnico: AMT-APC: Cover de Piano Automático através do Ajuste Fino de um Modelo de Transcrição Musical Automática

Declaração do Problema
A geração de Cover de Piano Automático (APC) visa converter faixas de áudio originais em arquivos MIDI de piano tocáveis. Embora o aprendizado profundo tenha avançado neste campo, os modelos existentes (por exemplo, pop2piano, PiCoGen1/2) enfrentam duas limitações primárias: baixa fidelidade ao áudio original e expressividade limitada. Abordagens anteriores frequentemente dependem da quantização de notas em ritmos grosseiros (por exemplo, colcheias), falhando em capturar ritmos complexos como tercinas, ou utilizam representações intermediárias fixas que não conseguem aprender plenamente os elementos dinâmicos (dinâmica, timbre, notas de ornamento) necessários para um cover de alta qualidade. Além disso, gerar covers com nuances estilísticas específicas permanece desafiador sem condicionamento de estilo explícito.

Metodologia
Os autores propõem o AMT-APC, um algoritmo de aprendizado que reformula o APC como uma tarefa de ajuste fino (fine-tuning) de um modelo de Transcrição Musical Automática (AMT) pré-treinado. A metodologia consiste em três componentes principais:

1. Arquitetura do Modelo Base: O estudo utiliza o hFT-Transformer, um modelo de AMT de última geração, como base. Diferente de modelos que utilizam representações 1D, o hFT-Transformer emprega uma representação 2D semelhante a um piano-roll, produzindo matrizes para onsets, frames e velocidades. Os autores modificaram o comprimento da sequência de entrada de 128 frames (aprox. 2 segundos) para 512 frames para capturar melhor o contexto musical, o que exigiu um ajuste fino adicional no conjunto de dados MAESTRO para aprender novos embeddings posicionais.
2. Condicionamento por Vetor de Estilo: Para resolver a ambiguidade de gerar um único cover a partir de uma música (visto que existem múltiplos arranjos válidos), os autores introduzem um vetor de estilo contínuo. Este vetor é extraído de arquivos MIDI através da análise de três distribuições de probabilidade: taxa de onset, velocidade e altura (pitch). Essas distribuições são normalizadas, quantizadas em 8 níveis e concatenadas em um vetor de 24 dimensões. Este vetor é injetado no estado oculto do modelo via um mecanismo de portão (gating mechanism), permitindo que o modelo gere covers com características distintas de "calma" ou "intensidade" com base no estilo de entrada.
3. Estratégia de Treinamento: O processo envolve o pré-treinamento na tarefa de AMT (predição de notas a partir de áudio) seguido pelo ajuste fino para APC. Durante o ajuste fino, o modelo é treinado com dados pareados de áudio original e o MIDI de piano alvo. A função de perda foca nas predições de onset, frame e velocidade, com uma estratégia de amostragem específica que prioriza rótulos de verdade fundamental (ground truth) não nulos e seus vizinhos para garantir um aprendizado eficiente.

Principais Contribuições

• Mudança Algorítmica: A proposta do AMT-APC, que aproveita as capacidades de "captura de som precisa" de modelos AMT estabelecidos para impulsionar a geração de APC, em vez de treinar modelos de APC do zero ou usar representações intermediárias fixas.
• Controle de Estilo: A introdução de um vetor de estilo contínuo derivado de características estatísticas de MIDI, permitindo a geração de diversos covers a partir de uma única faixa de origem sem a necessidade de IDs de estilo discretos.
• Contexto Estendido: A adaptação do hFT-Transformer para processar comprimentos de sequência mais longos (512 frames), melhorando a capacidade do modelo de lidar com frases musicais mais longas em comparação com a inferência padrão de AMT.

Resultos Experimentais
O modelo foi avaliado em um conjunto de dados de 332 músicas com 1.267 covers de piano.

• Fidelidade: Usando a métrica Qmax (baseada em características de chroma, onde valores menores indicam maior similaridade), o modelo AMT-APC alcançou uma pontuação média de 0,035. Isso superou modelos existentes: pop2piano (0,090) e PiCoGen2 (0,054), sendo quase idêntico a covers gerados por humanos convertidos para MIDI (0,038).
• Métricas de Desempenho: Nos dados de teste, o modelo alcançou um F1 score médio de 0,31 para onset, frame e velocidade.
• Estudo de Ablação: Remover o pré-treinamento de AMT aumentou a perda para 0,41 e reduziu o F1 score para 0,27. Remover o vetor de estilo degradou levemente o desempenho (F1 0,30), confirmando seu papel na redução da confusão do modelo. Um modelo AMT bruto aplicado diretamente ao APC sem ajuste fino teve um desempenho pobre (F1 0,12), destacando a necessidade da etapa de ajuste fino.

Significância e Alegações
O artigo afirma que o AMT-APC reproduz com sucesso as faixas originais com maior precisão do que os modelos existentes. Os autores postulam que AMT e APC são tarefas altamente similares; portanto, desenvolver modelos de AMT robustos é um caminho crítico para criar modelos de APC superiores. O estudo demonstra que aproveitar as capacidades de AMT pré-treinadas através de ajuste fino, combinado com o condicionamento de estilo, efetivamente reduz a lacuna entre transcrição e arranjo. Os autores concluem que esta abordagem aproxima o campo da geração de covers de piano avançados e expressivos, embora reconheçam as limitações atuais em manter a consistência de longo prazo para padrões de acompanhamento específicos e ornamentações.