Resumo Técnico: MuScriptor – Um Modelo Aberto para Transcrição Musical Multi-Instrumental

1. Definição do Problema

A Transcrição Musical Automática (AMT) visa converter gravações de áudio em representações simbólicas (tipicamente MIDI). Embora progressos significativos tenham sido feitos para cenários de instrumento único (ex: piano, guitarra, bateria), a transcrição de propósito geral para mixagens musicais multi-instrumentais do mundo real permanece um gargalo crítico. Os modelos atuais de estado da arte, como o MT3 e seus derivados, dependem fortemente de dados sintéticos de treinamento. Embora esses modelos tenham um bom desempenho em conjuntos de teste sintéticos, eles sofrem um desvio de domínio significativo quando aplicados a produções complexas do mundo real que apresentam timbres diversos, frequências sobrepostas e efeitos de áudio (ex: distorção). Consequentemente, os sistemas atuais de AMT multi-instrumental são frequentemente propensos a erros para aplicações downstream em musicologia, modelagem generativa ou recuperação de informação musical (MIR).

2. Metodologia

2.1 Arquitetura do Modelo

O MuScriptor emprega uma arquitetura Transformer apenas decodificador (decoder-only), evitando estruturas complexas de encoder-decoder ou atenção hierárquica em favor de um design simples, porém eficaz.

• Entradas: O modelo aceita um espectrograma de mel de 5 segundos (derivado de áudio mono de 16kHz via STFT com 2048 nFFT, 160 de hop size e 512 bins de mel) e uma lista opcional de instrumentos alvo.
• Condicionamento: A presença de instrumentos é fornecida como um sinal de condicionamento global (a lista de instrumentos da faixa completa) em vez de dados de segmento local. Esses embeddings de instrumentos são concatenados com a projeção do espectrograma para servir como condicionamento de prefixo para o Transformer.
• Tokenização: As anotações de notas são tokenizadas de forma semelhante ao MT3, mapeando 128 instrumentos MIDI em 36 subgrupos de acordo com a taxonomia MT3_FULL_PLUS.
• Inferência: As transcrições são geradas via decodificação autorregressiva. O sistema suporta Guia Livre de Classificador (Classifier-Free Guidance - CFG) com uma força de $\alpha_{CFG} = 2$ para melhorar a qualidade da geração.

2.2 Estratégia de Dados

O pipeline de treinamento utiliza uma abordagem de três estágios combinando dados sintéticos e reais:

1. Pré-treinamento Sintético ($D_{Synth}$): Um conjunto de dados de 1,45 milhão de arquivos MIDI é convertido em áudio on-the-fly. O pipeline aplica aumentos aleatórios (mudança de tom, mudanças de tempo, ajustes de velocidade, randomização de instrumentos) e sintetiza áudio usando um pool de mais de 250 soundfonts com detuning aleatório. Isso cria uma variedade infinita de realizações de áudio a partir dos dados simbólicos.
2. Ajuste Fino com Dados Reais ($D_{Real}$): O modelo é ajustado finamente em um conjunto curado de 170.000 gravações musicais reais (aprox. 11.000 horas) cobrindo diversos gêneros, do clássico ao heavy metal. Essas faixas apresentam anotações de notas alinhadas obtidas via sincronização áudio-simbólica (usando interpolação linear e dynamic time warping).
3. Pós-treinamento por Aprendizado por Reforço ($D_{RL}$): Um pequeno subconjunto de 300 faixas de alta qualidade verificadas manualmente é usado para pós-treinamento. O modelo emprega um algoritmo de Otimização de Política Relativa de Grupo (Group Relative Policy Optimization - GRPO).
   • Para cada lote, o modelo gera $G=8$ transcrições independentes.
   • As recompensas são calculadas como a soma das pontuações F1 de Onset, Frame e Offset contra o ground truth.
   • As vantagens são computadas normalizando as recompensas dentro do grupo, e o modelo é atualizado via um objetivo REINFORCE ponderado por essas vantagens.

2.3 Métricas de Avaliação

O desempenho é medido usando métricas padrão de MIR da biblioteca mir_eval:

• Onset F1: Correspondência de pitch com tolerância de onset de $\pm 50$ ms.
• Offset F1: Inclui critérios de onset mais tolerância de offset de $\max(50\text{ms}, 0.2 \times d_{ref})$.
• Frame F1: Sobreposição por frame com resolução de 62,5 ms.
• Multi F1: A métrica mais rigorosa, exigindo correspondência correta de pitch, tempo e classificação de instrumento.
• Nota: Notas sobrepostas do mesmo instrumento e pitch são removidas do conjunto de teste antes da avaliação devido a limitações de tokenização.

3. Principais Contribuições

1. Modelo MuScriptor: O lançamento de um modelo de transcrição multi-instrumental de propósito geral e pesos abertos (disponível em tamanhos de 60M a 1,3B de parâmetros) capaz de lidar com diversos gêneros musicais.
2. Conjunto de Dados de Grande Escala: A curadoria de um conjunto abrangente de dados composto por 170k gravações reais com anotações alinhadas e 1,45M de arquivos MIDI sintéticos, abordando a escassez de dados anotados multi-instrumentais.
3. Análise de Pré-treinamento Sintético: Um estudo comparativo demonstrando que, embora os dados sintéticos sejam insuficientes para uma transcrição de propósito geral autônoma, eles são altamente eficazes para pré-treinamento, particularmente quando os dados reais são escassos.
4. Alinhamento por Aprendizado por Reforço: A aplicação de um algoritmo do tipo GRPO para alinhar o modelo com transcrições de alta qualidade, uma técnica anteriormente não explorada na literatura de AMT.
5. Transcrição Condicionada por Instrumento: A introdução de condicionamento opcional de instrumentos, permitindo que os usuários customizem a saída (ex: transcrevendo instrumentos específicos) e estabilizando as previsões através de fronteiras de segmentos.

4. Resultados Experimentais

4.1 Estágios de Treinamento e Desempenho

Experimentos no modelo de 1,3B de parâmetros (avaliado em um conjunto de teste retido $D_{Test}$) mostram uma progressão clara no desempenho:

• Apenas Sintético: Alcança um Frame F1 competitivo (51,3), mas um Multi F1 pobre (15,2) e Onset F1 (26,1), confirmando o gap de domínio.
• Sintético + Real ($D_{Synth} + D_{Real}$): O ajuste fino em dados reais produz uma melhoria massiva, elevando o Multi F1 para 41,7 e o Onset F1 para 54,4.
• Pipeline Completo ($D_{Synth} + D_{Real} + D_{RL}$): A adição do pós-treinamento por RL aumenta ainda mais o desempenho, alcançando um Multi F1 de 47,8 e Onset F1 de 60,4 (com $\alpha_{CFG}=2$).

4.2 Análise Comparativa

• vs. Estado da Arte: O MuScriptor supera significativamente o baseline YourMT3+ (um forte modelo SOTA) em múltiplos conjuntos de dados de benchmark externos (ex: Bach10, Dagstuhl ChoirSet, RWC). Por exemplo, no Dagstuhl ChoirSet, o Frame F1 melhora de 51,0 (YourMT3+) para 80,7 (MuScriptor).
• Impacto do Pré-treinamento Sintético: A análise mostra que o pré-treinamento é mais benéfico quando os dados reais são limitados (ex: usando apenas 1% de $D_{Real}$, o pré-treinamento melhora o Offset F1 de 9,9 para 33,4). No entanto, à medida que o volume de dados reais aumenta, o ganho relativo do pré-treinamento diminui, embora ainda forneça uma leve vantagem com 100% de uso de dados.
• Escalabilidade do Modelo: O desempenho escala com o tamanho do modelo; o modelo de 60M de parâmetros alcança um Frame F1 de 65,7, enquanto o de 1,3B atinge 68,7, sugerindo aplicabilidade sob diferentes restrições de recursos.
• Representações de Entrada: Espectrogramas de mel superaram outras entradas alternativas como Magnitude CQT, codecs Encodec e embeddings MERT, sugerindo que representações mais próximas das propriedades do sinal bruto são ideais para esta tarefa.

5. Significância e Alegações

O artigo afirma que o MuScriptor é o primeiro modelo de pesos abertos eficaz para transcrição musical multi-instrumental através de uma ampla variedade de gêneros.

Os autores enfatizam que, enquanto abordagens anteriores dependeram de refinamentos arquiteturais (ex: atenção hierárquica, MoE), seu sucesso advém principalmente da escala e tipo de dados — especificamente a combinação estratégica de pré-treinamento sintético de grande escala, ajuste fino extensivo com dados do mundo real e alinhamento baseado em RL. O modelo é apresentado como uma ferramenta fundamental para músicos, musicólogos e pesquisadores em MIR e modelagem generativa, permitindo tarefas anteriormente dificultadas pela falta de ferramentas de transcrição precisas para mixagens complexas. Os autores observam modestamente que limitações permanecem em relação à tokenização de notas sobrepostas para o mesmo instrumento e sugerem que trabalhos futuros poderiam expandir o vocabulário de instrumentos e os tamanhos de segmento.