Resumo Técnico: Transcrição Musical com (Quase) Nenhuma Supervisão

Declaração do Problema

A Transcrição Musical Automática (AMT) alcançou desempenho no nível humano para piano por meio de aprendizado profundo supervisionado, mas esses modelos dependem de grandes conjuntos de dados de pares áudio-partitura perfeitamente alinhados. Tais dados são escassos para a maioria dos instrumentos e conjuntos devido aos altos custos de coleta, à natureza intensiva em mão de obra do alinhamento manual (que exige precisão ao nível de quadro) e às restrições de direitos autorais. Por outro lado, vastas quantidades de gravações de áudio não emparelhadas e partituras simbólicas acumularam-se ao longo do último século, mas permanecem sem uso para treinamento. O desafio central abordado por este trabalho é saber se esses repositórios de dados livremente disponíveis, porém não emparelhados, podem ser aproveitados para treinar modelos de transcrição de alta qualidade quando a supervisão emparelhada é limitada ou inexistente.

Metodologia

Os autores propõem um framework de tradução cíclica consistente que trata a pequena quantidade de dados emparelhados disponíveis como uma "âncora mínima" para desbloquear o potencial de um grande pool de dados não emparelhados.

Arquitetura e Espaço Latente

• Mudança de Modalidade: O modelo mapeia entre espectrogramas CQT (Transformada de Constante-Q) ($X_C$) e partituras simbólicas ($x_S$). Para lidar com a transição de espectrogramas contínuos para sequências de eventos discretos, os autores introduzem um espaço latente contínuo ($Z_S$).
• VAE Pré-treinado: As partituras simbólicas são codificadas em um espaço latente suave e diferenciável usando um Variational Autoencoder (VAE) pré-treinado. O codificador é congelado durante o treinamento de transcrição.
• Geradores: Dois geradores são treinados:
  1. $G$: Transcreve espectrogramas CQT para o espaço latente de partitura ($X_C \to Z_S$).
  2. $F$: Sintetiza espectrogramas CQT a partir do espaço latente de partitura ($Z_S \to X_C$).

Funções de Perda

O objetivo de treinamento combina vários componentes para garantir estabilidade e correção:

1. Consistência Cíclica: Impõe que a composição de mapeamentos para frente e para trás aproxime a função identidade ($F(G(x_C)) \approx x_C$ e $G(F(z_S)) \approx z_S$). Isso previne o colapso do modelo, mas é insuficiente por si só, pois admite soluções degeneradas (por exemplo, transcrições globalmente deslocadas em pitch).
2. Perda Adversarial: Utiliza perdas de GAN de Menores Quadrados (LSGAN) com discriminadores para distinguir amostras reais de geradas em ambos os domínios.
3. Correspondência de Recursos Consciente do Ciclo: Diferentemente da correspondência de recursos padrão, que compara amostras reais e geradas (problemático na tradução cruzada de modalidades onde elas deveriam diferir), esta perda compara amostras reais contra suas contrapartes reconstituídas pelo ciclo dentro do mesmo domínio.
4. Supervisão Emparelhada (A Âncora): Um pequeno subconjunto de dados áudio-partitura emparelhados é usado para calcular perdas supervisionadas diretas ($L_{sup}$). Isso resolve a ambiguidade de alinhamento inerente à consistência cíclica, prevenindo falhas de deslocamento de pitch e ancorando o mapeamento.

Estratégia de Treinamento

O orçamento total de dados é fixo, enquanto a razão entre dados emparelhados e não emparelhados é variada. Em cada etapa, o modelo amostra lotes tanto do pool não emparelhado (para perdas cíclicas/adversariais) quanto de um subconjunto emparelhado fixo (para perdas supervisionadas).

Contribuições e Descobertas Principais

1. Dados Não Emparelhados como Recurso de Alto Valor

O estudo demonstra que dados não emparelhados produzem ganhos substanciais de desempenho, particularmente em regimes de poucos recursos onde a supervisão emparelhada é escassa.

• Escala de Desempenho: No conjunto de dados MAESTRO, o treinamento com apenas 1,6 horas de dados emparelhados (razão 1:100) alcança um F1 de Quadro de 66,93. A adição de dados não emparelhados eleva isso para 75,45, recuperando 86,3% do desempenho de um modelo totalmente supervisionado treinado em 161 horas de dados (87,43 F1).
• Recurso Extremamente Baixo: Em uma configuração com razão de dados emparelhados para não emparelhados de 1:1000, a adição de dados não emparelhados melhora o F1 de 47,24 para 71,37 (+24,13).

2. Instabilidade do Treinamento Puramente Não Supervisionado

O treinamento apenas com dados não emparelhados é altamente instável. Embora algumas execuções converjam para soluções razoáveis, outras colapsam em estados deslocados em pitch (prevendo notas em pitches incorretos) que ainda satisfazem a perda de consistência cíclica. Os autores mostram que tão pouco quanto 1,6 horas de supervisão emparelhada são suficientes para eliminar esses modos de falha e garantir uma convergência consistente.

3. Assimetria de Modalidade

O artigo investiga qual tipo de dado não emparelhado (áudio vs. partitura) é mais valioso.

• Domínio do Áudio: Com orçamentos correspondentes, o áudio não emparelhado contribui mais fortemente para o aprendizado do que partituras não emparelhadas. Isso sugere que a diversidade acústica é um motor primário do sinal de consistência cíclica, enquanto a cobertura simbólica sozinha é menos eficaz.
• Estabilidade: A proporção da modalidade "menor" (por exemplo, partituras em uma configuração rica em áudio) é crítica. Aumentar a modalidade menor previne o colapso do treinamento e o sobreajuste.

4. Adaptação de Domínio Zero-Shot

O framework permite adaptação de domínio eficaz sem rótulos de domínio-alvo emparelhados.

• Resultados do GuitarSet: Ao incorporar áudio de guitarra não rotulado no pool de treinamento (ao lado de supervisão mínima de piano), o modelo melhora a transcrição zero-shot de guitarra de 54,81 para 64,81 F1 de Quadro. Isso supera um modelo totalmente supervisionado treinado apenas em dados de piano fora do domínio.
• Sem Degradação Intra-Domínio: A adição de dados não rotulados de um novo instrumento melhora a transcrição do novo instrumento sem degradar o desempenho no instrumento original (piano).

5. Generalização Multi-Instrumento

Em uma configuração multi-instrumento (MusicNet-EM) com apenas 0,47 horas de dados emparelhados em 11 instrumentos, a incorporação de dados não emparelhados de fontes incompatíveis (partituras do MusicNet-EM, áudio do Museu Gardner) melhora significativamente as métricas de transcrição de instrumento único e multi-instrumento, demonstrando a robustez do método a incompatibilidades de distribuição.

Significado e Alegações

O artigo argumenta que a abundância de longa data de áudios não emparelhados e partituras simbólicas oferece um caminho prático e em grande parte inexplorado para transcrição de alta qualidade de instrumentos onde dados rotulados são escassos.

• Âncora Mínima: Os autores afirmam que uma "âncora mínima" de dados emparelhados (tão pouco quanto 1,6 horas) é suficiente para resolver ambiguidades de alinhamento, permitindo que a grande maioria do orçamento de treinamento seja gasta em dados não emparelhados.
• Mudança de Paradigma: Ao contrário de métodos anteriores que dependem de rótulos sintéticos, pseudo-rótulos ou alinhamento explícito de partituras, esta abordagem aprende tradução cruzada de modalidades diretamente de dados predominantemente não emparelhados.
• Escalabilidade: Os resultados sugerem que escalar dados não emparelhados é uma estratégia viável para alcançar transcrição de alta qualidade, reduzindo a dependência de conjuntos de dados caros e alinhados manualmente.

O trabalho não afirma substituir o aprendizado totalmente supervisionado quando grandes conjuntos de dados emparelhados estão disponíveis, mas sim fornece uma solução para a "cauda longa" de instrumentos e conjuntos onde tais dados não existem.