Resumo Técnico: Aprendizado Autossupervisionado de Complexidade Linear para Compreensão de Música com Quantização Aleatória

Declaração do Problema

Os modelos de fundação alcançaram um desempenho excepcional no Processamento de Linguagem Natural (NLP) e estão sendo aplicados cada vez mais na Recuperação de Informação Musical (MIR). No entanto, esses modelos normalmente contêm centenas de milhões ou bilhões de parâmetros, tornando-os intensivos em recursos tanto durante o treinamento quanto na implantação. Esse alto custo computacional e a grande pegada de memória representam barreiras significativas para sua adoção em sistemas de produção. Esforços existentes para reduzir a complexidade focam frequentemente em domínios específicos ou conjuntos de tarefas estreitos, deixando uma lacuna em arquiteturas escaláveis e eficientes adaptadas para amplas aplicações de MIR.

Metodologia

Os autores propõem uma arquitetura inovadora que combina backbones estabelecidos de reconhecimento de fala com alternativas de complexidade linear e quantização não treinável para criar um modelo de fundação mais eficiente para música.

Arquitetura

O núcleo da arquitetura proposta é o Branchformer, originalmente desenvolvido para o reconhecimento de fala. O Branchformer consiste em:

• Subamostragem Convolucional: Uma camada inicial para reduzir a dimensionalidade da entrada.
• Blocos de Duplo Ramo (Dual-Branch Blocks): $N$ blocos de codificador onde cada bloco contém dois ramos paralelos:
  1. Um ramo de Auto-Atenção de Múltiplas Cabeças (MSA) (ou seu substituto) para capturar dependências globais.
  2. Um ramo de Portão Convolucional (Convolutional Gating) para capturar dependências locais.
• Concatenação: As saídas de ambos os ramos são concatenadas, pois isso apresentou um desempenho superior à média ponderada.

Alternativa de Complexidade Linear

Para abordar a complexidade quadrática da auto-atenção padrão em relação ao comprimento da sequência, os autores substituem o módulo MSA pelo SummaryMixing. O SummaryMixing reduz a complexidade computacional de quadrática para linear, diminuindo o tempo de treinamento e a pegada de memória, visando manter o desempenho. Os autores avaliam tanto os backbones Branchformer quanto Conformer, com e sem a substituição pelo SummaryMixing.

Quantização Aleatória

Em vez de treinar um quantizador treinável (como um RVQ-VAE usado no MERT), os autores empregam um processo de quantização aleatória.

• Mecanismo: O tokenizador consiste em um código (codebook) gerado aleatoriamente e uma matriz de projeção inicializada aleatoriamente.
• Benefícios: Esta abordagem elimina a necessidade de treinar o tokenizador, reduzindo significativamente o tempo de treinamento e os custos computacionais. Também evita o "colapso do codebook" (codebook collapse), um problema comum em VQ-VAEs onde as palavras do codebook convergem para um único vetor.
• Processo: O espectrograma de Mel de entrada é projetado e mapeado para o token mais próximo no codebook aleatório.

Objetivos de Treinamento e Mascaramento

O modelo é pré-treinado usando um framework de aprendizado autossupervisionado com dois objetivos simultâneos:

1. Perda de Classificação (Entropia Cruzada): O modelo prevê os tokens discretos gerados pelo quantizador aleatório.
2. Perda de Reconstrução (Erro Quadrático Médio): O modelo reconstrói o espectrograma de Mel original.

Estratégia de Mascaramento: A forma de onda de entrada é dividida em segmentos de 400ms. O mascaramento temporal aleatório é aplicado a 20% desses segmentos. A perda é calculada apenas nos tokens mascarados para forçar o modelo a aprender relações contextuais e evitar o overfitting.

Datasets

O pré-treinamento foi conduzido em uma combinação de:

• Datasets Públicos: Music4All (910 horas) e FMA-large (900 horas).
• Dataset Proprietário: Um dataset curado de aproximadamente 200.000 horas de música, comparável em escala aos datasets privados usados em modelos de estado da arte como o MERT.

Principais Contribuições

1. Primeira Aplicação em MIR: Tanto quanto os autores sabem, este é o primeiro esforço de pesquisa que aplica a arquitetura Branchformer combinada com SummaryMixing e quantização aleatória especificamente ao domínio da Recuperação de Informação Musical.
2. Eficiência sem Perda de Desempenho: O estudo demonstra que substituir a auto-atenção de múltiplas cabeças pelo SummaryMixing e usar quantização aleatória pode reduzir os parâmetros do modelo em 8,5% a 12,3% mantendo um desempenho competitivo.
3. Avaliação Abrangente: Diferente de estudos anteriores que avaliaram arquiteturas em conjuntos de tarefas estreitos (ex: rastreamento de batida ou reconhecimento de acordes), este trabalho avalia os modelos através de um amplo conjunto de tarefas de MIR downstream, incluindo classificação de tags musicais, detecção de tonalidade (key detection), classificação de gênero, regressão de emoção, classificação de instrumentos, classificação de pitch, detecção de técnica vocal e identificação de cantor.
4. Reprodutibilidade: Os autores realizaram o pré-treinamento em datasets públicos junto com seus dados proprietários e disponibilizaram gratuitamente seu código e modelos para facilitar a reprodutibilidade.

Resultados

Os autores avaliaram seus modelos (variantes Branchformer e Conformer com e sem SummaryMixing) contra um Branchformer vanilla e o modelo de estado da arte MERT-330 em várias tarefas de downstream.

• Desempenho vs. MERT: Os modelos propostos (especificamente BRN▲$att$ e BRN▲$sum$) alcançaram resultados muito próximos ao MERT-330 na maioria das tarefas. Em tarefas específicas, como classificação de instrumentos e identificação de cantor, os modelos propostos superaram o MERT-330 em aproximadamente 7,5% a 10%.
• Impacto do SummaryMixing: Substituir a auto-atenção pelo SummaryMixing resultou em desempenho semelhante ou ligeiramente superior em muitas tarefas (ex: regressão de score de emoção e classificação de gênero), apesar de possuir menos parâmetros (redução de até 12,3%).
• Efeitos do Tamanho do Dataset: Modelos treinados no grande dataset proprietário (200k horas) geralmente performaram melhor do que aqueles treinados em datasets públicos menores, embora a diferença de desempenho tenha sido frequentemente de poucos pontos percentuais em muitas métricas. No entanto, quedas significativas foram observadas em tarefas específicas (ex: detecção de tonalidade no FMA) ao usar datasets menores, sugerindo que o tamanho do dataset e a natureza do conteúdo influenciam significativamente a generalização.
• Escalabilidade do Tamanho do Modelo: Curiosamente, os autores observaram que o desempenho nem sempre escala linearmente com a contagem de parâmetros. Modelos menores (ex: BRN△$att$ com ~60M de parâmetros) demonstraram resultados competitivos contra seus equivalentes maiores, e em alguns casos, diferentes configurações arquitetônicas produziram melhores resultados do que o simples escalonamento de parâmetros.

Significância e Alegações

O artigo afirma que sua principal contribuição é demonstrar a viabilidade do aprendizado autossupervisionado de complexidade linear para a compreensão musical. Ao combinar a arquitetura Branchformer com SummaryMixing e quantização aleatória, os autores mostram que é possível reduzir significativamente os requisitos computacionais e de memória dos modelos de fundação (reduzindo o tamanho em até 12,3%) sem comprometer sua capacidade de aprender representações generalizáveis para diversas tarefas de MIR.

Os autores observam modestamente que, embora seus modelos alcancem resultados de estado da arte ou próximos ao estado da arte, existem limitações. Eles reconhecem que sua avaliação, embora ampla, não cobriu domínios como correspondência de áudio (audio matching) ou reconhecimento de cover song. Eles também notam que o ajuste extensivo de hiperparâmetros (ex: estratégias de mascaramento alternativas ou treinamento cross-domain) foi limitado pelos recursos computacionais. No entanto, o trabalho fornece evidências sólidas de que modelos de fundação mais eficientes e menores podem servir efetivamente ao domínio da música, oferecendo um caminho para sistemas de IA musical mais acessíveis e implantáveis.