⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Este artigo apresenta o CultureMERT-95M, um modelo de fundação musical multiculturalmente adaptado, treinado por meio de uma nova estratégia de pré-treinamento contínuo em duas etapas em diversas tradições não ocidentais, o qual melhora significativamente o desempenho de auto-etiquetagem transcultural enquanto mantém a proficiência em benchmarks ocidentais e oferece uma alternativa viável através de aritmética de tarefas.

Autores originais: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A música é uma linguagem universal, mas os computadores que usamos para compreendê-la frequentemente falam apenas um dialeto. Durante anos, os modelos de inteligência artificial mais poderosos projetados para ouvir e categorizar música foram treinados quase exclusivamente em estilos ocidentais, como o pop, o rock e as sinfonias clássicas. Esses sistemas tornaram-se incrivelmente bons em reconhecer os padrões dessas tradições específicas, mas têm dificuldade quando confrontados com a vasta e rica diversidade das outras culturas musicais do mundo. Eles perdem as sutilezas das estruturas melódicas da música clássica indiana, os ciclos rítmicos únicos das tradições turcas ou as escalas distintas das canções folclóricas gregas. Essa limitação significa que, para bilhões de pessoas cuja herança musical cai fora do cânone ocidental, essas ferramentas digitais permanecem cegas, incapazes de preservar, recomendar ou analisar a arte que define suas comunidades.

Pesquisadores há muito buscam uma maneira de ensinar esses modelos a ouvir de forma mais ampla sem ter que reconstruí-los do zero, um processo que seria proibitivamente caro e demorado. O desafio reside em adaptar um modelo que já aprendeu um conjunto de regras para entender um conjunto de regras completamente diferente sem fazer com que ele esqueça o que já sabia. Este é o problema central abordado por um novo estudo que introduz um sistema chamado CultureMERT. Os pesquisadores visaram pegar um modelo de base que havia sido treinado em mil horas de música predominantemente ocidental e guiá-lo gentilmente para compreender as linguagens musicais do Mediterrâneo Oriental e do subcontinente indiano, garantindo ao mesmo tempo que não perdesse sua capacidade de reconhecer os estilos ocidentais para os quais foi originalmente construído.

Para alcançar isso, a equipe empregou uma estratégia conhecida como pré-treinamento contínuo. Em vez de descartar o modelo existente e começar do zero, eles o alimentaram com uma nova dieta cuidadosamente equilibrada de dados de áudio. Este novo conjunto de dados incluiu 650 horas de música extraída de quatro tradições distintas: o makam turco, o clássico hindustani, o clássico carnático e a música tradicional grega. No entanto, simplesmente alimentar o modelo com esses novos dados fez com que ele tropeçasse, um fenômeno onde o desempenho do computador em suas tarefas originais despenca conforme ele tenta aprender as novas. Para resolver isso, os pesquisadores criaram uma abordagem de dois estágios. No primeiro estágio, introduziram ao modelo uma parte menor da nova música enquanto mantinham suas camadas internas mais complexas congeladas, permitindo que apenas as partes básicas de processamento de som se ajustassem. Eles também misturaram uma pequena quantidade de música ocidental durante esta fase para lembrar o modelo de seu treinamento original. No segundo estágio, desbloquearam todo o modelo e o treinaram no conjunto completo de 650 horas de dados, permitindo que ele integrasse totalmente essas novas nuances culturais.

Os resultados foram impressionantes. Quando testado em tarefas que exigiam que o modelo identificasse instrumentos, humores ou modos musicais específicos em músicas não ocidentais, o modelo adaptado mostrou uma melhoria significativa, apresentando um aumento médio de quase cinco por cento na precisão em comparação com a versão original. Crucialmente, esse ganho não ocorreu às custas de seu conhecimento prévio; o modelo manteve sua capacidade de reconhecer a música ocidental com quase nenhuma perda de desempenho. O estudo também explorou um método diferente chamado aritmética de tarefas, que envolve combinar matematicamente o "conhecimento" de vários modelos menores, cada um treinado em uma única cultura, em um sistema unificado. Essa abordagem teve um desempenho tão bom quanto o método de treinamento direto em tarefas não ocidentais e até o superou em benchmarks ocidentais, sugerindo que fundir modelos especializados é uma alternativa poderosa para treiná-los todos de uma vez.

Os pesquisadores descobriram que a capacidade do modelo de transferir conhecimento entre culturas não era uniforme. Por exemplo, o modelo treinado na música carnática do sul da Índia mostrou uma forte capacidade de generalizar para a música hindustani do norte da Índia e até para as tradições turcas, provavelmente porque esses sistemas compartilham raízes teóricas profundas em melodia e ritmo. Em contraste, o modelo teve mais dificuldade em transferir conhecimento para a música tradicional grega, que, embora distinta, compartilhava menos semelhanças estruturais com os conjuntos de dados indianos e turcos na forma específica como o computador codifica o som. Ao analisar os "tokens" digitais que o modelo usa para representar o som, a equipe descobriu que a distância matemática entre essas tradições musicais previa quão bem o modelo as aprenderia, oferecendo uma nova maneira de planejar futuros dados de treinamento.

Em última análise, este trabalho demonstra que a inteligência artificial pode ser tornada mais inclusiva sem sacrificar suas capacidades principais. Os pesquisadores disponibilizaram seu modelo adaptado, o CultureMERT, ao público, fornecendo uma ferramenta que pode finalmente ouvir a música do mundo com um ouvido muito mais amplo. Eles reconhecem que seu modelo é um passo significativo à frente, mas não é uma solução perfeita; a tecnologia subjacente usada para converter som em tokens digitais ainda foi treinada em música ocidental, o que pode limitar o quão profundamente ela pode compreender certas sutilezas culturais. No entanto, ao mostrar que um modelo pode aprender novas linguagens musicais enquanto lembra das antigas, este estudo oferece um caminho claro para um futuro onde os sistemas de música digital sejam verdadeiramente globais, capazes de honrar todo o espectro da expressão musical humana.

Resumo Técnico: CultureMERT: Pré-treinamento Contínuo para Aprendizado de Representação Musical Transcultural

1. Declaração do Problema

Embora os recentes modelos de fundação musical tenham avançado significativamente o aprendizado de representação de áudio, sua eficácia permanece limitada quando aplicados a tradições musicais diversas e não ocidentais. Os modelos existentes, como o MERT-v1, são predominantemente treinados em conjuntos de dados de orientação ocidental (ex: pop, rock, clássica), o que faz com que falhem em capturar estruturas melódicas, sistemas modais e padrões rítmicos únicos inerentes a tradições como a turca, a indiana e a grega. Essa limitação restringe a aplicabilidade desses modelos em sistemas de recomendação específicos de regiões e na preservação do patrimônio cultural. Além disso, treinar novos modelos do zero para cada domínio cultural é computacionalmente proibitivo. O artigo aborda a necessidade de modelos inclusivos e culturalmente conscientes que possam generalizar além das tradições ocidentais sem o esquecimento catastrófico do conhecimento prévio.

2. Metodologia

2.1 Estratégia de Pré-treinamento Contínuo (CPT)

Os autores propõem o CultureMERT-95M, um modelo de fundação adaptado do MERT-v1-95M usando uma estratégia de pré-treinamento contínuo em duas etapas. Esta abordagem visa estabilizar o treinamento e mitigar o esquecimento catastrófico ao se adaptar a uma distribuição de dados deslocada (de ocidental para multicultural).

Objetivo de Pré-treinamento: O modelo retém o objetivo de modelagem de linguagem mascarada (MLM) auto-supervisionada do MERT, utilizando dois modelos professores:
1. Professor Acústico (EnCodec): Discretiza o áudio em tokens de 8 codebooks de quantização vetorial residual (RVQ).
2. Professor Musical: Reconstrói espectrogramas de Transformada de Q Constante (CQT) para codificar estrutura de pitch e harmônica.
  O loss total é uma soma ponderada do loss de predição de token acústico ( $L_{RVQ}$ ) e do loss de reconstrução de CQT ( $L_{CQT}$ ).
Adaptação em Duas Etapas:
- Etapa 1 (Estabilização): Para abordar o "gap de estabilidade" e evitar quedas de desempenho, o modelo é treinado em um subconjunto menor (100 horas) de dados multiculturais. Crucialmente, apenas o extrator de características baseado em CNN e as camadas de embedding de codeword são atualizados, enquanto o codificador Transformer permanece congelado. Para mitigar o esquecimento, 20% desses dados são de "reprodução ocidental" (dataset Music4All). Um cronograma de reaquecimento da taxa de aprendizado (learning rate re-warming) é aplicado.
- Etapa 2 (Adaptação Total): O codificador Transformer é descongelado e o treinamento continua no conjunto de dados multiculturais completo de 650 horas (composto por tradições grega, turca e indiana). Um cronograma de taxa de aprendimento menos agressivo é usado para equilibrar plasticidade e estabilidade.
Composição de Dados: A mistura de treinamento inclui 200 horas cada dos datasets de makam turco, Hindustani e Carnática, e 50 horas do corpus Lyra (música tradicional grega), totalizando 650 horas.

2.2 Aritmética de Tarefas (TA)

Como uma alternativa ao CPT multicultural, os autores investigam a Aritmética de Tarefas, uma técnica de fusão no espaço de pesos.

Mecanismo: Vetores de tarefa ( $\tau_i$ ) são computados como a diferença entre os parâmetros de modelos adaptados para uma única cultura ( $\theta_i$ ) e o modelo pré-treinado base ( $\theta_{pre}$ ).
Fusão: Um modelo multicultural unificado ( $\theta_{merged}$ ) é construído somando algebricamente esses vetores de tarefa com fatores de escala ( $\lambda_i$ ):
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
Esta abordagem permite a criação de um modelo multicultural sem treinamento adicional, desde que modelos adaptados para uma única cultura estejam disponíveis.

3. Principais Contribuições

Primeira Aplicação em MIR: Este é o primeiro estudo a explorar o pré-treinamento contínuo e a aritmética de tarefas especificamente para adaptação transcultural em Recuperação de Informação Musical (MIR).
Estratégia de CPT Estabilizada: A proposta de uma estratégia de CPT de duas etapas com reaquecimento de taxa de aprendimento e atualizações de parâmetros em etapas, projetada para lidar com restrições computacionais e prevenir o esquecimento catastrófico durante o deslocamento de domínio.
Ganhos de Desempenho: O desenvolvimento do CultureMERT-95M, que alcança uma melhoria média de 4,9% em ROC-AUC e Precisão Média (AP) em diversas tarefas de auto-tagging de música não ocidental em comparação ao MERT-v1 original.
Validação da Aritmética de Tarefas: Demonstração de que a aritmética de tarefas performa de forma comparável ao CPT multicultural em tarefas não ocidentais e não mostra regressão em datasets ocidentais, oferecendo uma alternativa livre de treinamento.
Análise Transcultural: Uma investigação sobre a transferibilidade, revelando que modelos de cultura única transferem com eficácia variada, enquanto o modelo adaptado multicultural atinge o melhor desempenho geral.
Lançamento Aberto: Lançamento público do CultureMERT-95M e CultureMERT-TA-95M para fomentar a pesquisa em representação de música do mundo.

4. Resultados Experimentais

4.1 Configuração de Avaliação

Os modelos foram avaliados tanto em tarefas de auto-tagging ocidentais (MTAT, FMA-medium) quanto não ocidentais (Makam turco, Hindustani, Carnática, Lyra) usando uma avaliação baseada em sondagem (backbone congelado + MLP rasa) para avaliar a qualidade da representação.

4.2 Métricas de Desempenho

Adaptação Não Ocidental: O CultureMERT-95M superou o MERT-v1 base em uma média de 4,9% em ROC-AUC e AP em tarefas não ocidentais. Também superou resultados anteriores de estado da arte (SOTA) em todas as tarefas de tagging não ocidentais avaliadas.
Retenção Ocidental: O modelo multicultural exibiu esquecimento mínimo em benchmarks ocidentais, com uma queda média de apenas 0,05% em ROC-AUC e AP.
Aritmética de Tarefas vs. CPT: A variante de Aritmética de Tarefas (CultureMERT-TA) performou comparavelmente ao CultureMERT em tarefas não ocidentais e até superou tanto o base quanto os modelos de CPT multiculturais em benchmarks ocidentais e no dataset Lyra.
Transferência de Cultura Única: Modelos adaptados para cultura única (ex: MakamMERT) performaram melhor em suas respectivas tarefas in-domain. No entanto, mesmo adaptações de baixo recurso (ex: LyraMERT treinado em 50 horas) renderam ganhos perceptíveis em outras tarefas não ocidentais, indicando transferência transcultural positiva.

4.3 Transferibilidade Transcultural e Similaridade de Tokens

Assimetria de Transferência: O estudo observou uma forte transferência entre a música de makam turco e a música Carnática, provavelmente devido a estruturas modais e microtonalidade compartilhadas. O modelo adaptado para Carnática mostrou a maior transferibilidade entre os outros domínios.
Similaridade de Tokens: A análise usando divergência de Jensen-Shannon e distância de cosseno nos tokens EnCodec revelou que as tradições não ocidentais compartilham uma similaridade significativa no nível de token, distinta dos datasets ocidentais. A música tradicional grega (Lyra) alinhou-se mais proximamente com as tradições não ocidentais do que com as ocidentais. Essas métricas correlacionaram-se com o desempenho de transferência, sugerindo que a similaridade de tokens pode prever a transferibilidade transcultural.

5. Significância e Alegações

O artigo afirma que o CultureMERT-95M preenche com sucesso a lacuna nos modelos de fundação musical ao permitir a adaptação eficaz a culturas musicais sub-representadas sem sacrificar o desempenho em benchmarks ocidentais. Os autores enfatizam que:

A Consciência Cultural é Viável: É possível desenvolver modelos que generalizem além das tradições centradas no Ocidente usando estratégias eficientes de pré-treinamento contínuo.
Eficiência: A estratégia de CPT de duas etapas equilibra efetivamente o dilema estabilidade-plasticidade sob recursos computacionais limitados (usando uma única GPU com tamanhos de lote reduzidos).
Caminhos Alternativos: A aritmética de tarefas oferece uma alternativa viável e livre de treinamento para criar modelos multiculturais, desde que existam adaptações de cultura única.
Disponibilidade de Recursos: Ao lançar os modelos e o código, os autores visam apoiar mais pesquisas em aprendizado de representação de música do mundo e no desenvolvimento de sistemas de MIR mais inclusivos.

Os autores notam modestamente limitações, incluindo o potencial de subotimalidade do tokenizador EnCodec congelado (pré-treinado em música ocidental) para diversas linguagens musicais e a necessidade de trabalhos futuros para escalar para culturas adicionais e explorar estudos de ablação mais detalhados.