⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Este artículo presenta CultureMERT-95M, un modelo fundacional de música adaptado multiculturalmente entrenado mediante una novedosa estrategia de preentrenamiento continuo de dos etapas en diversas tradiciones no occidentales, lo cual mejora significativamente el rendimiento del autoetiquetado transcultural al tiempo que mantiene la competencia en los referentes occidentales y ofrece una alternativa viable a través de la aritmética de tareas.

Autores originales: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La música es un lenguaje universal, pero las computadoras que usamos para entenderla a menudo hablan un solo dialecto. Durante años, los modelos de inteligencia artificial más potentes diseñados para escuchar y categorizar la música han sido entrenados casi exclusivamente en estilos occidentales, como el pop, el rock y las sinfonías clásicas. Estos sistemas se han vuelto increíblemente buenos al reconocer los patrones de esas tradiciones específicas, pero tienen dificultades cuando se enfrentan a la vasta y rica diversidad de las otras culturas musicales del mundo. Pasan por alto las sutiles estructuras melódicas de la música clásica india, los ciclos rítmicos únicos de las tradiciones turcas o las escalas distintivas de las canciones folclóricas griegas. Esta limitación significa que, para miles de millones de personas cuyo patrimonio musical cae fuera del canon occidental, estas herramientas digitales permanecen ciegas, incapaces de preservar, recomendar o analizar el arte que define a sus comunidades.

Los investigadores han buscado durante mucho tiempo una forma de enseñar a estos modelos a escuchar de manera más amplia sin tener que reconstruirlos desde cero, un proceso que sería prohibitivamente costoso y lento. El desafío radica en adaptar un modelo que ya ha aprendido un conjunto de reglas para que comprenda un conjunto de reglas completamente diferente sin que olvide lo que ya sabía. Este es el problema central abordado por un nuevo estudio que presenta un sistema llamado CultureMERT. Los investigadores pretendían tomar un modelo base que había sido entrenado con mil horas de música predominantemente occidental y guiarlo suavemente para que comprendiera los lenguajes musicales del Mediterráneo oriental y del subcontinente indio, todo ello asegurándose de que no perdiera su capacidad de reconocer los estilos occidentales para los que fue construido originalmente.

Para lograr esto, el equipo empleó una estrategia conocida como preentrenamiento continuo. En lugar de descartar el modelo existente y empezar de nuevo, le proporcionaron una nueva dieta de datos de audio cuidadosamente equilibrada. Este nuevo conjunto de datos incluyó 650 horas de música extraída de cuatro tradiciones distintas: el makam turco, la música clásica hindustaní, la clásica carnática y la música tradicional griega. Sin embargo, el simple hecho de alimentar el modelo con estos nuevos datos hizo que este tropezara, un fenómeno en el que el rendimiento de la computadora en sus tareas originales caía drásticamente al intentar aprender las nuevas. Para resolver esto, los investigadores idearon un enfoque de dos etapas. En la primera etapa, introdujeron al modelo una porción más pequeña de la nueva música mientras mantenían congeladas sus capas internas más complejas, permitiendo que solo las partes básicas de procesamiento de sonido se ajustaran. También mezclaron una pequeña cantidad de música occidental durante esta fase para recordarle al modelo su entrenamiento original. En la segunda etapa, desbloquearon todo el modelo y lo entrenaron con el conjunto completo de 650 horas de datos, permitiéndole integrar plenamente estos nuevos matices culturales.

Los resultados fueron sorprendentes. Cuando se probó en tareas que requerían que el modelo identificara instrumentos, estados de ánimo o modos musicales específicos en la música no occidental, el modelo adaptado mostró una mejora significativa, con un aumento promedio de casi un cinco por ciento en la precisión en comparación con la versión original. Crucialmente, esta ganancia no se produjo a expensas de su conocimiento previo; el modelo mantuvo su capacidad para reconocer la música occidental con casi ninguna pérdida de rendimiento. El estudio también exploró un método diferente llamado aritmética de tareas, que consiste en combinar matemáticamente el "conocencia" de varios modelos más pequeños, cada uno entrenado en una sola cultura, en un sistema unificado. Este enfoque funcionó tan bien como el método de entrenamiento directo en las tareas no occidentales e incluso superó este último en los parámetros occidentales, lo que sugiere que fusionar modelos especializados es una alternativa poderosa a reentrenarlos todos a la vez.

Los investigadores descubrieron que la capacidad del modelo para transferir conocimiento entre culturas no era uniforme. Por ejemplo, el modelo entrenado con la música carnática del sur de la India mostró una fuerte capacidad para generalizarse a la música hindustaní del norte de la India e incluso a las tradiciones turcas, probablemente porque estos sistemas comparten raíces teóricas profundas en la melodía y el ritmo. En contraste, el modelo tuvo más dificultades para transferir el conocimiento a la música tradicional griega, la cual, aunque distinta, compartía menos similitudes estructurales con los conjuntos de datos indios y turcos en la forma específica en que la computadora codifica el sonido. Al analizar los "tokens" digitales que el modelo utiliza para representar el sonido, el equipo descubrió que la distancia matemática entre estas tradiciones musicales predecía qué tan bien las aprendería el modelo, ofreciendo una nueva forma de planificar la futura recolección de datos de entrenamiento.

En última instancia, este trabajo demuestra que la inteligencia artificial puede hacerse más inclusiva sin sacrificar sus capacidades centrales. Los investigadores han puesto a disposición del público su modelo adaptado, CultureMERT, proporcionando una herramienta que finalmente puede escuchar la música del mundo con un oído mucho más amplio. Reconocen que, si bien su modelo es un paso adelante significativo, no es una solución perfecta; la tecnología subyacente utilizada para convertir el sonido en tokens digitales fue todavía entrenada con música occidental, lo que puede limitar qué tan profundamente puede captar ciertas sutilezas culturales. No obstante, al demostrar que un modelo puede aprender nuevos lenguajes musicales mientras recuerda los antiguos, este estudio ofrece un camino claro hacia un futuro donde los sistemas de música digital sean verdaderamente globales, capaces de honrar todo el espectro de la expresión musical humana.

Resumen Técnico: CultureMERT: Preentrenamiento Continuo para el Aprendizaje de Representaciones Musicales Transculturales

1. Planteamiento del Problema

Si bien los modelos fundacionales de música recientes han avanzado significativamente en el aprendizaje de representaciones de audio, su eficacia sigue siendo limitada cuando se aplican a tradiciones musicales diversas y no occidentales. Los modelos existentes, como MERT-v1, están entrenados predominantemente en conjuntos de datos de tendencia occidental (por ejemplo, pop, rock, clásica), lo que provoca que fallen al capturar estructuras melódicas, sistemas modales y patrones rítmicos únicos inherentes a tradiciones como la turca, la india y la griega. Esta limitación restringe la aplicabilidad de estos modelos en sistemas de recomendación específicos de regiones y en la preservación del patrimonio cultural. Además, entrenar nuevos modelos desde cero para cada dominio cultural es computacionalmente prohibitivo. El artículo aborda la necesidad de modelos inclusivos y culturalmente conscientes que puedan generalizar más allá de las tradiciones occidentales sin sufrir un olvido catastrófico del conocimiento previo.

2. Metodología

2.1 Estrategia de Preentrenamiento Continuo (CPT)

Los autores proponen CultureMERT-95M, un modelo fundacional adaptado de MERT-v1-95M utilizando una estrategia de preentrenamiento continuo en dos etapas. Este enfoque tiene como objetivo estabilizar el entrenamiento y mitigar el olvido catastrófico al adaptarse a una distribución de datos desplazada (de occidental a multicultural).

Objetivo de Preentrenamiento: El modelo conserva el objetivo de modelado de lenguaje enmascarado (MLM) autosupervisado de MERT, utilizando dos modelos maestros:
1. Maestro Acústico (EnCodec): Discretiza el audio en tokens a partir de 8 codebooks de cuantificación de vectores residuales (RVQ).
2. Maestro Musical: Reconstruye espectrogramas de Transformada de Constante-Q (CQT) para codificar el tono y la estructura armónica.
  La pérdida total es una suma ponderada de la pérdida de predicción de tokens acústicos ( $L_{RVQ}$ ) y la pérdida de reconstrucción de CQT ( $L_{CQT}$ ).
Adaptación en Dos Etapas:
- Etapa 1 (Estabilización): Para abordar la "brecha de estabilidad" y prevenir caídas de rendimiento, el modelo se entrena con un subconjunto más pequeño (100 horas) de datos multiculturales. Crucialmente, solo se actualizan el extractor de características basado en CNN y las capas de incrustación de palabras clave (codeword embedding), mientras que el codificador Transformer permanece congelado. Para mitigar el olvido, el 20% de estos datos es "reproducción occidental" (dataset Music4All). Se aplica un esquema de re-calentamiento de la tasa de aprendizaje (learning rate re-warming).
- Etapa 2 (Adaptación Total): El codificador Transformer se descongela y el entrenamiento continúa con el conjunto completo de 650 horas de datos multiculturales (que comprenden tradiciones griega, turca e india). Se utiliza un esquema de tasa de aprendizaje menos agresivo para equilibrar la plasticidad y la estabilidad.
Composición de los Datos: La mezcla de entrenamiento incluye 200 horas cada una de los conjuntos de datos de makam turco, Hindustani y Carnática, y 50 horas del corpus Lyra (música tradicional griega), sumando un total de 650 horas.

2.2 Aritmética de Tareas (TA)

Como alternativa al CPT multicultural, los autores investigan la Aritmética de Tareas, una técnica de fusión en el espacio de pesos.

Mecanismo: Los vectores de tarea ( $\tau_i$ ) se calculan como la diferencia entre los parámetros de los modelos adaptados a una sola cultura ( $\theta_i$ ) y el modelo preentrenado base ( $\theta_{pre}$ ).
Fusión: Un modelo multicultural unificado ( $\theta_{merged}$ ) se construye sumando algebraicamente estos vectores de tarea con factores de escala ( $\lambda_i$ ):
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
Este enfoque permite la creación de un modelo multicultural sin entrenamiento adicional, siempre que se disponga de los modelos adaptados a una sola cultura.

3. Contribuciones Clave

Primera Aplicación en MIR: Este es el primer estudio que explora el preentrenamiento continuo y la aritmética de tareas específicamente para la adaptación transcultural en la Recuperación de Información Musical (MIR).
Estrategia de CPT Estabilizada: La propuesta de una estrategia de CPT de dos etapas con re-calentamiento de la tasa de aprendizaje y actualizaciones de parámetros por etapas, diseñada para manejar las restricciones computacionales y prevenir el olvido catastrófico durante el desplazamiento de dominio.
Ganancias de Rendimiento: El desarrollo de CultureMERT-95M, que logra una mejora promedio del 4.9% en el ROC-AUC y la Precisión Media (AP) en diversas tareas de auto-etiquetado de música no occidental en comparación con el MERT-v1 original.
Validación de la Aritmética de Tareas: Demostración de que la aritmética de tareas rinde a la par con el CPT multicultural en tareas no occidentales y no muestra regresión en los conjuntos de datos occidentales, ofreciendo una alternativa libre de entrenamiento.
Análisis Transcultural: Una investigación sobre la transferibilidad, revelando que los modelos de una sola cultura se transfieren con efectividad variable, mientras que el modelo adaptado multiculturalmente logra el mejor rendimiento general.
Lanzamiento Abierto: Publicación de CultureMERT-95M y CultureMERT-TA-95M para fomentar la investigación en la representación de la música del mundo.

4. Resultados Experimentales

4.1 Configuración de la Evaluación

Los modelos fueron evaluados tanto en tareas de auto-etiquetado occidentales (MTAT, FMA-medium) como no occidentales (makam turco, Hindustani, Carnática, Lyra) utilizando una evaluación basada en sondas (backbone congelado + MLP superficial) para evaluar la calidad de la representación.

4.2 Métricas de Rendimiento

Adaptación No Occidental: CultureMERT-95M superó al MERT-v1 base con un promedio de 4.9% en ROC-AUC y AP en tareas no occidentales. También superó los resultados previos del estado del arte (SOTA) en todas las tareas de etiquetado no occidental evaluadas.
Retención Occidental: El modelo multicultural exhibió un olvido mínimo en los benchmarks occidentales, con una caída promedio de solo 0.05% en ROC-AUC y AP.
Aritmética de Tareas vs. CPT: La variante de Aritmética de Tareas (CultureMERT-TA) rindió de manera comparable a CultureMERT en tareas no occidentales e incluso superó tanto al modelo base como a los modelos CPT multiculturales en los benchmarks occidentales y en el dataset Lyra.
Transferencia de Cultura Única: Los modelos adaptados a una sola cultura (por ejemplo, MakamMERT) rindieron mejor en sus respectivas tareas de dominio. Sin embargo, incluso las adaptaciones de bajos recursos (por ejemplo, LyraMERT entrenado con 50 horas) produjeron ganancias notables en otras tareas no occidentales, indicando una transferencia transcultural positiva.

4.3 Transferibilidad Transcultural y Similitud de Tokens

Asimetría de Transferencia: El estudio observó una fuerte transferencia entre la música de makam turco y la música Carnática, probablemente debido a marcos modales y microtonalidades compartidas. El modelo adaptado a la música Carnática mostró la mayor transferibilidad hacia otros dominios.
Similitud de Tokens: El análisis mediante la divergencia de Jensen-Shannon y la distancia de coseno en los tokens de EnCodec reveló que las tradiciones no occidentales comparten una similitud significativa a nivel de tokens, distinta de los conjuntos de datos occidentales. La música tradicional griega (Lyra) se alineó más estrechamente con las tradiciones no occidentales que con las occidentales. Estas métricas se correlacionaron con el rendimiento de la transferencia, sugiriendo que la similitud de tokens puede predecir la transferibilidad transcultural.

5. Significado y Reivindicaciones

El artículo afirma que CultureMERT-95M cierra con éxito la brecha en los modelos fundacionales de música al permitir la adaptación efectiva a culturas musicales subrepresentadas sin sacrificar el rendimiento en los benchmarks occidentales. Los autores enfatizan que:

La Conciencia Cultural es Factible: Es posible desarrollar modelos que generalicen más allá de las tradiciones de tendencia occidental utilizando estrategias eficientes de preentrenamiento continuo.
Eficiencia: La estrategia de CPT de dos etapas equilibra eficazmente el dilema de estabilidad-plasticidad bajo recursos computacionales limitados (usando una sola GPU con tamaños de lote limitados).
Vías Alternativas: La aritmética de tareas ofrece una alternativa viable y libre de entrenamiento para crear modelos multiculturales, siempre que existan las adaptaciones de cultura única.
Disponibilidad de Recursos: Al publicar los modelos y el código, los autores buscan apoyar la investigación adicional en el aprendizaje de representaciones de la música del mundo y el desarrollo de sistemas de MIR más inclusivos.

Los autores señalan modestamente las limitaciones, incluyendo la posibilidad de que el tokenizador EnCodec congelado (preentrenado en música occidental) sea subóptimo para diversos lenguajes musicales y la necesidad de trabajos futuros para escalar a más culturas y explorar estudios de ablación más detallados.