Resumen Técnico: Aprendizaje Auto-supervisado de Complejidad Lineal para la Comprensión Musical con Cuantización Aleatoria

Declaración del Problema

Los modelos fundacionales han logrado un rendimiento excepcional en el Procesamiento del Lenguaje Natural (NLP) y se están aplicando cada vez más a la Recuperación de Información Musical (MIR). Sin embargo, estos modelos suelen contener cientos de millones o miles de millones de parámetros, lo que los hace intensivos en recursos tanto durante el entrenamiento como en el despliegue. Este alto costo computacional y la gran huella de memoria suponen barreras significativas para su adopción en sistemas de producción. Aunque modelos como MERT han demostrado el potencial de los modelos fundacionales generales en MIR, existe una necesidad crítica de reducir el tamaño del modelo y los costos de entrenamiento/inferencia sin sacrificar el rendimiento. Los esfuerzos existentes para reducir la complejidad suelen centrarse en dominios específicos o conjuntos de tareas estrechos, dejando un vacío en las arquitecturas escalables y eficientes adaptadas para aplicaciones amplias de MIR.

Metodología

Los autores proponen una arquitectura novedosa que combina arquitecturas de base (backbones) de reconocimiento de voz establecidas con alternativas de complejidad lineal y cuantización no entrenable para crear un modelo fundacional más eficiente para la música.

Arquitectura

El núcleo del modelo propuesto es la arquitectura Branchformer, desarrollada originalmente para el reconocimiento de voz. El Branchformer consta de:

• Submuestreo Convolucional: Una capa inicial para reducir la dimensionalidad de la entrada.
• Bloques de Doble Rama (Dual-Branch Blocks): $N$ bloques de codificador donde cada bloque contiene dos ramas paralelas:
  1. Una rama de Atención de Múltiples Cabezales (MSA) (o su reemplazo) para capturar dependencias globales.
  2. Una rama de Puerta Convolucional (Convolutional Gating) para capturar dependencias locales.
• Concatenación: Las salidas de ambas ramas se concatenan, ya que se descubrió que esto produce un mejor rendimiento que el promedio ponderado.

Alternativa de Complejidad Lineal

Para abordar la complejidad cuadrática de la autoatención estándar con respecto a la longitud de la secuencia, los autores reemplazan el módulo MSA con SummaryMixing. SummaryMixing reduce la complejidad computacional de cuadrática a lineal, disminuyendo así el tiempo de entrenamiento y la huella de memoria, al tiempo que busca mantener el rendimiento. Los autores evalúan tanto las arquitecturas Branchformer como Conformer, con y sin la sustitución por SummaryMixing.

Cuantización Aleatoria

En lugar de entrenar un cuantizador aprendible (como un RVQ-VAE utilizado en MERT), los autores emplean un proceso de cuantización aleatoria.

• Mecanismo: El tokenizador consiste en un libro de códigos (codebook) generado aleatoriamente y una matriz de proyección inicializada aleatoriamente.
• Beneficios: Este enfoque elimina la necesidad de entrenar el tokenizador, reduciendo significativamente el tiempo de entrenamiento y los costos computacionales. También evita el "colapso del libro de códigos" (codebook collapse), un problema común en los VQ-VAEs donde las palabras del libro de códigos convergen a un solo vector.
• Proceso: El espectrograma mel de la entrada es proyectado y mapeado al token más cercano en el libro de códigos aleatorio.

Objetivos de Entrenamiento y Enmascaramiento

El modelo se preentrena utilizando un marco de aprendizaje auto-supervisado con dos objetivos simultáneos:

1. Pérdida de Clasificación (Entropía Cruzada): El modelo predice los tokens discretos generados por el cuantizador aleatorio.
2. Pérdida de Reconstrucción (Error Cuadrático Medio): El modelo reconstruye el espectrograma mel original.

Estrategia de Enmascaramiento: La forma de onda de entrada se divide en segmentos de 400 ms. Se aplica un enmascaramiento temporal aleatorio al 20% de estos segmentos. La pérdida se calcula únicamente en los tokens enmascarados para forzar al modelo a aprender relaciones contextuales y prevenir el sobreajuste.

Conjuntos de Datos

El preentrenamiento se llevó a cabo mediante una combinación de:

• Conjuntos de Datos Públicos: Music4All (910 horas) y FMA-large (900 horas).
• Conjunto de Datos Propietario: Un conjunto de datos curado de aproximadamente 200,000 horas de música, comparable en escala a los conjuntos de datos privados utilizados en modelos de vanguardia como MERT.

Contribuciones Clave

1. Primera Aplicación en MIR: Según el conocimiento de los autores, este es el primer esfuerzo de investigación que aplica la arquitectura Branchformer combinada con SummaryMixing y cuantización aleatoria específicamente al dominio de la Recuperación de Información Musical.
2. Eficiencia sin Pérdida de Rendimiento: El estudio demuestra que reemplazar la atención de múltiples cabezales con SummaryMixing y utilizar cuantización aleatoria puede reducir los parámetros del modelo entre un 8.5% y un 12.3% manteniendo un rendimiento competitivo.
3. Evaluación Exhaustiva: A diferencia de estudios previos que evaluaron arquitecturas en conjuntos de tareas estrechos (por ejemplo, seguimiento de ritmo o reconocimiento de acordes), este trabajo evalúa los modelos a través de un amplio conjunto de tareas de MIR descendentes, incluyendo etiquetado musical, detección de tonalidad, clasificación de género, regresión de emoción, clasificación de instrumentos, clasificación de tono, detección de técnica vocal e identificación de cantantes.
4. Reproducibilidad: Los autores realizaron el preentrenamiento en conjuntos de datos públicos junto con sus datos propietarios y pusieron su código y modelos a disposición gratuita para facilitar la reproducibilidad.

Resultados

Los autores evaluaron sus modelos (variantes Branchformer y Conformer con y sin SummaryMixing) frente a un Branchformer vanilla y el modelo de vanguardia MERT-330 en diversas tareas descendentes.

• Rendimiento vs. MERT: Los modelos propuestos (específicamente BRN▲$att$ y BRN▲$sum$) lograron resultados muy cercanos a MERT-330 en la mayoría de las tareas. En algunas tareas específicas, como la clasificación de instrumentos e identificación de cantantes, los modelos propuestos superaron a MERT-330 por aproximadamente un 7.5% a 10%.
• Impacto de SummaryMixing: La sustitución de la autoatención por SummaryMixing resultó en un rendimiento similar o ligeramente superior en muchas tareas (por ejemplo, regresión de puntuación de emoción y clasificación de género) a pesar de tener menos parámetros (hasta un 12.3% de reducción).
• Efectos del Tamaño del Conjunto de Datos: Los modelos entrenados con el gran conjunto de datos propietario (200k horas) generalmente funcionaron mejor que aquellos entrenados con conjuntos de datos públicos más pequeños, aunque la brecha de rendimiento fue a menudo de pocos puntos porcentuales en muchas métricas. Sin embargo, se observaron caídas significativas en tareas específicas (por ejemplo, detección de tonalidad en FMA) al usar conjuntos de datos más pequeños, lo que sugiere que el tamaño del conjunto de datos y la naturaleza del contenido influyen significamente en la generalización.
• Escalamiento del Tamaño del Modelo: Curiosamente, los autores observaron que el rendimiento no siempre escala linealmente con el recuento de parámetros. Los modelos más pequeños (por ejemplo, BRN△$att$ con ~60M de parámetros) demostraron resultados competitivos contra sus contrapartes más grandes, y en algunos casos, diferentes configuraciones arquitectónicas arrojaron mejores resultados que el simple escalamiento de parámetros.

Significado y Reivindicaciones

El artículo afirma que su principal contribución es demostrar la viabilidad del aprendizaje auto-supervisado de complejidad lineal para la comprensión musical. Al combinar la arquitectura Branchformer con SummaryMixing y la cuantización aleatoria, los autores muestran que es posible reducir significativamente los requisitos computacionales y de memoria de los modelos fundacionales (reduciendo el tamaño hasta en un 12.3%) sin comprometer su capacidad para aprender representaciones generalizables para diversas tareas de MIR.

Los autores señalan modestamente que, si bien sus modelos alcanzan resultados de vanguardia o cercanos a la vanguardia, existen limitaciones. Reconocen que su evaluación, aunque amplia, no cubrió dominios como la coincidencia de audio (audio matching) o el reconocimiento de canciones de cobertura (cover song recognition). También señalan que el ajuste exhaustivo de hiperparámetros (por ejemplo, estrategias de enmascaramiento alternativas o entrenamiento trans-dominio) se vio limitado por los recursos computacionales. No obstante, el trabajo proporciona una fuerte evidencia de que los modelos fundacionales más eficientes y pequeños pueden servir eficazmente al dominio musical, ofreciendo una vía hacia sistemas de IA musical más accesibles y desplegables.