Resumen Técnico: MIDI-RAE-JEPA

Planteamiento del Problema

El artículo aborda la falta de representaciones internas ricas y autosupervisadas para la música simbólica que capturen su naturaleza jerárquica y multiescala. Aunque existen modelos de lenguaje multimodales de gran tamaño, estos desempeñan un papel deficiente en tareas de comprensión musical. Además, los objetivos estándar de aprendizaje autosupervisado (SSL) diseñados para imágenes naturales (por ejemplo, la estrategia de recorte y redimensionamiento de DINOv2) son semánticamente problemáticos para las representaciones de piano roll. El "zoom" en un piano roll fusiona semitonos adyacentes y distorsiona la estructura rítmica, a diferencia de la invariancia de escala suave que se encuentra en las fotografías. El objetivo es desarrollar un enfoque específico del dominio que aprenda representaciones jerárquicas de música simbólica (codificada como imágenes de piano roll) capaces de soportar tanto tareas discriminativas como una generación de alta calidad sin necesidad de un ajuste fino (fine-tuning) de extremo a extremo.

Metodología

Representación de Datos

El sistema opera sobre el conjunto de datos POP909, renderizando segmentos de 8 compases como imágenes de piano roll binarias de 128 × 128. El eje horizontal representa el tiempo (64 pasos de corchea) y el eje vertical representa el tono (todos los 128 tonos MIDI). El flujo de entrenamiento utiliza recortes aleatorios con aumentos de transposición de tono y tiempo para expandir la variedad de entrenamiento efectiva.

Arquitectura

El núcleo del sistema es un codificador Hierarchical Swin Transformer V2 con seis etapas. Procesa la entrada utilizando ventanas desplazadas para la autoatención, realizando un submuestreo (downsampling) de 2× en cada etapa mientras duplica la dimensión de incrustación (embedding). La arquitectura produce incrustaciones a múltiples resoluciones, desde detalles locales de grano fino (Nivel 5) hasta un contexto global grueso (Nivel 0).

Objetivos de Entrenamiento

El codificador se entrena puramente mediante objetivos autosupervisados, combinando tres componentes principales:

1. Pérdida de Equivarianza ($L_{equiv}$): En lugar de forzar todas las vistas desplazadas a incrustaciones idénticas (lo que causa colapso), el modelo impone una distancia de incrustación objetivo proporcional a la magnitud del desplazamiento.

   • Mecanismo: Se crean dos vistas ($x_1$ y $x_2$) desplazando el recorte original en tono y tiempo. La pérdida minimiza la diferencia al cuadrado entre la distancia euclidiana de las incrustaciones y una distancia objetivo escalada por la magnitud del desplazamiento ($\alpha \sqrt{d} \|\hat{\delta}\|$).
   • Efecto: Esto fomenta que el modelo internalice las relaciones temporales y de tono, asegurando que los desplazamientos mayores resulten en incrustaciones proporcionalmente más distantes.

2. Predictor de Incrustación Enmascarada (MEP) y LeJEPA: Siguiendo el marco de trabajo de LeJEPA, una red predictora ligera intenta reconstruir las incrustaciones de parches enmascarados a partir de la representación de contexto completo del estudiante, utilizando objetivos estables generados por un profesor de Media Móvil Exponencial (EMA). Esto asegura que el modelo aprenda representaciones predictivas del contexto musical a través de la jerarquía.

3. Regularización y Factorización:

   • SIGReg: Se aplica la Regularización Gaussiana Isotrópica de Boceto Fragmentado (Chunked Sketched Isotropic Gaussian Regularization) para prevenir el colapso de la representación y forzar un prior Gaussiano isotrópico, teóricamente óptimo para tareas posteriores.
   • Pérdida de Factorización Suave ($L_{fact}$): Un nuevo término de pérdida fomenta que las direcciones de desplazamiento de tono y desplazamiento de tiempo sean geométricamente ortogonales en el espacio latente. Utiliza la similitud de coseno en los vectores de diferencia de aumentación para imponer relaciones paralelas, antiparalelas u ortogonales dependiendo del tipo de desplazamiento, sin prescribir direcciones específicas.

Decodificador y Modelo Generativo

• Decodificador: Una jerarquía Swin espejada con una Red de Pirámide de Características (FPN) reconstruye el piano roll a partir de las incrustaciones del codificador congelado. Se entrena utilizando entropía cruzada binaria.
• Modelo Generativo: Un modelo de Flow Matching opera en el espacio de píxeles, condicionado por las incrustaciones del codificador. Para gestionar la dimensionalidad, las incrustaciones se someten a PCA (reteniendo el 95% de la varianza), y se añade explícitamente la media del tono para preservar la información del registro. Se emplea un esquema de Dropout Multinivel para permitir la generación incondicional, parcialmente condicionada y totalmente condicionada.

Contribuciones Clave

1. Primer JEPA Jerárquico para Música Simbólica: El artículo presenta el primer enfoque basado en la jerarquía JEPA para música simbólica, combinando objetivos de equivariancia, LeJE la arquitectura Swin V2.
2. Pipeline RAE Completo: Demuestra un pipeline completo de Autoencoder de Representación (RAE) para música, mostrando que las incrustaciones del codificador congelado soportan la reconstrucción de alta fidelidad, la generación condicionada y la clasificación de tareas posteriores.
3. Equivarianza Medible: Los autores proporcionan validación empírica de que las distancias de incrustación aumentan monotonicamente con la magnitud del desplazamiento de tono y tiempo, confirmando la equivariancia medible.
4. Funciones de Pérdida Novedosas: La introducción de una pérdida de equivariancia suave escalada por delta y una pérdida de factorización suave que fomenta la ortogonalidad geométrica entre las direcciones de tono y tiempo en el espacio latente.
5. Viabilidad en Hardware de Consumo: Todos los experimentos se realizaron en GPUs de consumo (ej. RTX 4090), demostiendo que este tipo de entrenamiento SSL complejo no requiere clústeres de computación a gran escala.

Resultados

Equivarianza y Factorización

• Equivarianza: Las distancias de incrustación aumentan monotonicamente con la magnitud del desplazamiento, extendiéndose más allá del tamaño de parche nominal de cada nivel de la jerarquía.
• Factorización: La pérdida de factorización suave establece con éxito relaciones geométricas donde los desplazamientos de tipo cruzado (tono vs. tiempo) son casi ortogonales ($|\cos| < 0.02$), y los desplazamientos del mismo tipo son paralelos o antiparalelos.

Tareas Posteriores (Downstream Tasks)

• Clasificación de Emociones: En el conjunto de datos EMOPIA, las sondas lineales (linear probes) entrenadas en las incrustaciones congeladas (específicamente en el Nivel 3) superaron tanto a la línea base de la transformada de dispersión de Haar como a la línea base de DINOv2 en todas las métricas (4 clases, Arousal y Valence).
• Sondas de Estructura: Los niveles finos (L4/L5) codifican fuertemente la densidad de notas ($R^2 > 0.98$), mientras que los niveles más gruesos capturan un contexto más amplio. La similitud entre canciones disminuye monotonicamente de los niveles gruesos a los finos, indicando una mayor discriminabilidad.

Reconstrucción y Generación

• Reconstrucción: El decodificador alcanzó un F1 score de 0.995 en los datos de prueba no vistos, confirmando que el objetivo SSL obliga al codificador a retener suficiente información para una reconstrucción precisa.
• Generación Condicionada: El modelo de flow matching produjo generaciones que coincidían estrechamente con el registro de tono y la densidad rítmica del fragmento de condicionamiento. Los condicionamientos desajustados o incondicionados produjeron salidas musicalmente plausibles pero no relacionadas.
• Validez del Condicionamiento: El análisis de la norma de la proyección de condicionamiento mostró que el modelo aprende a ignorar las señales de condicionamiento barajadas (no informativas) mientras mantiene pesos estables para el condicionamiento válido.

Significado y Reivindicaciones

El artículo afirma que los objetos de SSL basados en la equivariancia, cuando se combinan con una capacidad suficiente del codificador de nivel fino, proporcionan un camino viable hacia representaciones semánticamente ricas y útiles para la generación.

Las conclusiones clave incluyen:

• El paradigma de utilizar representaciones preentrenadas congeladas tanto para la discriminación como para la generación (RAE) se extiende con éxito al dominio de la música simbólica.
• Las representaciones aprendidas capturan estructuras musicalmente significativas (intervalos de tono, periodos rítmicos) sin requerir un ajuste fino para tareas posteriores.
• El enfoque evita los problemas semánticos de la SSL basada en imágenes en los piano rolls al utilizar la equivariancia de traslación en lugar de la invariancia de escala.
• Aunque los niveles más finos de la jerarquía capturan detalles locales de manera efectiva, el artículo señala que capturar "abstracciones musicales obviamente interpretables" en los niveles más gruesos sigue siendo un problema abierto para trabajos futuros.

Los autores concluyen que este método ofrece una base para trabajos futuros destinados a extender estos enfoques a espectrogramas de audio, escalar a conjuntos de datos más grandes y explorar tareas posteriores más ricas como la arreglos o la generación de acompañamiento.