Resumen Técnico: Transcripción Musical con (Casi) Ninguna Supervisión

Enunciado del Problema

La Transcripción Musical Automática (AMT) ha logrado un rendimiento a nivel humano para el piano mediante aprendizaje profundo supervisado, pero estos modelos dependen de grandes conjuntos de datos de pares audio-partitura perfectamente alineados. Tales datos son escasos para la mayoría de los instrumentos y conjuntos debido a los altos costos de recopilación, la naturaleza intensiva en mano de obra de la alineación manual (que requiere precisión a nivel de cuadro) y las restricciones de derechos de autor. Por el contrario, vastas cantidades de grabaciones de audio no emparejadas y partituras simbólicas se han acumulado durante el último siglo pero permanecen sin utilizar para el entrenamiento. El desafío central abordado por este trabajo es si estos almacenes de datos disponibles gratuitamente pero no emparejados pueden aprovecharse para entrenar modelos de transcripción de alta calidad cuando la supervisión emparejada es limitada o inexistente.

Metodología

Los autores proponen un marco de traducción cíclicamente consistente que trata la pequeña cantidad de datos emparejados disponibles como un "ancla mínima" para desbloquear el potencial de un gran conjunto de datos no emparejados.

Arquitectura y Espacio Latente

• Cambio de Modalidad: El modelo mapea entre espectrogramas CQT (Transformada de Constante-Q) ($X_C$) y partituras simbólicas ($x_S$). Para manejar el cambio de espectrogramas continuos a secuencias de eventos discretas, los autores introducen un espacio latente continuo ($Z_S$).
• VAE Preentrenado: Las partituras simbólicas se codifican en un espacio latente suave y diferenciable utilizando un Autoencoder Variacional (VAE) preentrenado. El codificador se congela durante el entrenamiento de la transcripción.
• Generadores: Se entrenan dos generadores:
  1. $G$: Transcribe espectrogramas CQT al espacio latente de partituras ($X_C \to Z_S$).
  2. $F$: Sintetiza espectrogramas CQT desde el espacio latente de partituras ($Z_S \to X_C$).

Funciones de Pérdida

El objetivo de entrenamiento combina varios componentes para garantizar estabilidad y corrección:

1. Consistencia Cíclica: Exige que componer las mapeos hacia adelante y hacia atrás aproxime la función identidad ($F(G(x_C)) \approx x_C$ y $G(F(z_S)) \approx z_S$). Esto evita que el modelo colapse, pero es insuficiente por sí solo, ya que admite soluciones degeneradas (por ejemplo, transcripciones desplazadas globalmente en altura).
2. Pérdida Adversarial: Utiliza pérdidas de GAN de Mínimos Cuadrados (LSGAN) con discriminadores para distinguir muestras reales de generadas en ambos dominios.
3. Coincidencia de Características Consciente del Ciclo: A diferencia de la coincidencia de características estándar que compara muestras reales y generadas (problemático en la traducción cruzada de modalidades donde deberían diferir), esta pérdida compara muestras reales contra sus contrapartes reconstruidas por ciclo dentro del mismo dominio.
4. Supervisión Emparejada (El Ancla): Un subconjunto pequeño de datos de audio-partitura emparejados se utiliza para calcular pérdidas supervisadas directas ($L_{sup}$). Esto resuelve la ambigüedad de alineación inherente a la consistencia cíclica, evitando fallos de desplazamiento de altura y anclando el mapeo.

Estrategia de Entrenamiento

El presupuesto total de datos es fijo, mientras que la proporción de datos emparejados a no emparejados varía. En cada paso, el modelo muestrea lotes tanto del conjunto no emparejado (para pérdidas de ciclo/adversariales) como de un subconjunto emparejado fijo (para pérdidas supervisadas).

Contribuciones y Hallazgos Clave

1. Datos No Emparejados como Recurso de Alto Valor

El estudio demuestra que los datos no emparejados producen ganancias sustanciales de rendimiento, particularmente en regímenes de bajos recursos donde la supervisión emparejada es escasa.

• Escalado de Rendimiento: En el conjunto de datos MAESTRO, entrenar con solo 1.6 horas de datos emparejados (proporción 1:100) logra un F1 de Cuadro de 66.93. Agregar datos no emparejados eleva esto a 75.45, recuperando el 86.3% del rendimiento de un modelo totalmente supervisado entrenado con 161 horas de datos (87.43 F1).
• Bajos Recursos Extremos: En un escenario con proporción 1:1000 de datos emparejados a no emparejados, agregar datos no emparejados mejora el F1 de 47.24 a 71.37 (+24.13).

2. Inestabilidad del Entrenamiento Puramente No Supervisado

Entrenar solo con datos no emparejados es altamente inestable. Mientras que algunas ejecuciones convergen a soluciones razonables, otras colapsan en estados desplazados en altura (prediciendo notas en alturas incorrectas) que aún satisfacen la pérdida de consistencia cíclica. Los autores muestran que tan solo 1.6 horas de supervisión emparejada son suficientes para eliminar estos modos de fallo y garantizar una convergencia consistente.

3. Asimetría de Modalidad

El artículo investiga qué tipo de datos no emparejados (audio vs. partitura) es más valioso.

• Dominancia del Audio: Con presupuestos coincidentes, el audio no emparejado contribuye más fuertemente al aprendizaje que las partituras no emparejadas. Esto sugiere que la diversidad acústica es un impulsor principal de la señal de consistencia cíclica, mientras que la cobertura simbólica por sí sola es menos efectiva.
• Estabilidad: La proporción de la modalidad "menor" (por ejemplo, partituras en una configuración rica en audio) es crítica. Aumentar la modalidad menor previene el colapso del entrenamiento y el sobreajuste.

4. Adaptación de Dominio Zero-Shot

El marco permite una adaptación de dominio efectiva sin etiquetas de dominio objetivo emparejadas.

• Resultados de GuitarSet: Al incorporar audio de guitarra sin etiquetar en el conjunto de entrenamiento (junto con supervisión mínima de piano), el modelo mejora la transcripción de guitarra zero-shot de 54.81 a 64.81 F1 de Cuadro. Esto supera a un modelo totalmente supervisado entrenado solo con datos de piano fuera de dominio.
• Sin Degradación In-Dominio: Agregar datos sin etiquetar de un nuevo instrumento mejora la transcripción del nuevo instrumento sin degradar el rendimiento en el instrumento original (piano).

5. Generalización Multi-Instrumento

En un escenario multi-instrumento (MusicNet-EM) con solo 0.47 horas de datos emparejados en 11 instrumentos, incorporar datos no emparejados de fuentes desajustadas (partituras de MusicNet-EM, audio del Museo Gardner) mejora significativamente tanto las métricas de transcripción de instrumento único como de múltiples instrumentos, demostrando la robustez del método frente a desajustes de distribución.

Significado y Afirmaciones

El artículo argumenta que la abundancia a largo plazo de audio no emparejado y partituras simbólicas ofrece una ruta práctica y en gran medida desaprovechada hacia transcripciones de alta calidad para instrumentos donde los datos etiquetados son escasos.

• Ancla Mínima: Los autores afirman que un "ancla mínima" de datos emparejados (tan poco como 1.6 horas) es suficiente para resolver ambigüedades de alineación, permitiendo que la gran mayoría del presupuesto de entrenamiento se gaste en datos no emparejados.
• Cambio de Paradigma: A diferencia de métodos anteriores que dependen de etiquetas sintéticas, pseudo-etiquetado o alineación explícita de partituras, este enfoque aprende la traducción cruzada de modalidades directamente de datos predominantemente no emparejados.
• Escalabilidad: Los resultados sugieren que escalar datos no emparejados es una estrategia viable para lograr transcripciones de alta calidad, reduciendo la dependencia de conjuntos de datos costosos y alineados manualmente.

El trabajo no afirma reemplazar el aprendizaje totalmente supervisado cuando existen grandes conjuntos de datos emparejados, sino que proporciona una solución para la "cola larga" de instrumentos y conjuntos donde tales datos no existen.