Resumen Técnico: MuScriptor – Un Modelo Abierto para la Transcripción Musical Multi-instrumental

1. Declaración del Problema

La Transcripción Musical Automática (AMT, por sus siglas en inglés) tiene como objetivo convertir grabaciones de audio en representaciones simbólicas (típicamente MIDI). Aunque se ha logrado un progreso significativo en escenarios de un solo instrumento (por ejemplo, piano, guitarra, batería), la transcripción multi-instrumental de propósito general para mezclas musicales reales y complejas sigue siendo un cuello de botella crítico. Los modelos actuales de vanguardia, como MT3 y sus derivados, suelen depender fuertemente de datos sintéticos de entrenamiento. Si bien estos modelos funcionan bien en conjuntos de prueba sintéticos, sufren un cambio de dominio significativo al aplicarse a producciones musicales reales y complejas que presentan timbres diversos, frecuencias superpuestas y efectos de audio (por ejemplo, distorsión). En consecuencia, los sistemas actuales de AMT multi-instrumental suelen ser demasiado propensos a errores para aplicaciones posteriores en musicología, modelado generativo o recuperación de información musical (MIR).

2. Metodología

2.1 Arquitectura del Modelo

MuScriptor emplea una arquitectura de Transformer de solo decodificador (decoder-only), evitando estructuras de atención jerárquicas o de codificador-decodificador complejas en favor de un diseño simple pero efectivo.

• Entradas: El modelo acepta un espectrograma de mel de 5 segundos (derivado de audio mono de 16 kHz mediante STFT con 2048 nFFT y un tamaño de paso de 160, y 512 bins de mel) y una lista opcional de instrumentos objetivo.
• Condicionamiento: La presencia de instrumentos se proporciona como una señal de condicionamiento global (la lista completa de instrumentos de la pista) en lugar de datos de segmento local. Estos embeddings de instrumentos se concatenan con la proyección del espectrograma para servir como condicionamiento de prefijo para el Transformer.
• Tokenización: Las anotaciones de notas se tokenizan de manera similar a MT3, mapeando 128 instrumentos MIDI en 36 subgrupos según la taxonomía MT3_FULL_PLUS.
• Inferencia: Las transcripciones se generan mediante decodificación autorregresiva. El sistema soporta Guía Libre de Clasificador (CFG, por sus siglas en inglés) con una fuerza de $\alpha_{CFG} = 2$ para mejorar la calidad de la generación.

2.2 Estrategia de Datos

El flujo de trabajo de entrenamiento utiliza un enfoque de tres etapas que combina datos sintéticos y reales:

1. Pre-entrenamiento Sintético ($D_{Synth}$): Un conjunto de datos de 1.45 millones de archivos MIDI se convierte a audio sobre la marcha. El flujo de trabajo aplica aumentos aleatorios (cambios de tono, cambios de tempo, ajustes de velocidad, aleatorización de instrumentos) y sintetiza audio utilizando un grupo de más de 250 soundfonts con desafinación aleatoria. Esto crea una variedad infinita de realizaciones de audio a partir de los datos simbólicos.
2. Ajuste Fino con Datos Reales ($D_{Real}$): El modelo se ajusta mediante un proceso de fine-tuning en un conjunto de datos curado de 170,000 grabaciones musicales reales (aproximadamente 11,000 horas) que cubren diversos géneros, desde la música clásica hasta el heavy metal. Estas pistas cuentan con anotaciones de notas alineadas obtenidas mediante sincronización audio-simbólica (usando interpolación lineal y deformación dinámica del tiempo o DTW).
3. Post-entrenamiento mediante Aprendizaje por Refuerzo ($D_{RL}$): Un pequeño subconjunto de 300 pistas de alta calidad verificadas manualmente se utiliza para el post-entrenamiento. El modelo emplea un algoritmo de Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés).
   • Para cada lote, el modelo genera $G=8$ transcripciones independientes.
   • Las recompensas se calculan como la suma de las puntuaciones F1 de Onset (inicio), Frame (cuadro) y Offset (final) contra la verdad fundamental (ground truth).
   • Las ventajas se calculan normalizando las recompensas dentro del grupo, y el modelo se actualiza mediante un objetivo REINFORCE ponderado por estas ventajas.

2.3 Métricas de Evaluación

El rendimiento se mide utilizando las métricas estándar de MIR de la biblioteca mir_eval:

• F1 de Onset: Coincidencia de tono con una tolerancia de inicio de $\pm 50$ ms.
• F1 de Offset: Incluye los criterios de onset más una tolerancia de offset de $\max(50\text{ms}, 0.2 \times d_{ref})$.
• F1 de Frame: Superposición cuadro por cuadro con una resolución de 62.5 ms.
• Multi F1: La métrica más estricta, que requiere coincidencia correcta de tono, tiempo y clasificación de instrumento.
• Nota: Las notas superpuestas del mismo instrumento y tono se eliminan del conjunto de prueba antes de la evaluación debido a las limitaciones de la tokenización.

3. Contribuciones Clave

1. Modelo MuScriptor: El lanzamiento de un modelo de pesos abiertos y de propósito general para la transcripción multi-instrumental (disponible en tamaños desde 60M hasta 1.3B de parámetros) capaz de manejar diversos géneros musicales.
2. Conjunto de Datos a Gran Escala: La curaduría de un conjunto de datos exhaustivo que comprende 170k grabaciones reales con anotaciones alineadas y 1.45M de archivos MIDI sintéticos, abordando la escasez de datos anotados multi-instrumentales.
3. Análisis del Pre-entrenamiento Sintético: Un estudio comparativo que demuestra que, si bien los datos sintéticos son insuficientes para una transcripción de propósito general independiente, son altamente efectivos para el pre-entrenamiento, particularmente cuando los datos reales son escasos.
4. Alineación mediante Aprendizaje por Refuerzo: La aplicación de un algoritmo tipo GRPO para alinear el modelo con transcripciones de alta calidad, una técnica previamente inexplorada en la literatura de AMT.
5. Transcripción Condicionada por Instrumento: La introducción de un condicionamiento de instrumento opcional, que permite a los usuarios personalizar la salida (por ejemplo, transcribiendo instrumentos específicos) y estabilizar las predicciones a través de los límites de los segmentos.

4. Resultados Experimentales

4.1 Etapas de Entrenamiento y Rendimiento

Los experimentos en el modelo de 1.3B de parámetros (evaluado en un conjunto de prueba retenido $D_{Test}$) muestran una progresión clara en el rendimiento:

• Solo Sintético: Logra un Frame F1 competitivo (51.3) pero un pobre Multi F1 (15.2) y Onset F1 (26.1), confirmando la brecha de dominio.
• Sintético + Real ($D_{Synth} + D_{Real}$): El ajuste fino en datos reales produce una mejora masiva, elevando el Multi F1 a 41.7 y el Onset F1 a 54.4.
• Flujo Completo ($D_{Synth} + D_{Real} + D_{RL}$): La adición del post-entrenamiento con RL aumenta aún más el rendimiento, logrando un Multi F1 de 47.8 y un Onset F1 de 60.4 (con $\alpha_{CFG}=2$).

4.2 Análisis Comparativo

• vs. Estado del Arte: MuScriptor supera significativamente la línea base de YourMT3+ (un modelo sólido de SOTA) en múltiples conjuntos de datos de referencia externos (por ejemplo, Bach10, Dagstuhl ChoirSet, RWC). Por ejemplo, en el Dagstuhl ChoirSet, el Frame F1 mejora de 51.0 (YourMT3+) a 80.7 (MuScriptor).
• Impacto del Pre-entrenamiento Sintético: El análisis muestra que el pre-entrenamiento es más beneficioso cuando los datos reales son limitados (por ejemplo, usando solo el 1% de $D_{Real}$, el pre-entrenamiento mejora el Offset F1 de 9.9 a 33.4). Sin embargo, a medida que el volumen de datos reales aumenta, la ganancia relativa del pre-entrenamiento disminuye, aunque sigue proporcionando una ligera ventaja con el uso del 100% de los datos.
• Escalabilidad del Modelo: El rendimiento escala con el tamaño del modelo; el modelo de 60M de parámetros logra un Frame F1 de 65.7, mientras que el de 1.3B alcanza 68.7, lo que sugiere aplicabilidad bajo diferentes restricciones de recursos.
• Representaciones de Entrada: Los espectrogramas de mel superaron a otras entradas alternativas como Magnitude CQT, codecs de Encodec y embeddings de MERT, lo que sugiere que las representaciones más cercanas a las propiedades de la señal bruta son óptimas para esta tarea.

5. Significado y Reivindicaciones

El artículo afirma que MuScriptor es el primer modelo de pesos abiertos efectivo para la transcripción multi-instrumental de música a través de una amplia variedad de géneros.

Los autores enfatizan que, mientras que los enfoques anteriores dependían de refinamientos arquitectónicos (por ejemplo, atención jerárquica, MoE), su éxito proviene principalmente de la escala y el tipo de datos, específicamente la combinación estratégica de pre-entrenamiento sintético a gran escala, ajuste fino extensivo con datos del mundo real y alineación basada en RL. El modelo se presenta como una herramienta fundamental para músicos, musicólogos e investigadores en MIR y modelado generativo, permitiendo tareas que anteriormente se veían obstaculizadas por la falta de herramientas de transcripción precisas para mezclas complejas. Los autores señalan modestamente que persisten limitaciones respecto a la tokenización de notas superpuestas del mismo instrumento y sugieren que el trabajo futuro podría expandir el vocabulario de instrumentos y los tamaños de los segmentos.