Resumen Técnico: Legato 2 – Hacia el Reconocimiento y la Comprensión Multimodal de Partituras

Planteamiento del Problema

La música escrita sirve como un medio crítico para la creación, transmisión y análisis en muchas tradiciones musicales. Sin embargo, la extracción de la notación simbólica y el conocimiento semántico de las partituras visuales sigue siendo un desafío computacional significativo. Los enfoques convencionales de Reconocimiento Óptico de Música (OMR) suelen descomponer la tarea en etapas secuenciales o tratan la página completa como una única imagen indiferenciada. Estos métodos a menudo sufren de una propagación de errores acumulativos, no logran escalar eficazmente a documentos arbitrariamente largos y tienen dificultades para reconocer el contenido textual incrustado, como títulos, nombres de compositores y anotaciones en línea. Además, aunque los modelos de visión y lenguaje (VLM) de vanguardia han avanzado en la comprensión de imágenes naturales, frecuentemente fallan en las tareas de partituras, particularmente en aquellas que requieren una semántica musical profunda.

Metodología

Legato 2 introduce un nuevo pipeline que combina la segmentación a nivel de sistema con un modelo de visión y lenguaje (VLM) autorregresivo para abordar estas limitaciones. El pipeline opera en tres etapas distintas:

1. Segmentación de Sistemas: En lugar de procesar una página completa a la vez, el pipeline emplea un modelo YOLOv8 para segmentar la partitura en sistemas musicales individuales (líneas horizontales de notación). Este enfoque alinea el proceso de reconocimiento con la forma en que los humanos leen música y permite al modelo manejar documentos de longitud arbitraria.
2. Reconocimiento Autorregresivo: Un modelo de visión y lenguaje transcribe cada sistema segmentado de extremo a extremo. Crucialmente, el modelo está entrenado para generar la representación simbólica del sistema actual condicionada por la notación ABC de los sistemas precedentes. Este enfoque autorregresivo captura tanto los detalles de la notación local como la estructura global de la partitura.
3. Conversión de ABC a Nivel de Sistema: El modelo produce un "ABC a Nivel de Sistema", una representación intermedia donde la notación está organizada sistema por sistema. Un convertidor basado en reglas fusiona estos resultados de nivel de sistema en un formato de notación ABC estandarizado y unificado.

Innovaciones Arquitectónicas Clave:

• Tokenizador Sensible al Texto: A diferencia de los modelos anteriores que reemplazan los fragmentos de texto con marcadores de posición, Legato 2 utiliza un tokenizador entrenado con retroceso de bytes (byte fallback). Esto permite al modelo preservar y transcribir el contenido textual incrustado (títulos, anotaciones, etc.) junto con los símbolos musicales sin requerir un módulo de OCR separado.
• Gestión de Contexto: Para manejar documentos largos, el modelo emplea una estrategia de truncamiento a la izquierda para la ventana de contexto, reteniendo los últimos 1,024 tokens del contexto del sistema precedente mientras predice el sistema actual.
• Integración de Etapas Posteriores: El pipeline está diseñado para alimentar las transcripciones simbólicas como contexto externo a los VLM de vanguardia, mejorando su capacidad para realizar preguntas y razonamientos musicales.

Contribuciones Clave

El artículo presenta las siguientes contribuciones primarias:

• Modelo Legato 2: Un modelo de OMR de última generación que realiza el reconocimiento sistema por sistema, permitiendo un escalado robusto a documentos largos y superando a los modelos neuronales de extremo a extremo previos.
• Reconocimiento de Texto Incrustado: Legato 2 es la primera arquitectura de OMR neuronal capaz de transcribir texto incrustado (títulos, compositores, anotaciones) junto con la notación musical, eliminando la necesidad de tokens de marcador de posición.
• Comprensión Mejorada de Partituras: El estudio demuestra que el uso de las transcripciones simbólicas de Legato 2 como contexto para los VLM de vanguardia mejora significativamente el rendimiento en los benchmarks de comprensión de partituras (MusiXQA y SSMR-Bench), estableciendo nuevos estados del arte en este dominio.

Resultados Experimentales

Legato 2 fue evaluado a través de múltiples conjuntos de datos, incluyendo PDMX-Synth, OpenScore String Quartets, OpenScore Lieder e IMSLP Piano Scores.

• Reconocimiento a Nivel de Página: Legato 2 superó consistentemente al estado del arte anterior (Legato 1) y a los sistemas basados en reglas (Audiveris) en todos los conjuntos de datos. Notablemente, mostró mejoras significativas en partituras densas de cuartetos de cuerda donde los modelos previos presentaban dificultades.
• Reconocimiento Multi-página: En evaluaciones que involucraron documentos de 1 a 37 páginas, Legato 2 mantuvo un alto rendimiento con una tasa de degradación mucho más lenta en comparación con Legato 1, el cual sufre al procesar imágenes largas concatenadas.
• Reconocimiento de Texto: Legato 2 logró las tasas de error de caracteres (CER) más bajas para títulos, compositores y otras anotaciones, superando significativamente tanto a los sistemas de OMR basados en reglas como a los modelos de OCR de propósito general como PaddleOCR.
• Tareas de Comprensión: Cuando se les proporcionó las transcripciones de Legato 2 como contexto, los VLM de vanguardia (GPT-5 y Gemini 3.1 Pro) lograron ganancias sustanciales de precisión en los benchmarks MusiXQA y SSMR-Bench en comparación con el uso de imágenes puras o sin contexto.

Significado y Reivindicaciones

Los autores afirman que Legato 2 establece un nuevo estado del arte tanto en el reconocimiento óptico de música como en la comprensión de partituras en etapas posteriores. El artículo argumenta que el cambio del procesamiento a nivel de página al nivel de sistema es esencial para manejar la naturaleza secuencial de la música y escalar a longitudes de documentos del mundo real. Además, el trabajo postula que los modelos especializados de OMR pueden complementar eficazmente a los VLM de propósito general, sugiriendo un marco futuro donde diversas herramientas musicales especializadas se integren en los VLM generales para resolver problemas musicales complejos y abiertos. Los autores enfatizan que la capacidad de reconocer texto incrustado y la robustez ante documentos largos son pasos críticos hacia una solución más completa para el análisis de documentos musicales.