💻 computer science

Towards a foundational model for recognising diastematic Gregorian notation

Este artículo propone un modelo fundacional para el reconocimiento de la notación gregoriana diastemática al unificar cuatro conjuntos de datos previamente dispares en una codificación S-GABC común, estableciendo así un nuevo estado del arte en todos ellos.

Autores originales: Daniel Kurek, Jan Hajič jr

Publicado 2026-07-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Daniel Kurek, Jan Hajič jr

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva de manuscritos musicales antiguos. No son solo canciones cualquiera; son cantos gregorianos, la música sagrada de la Iglesia Católica, escritos hace más de 1.000 años. Estos manuscritos son hermosos pero difíciles de leer, incluso para los expertos.

Durante mucho tiempo, las computadoras han intentado aprender a leer estas páginas escritas a mano de forma automática (un proceso llamado Reconocimiento de Música Óptica, o OMR). Pero había un gran problema: las computadoras hablaban diferentes idiomas.

El Problema: Cuatro Dialectos del Mismo Lenguaje

Imagina que los cuatro conjuntos de datos que los investigadores utilizaron son cuatro grupos diferentes de personas tratando de describir la misma imagen.

El Grupo A describe la imagen utilizando un código específico llamado GABC.
El Grupo B utiliza un código ligeramente diferente llamado Pseudo-GABC.
El Grupo C utiliza S-GABC.
El Grupo D utiliza otra variación.

Aunque todos están describiendo exactamente el mismo tipo de música (las notas y la letra), la "ortografía" de sus descripciones era diferente. Era como intentar enseñarle a un robot a reconocer a un perro, pero una persona lo llama "canino", otra lo llama "cachorro" y otra usa un código secreto. Debido a que las descripciones no coincidían, los investigadores no podían combinar todos sus datos para enseñarle al robot una lección mejor. Estaban atrapados entrenando cuatro cerebros separados y más pequeños, en lugar de un único cerebro gigante y listo.

La Solución: Un Traductor Universal

Limpiar el Desorden: Primero, se dieron cuenta de que algunos de los datos tenían "ruido". Imagina tener dos fotos de la misma canción que son idénticas hasta el último píxel. Si la computadora ve la misma foto dos veces, se confunde. Utilizaron un "borrador" digital para eliminar estas copias duplicadas y asegurar que cada pieza de datos fuera única.
El Lenguaje Común: Diseñaron un nuevo código compartido basado en una propuesta llamada S-GABC. Tomaron los cuatro conjuntos de datos diferentes y los tradujeron a este único lenguaje unificado. Ahora, en lugar de cuatro dialectos diferentes, todos hablaban la misma lengua.
El "Modelo Fundacional": Con todos los datos hablando el mismo idioma, entrenaron un modelo de IA único y poderoso (llamado DAN) con toda la colección al mismo tiempo. Piensa en esto como un maestro chef que ha probado recetas de cuatro regiones distintas y ha aprendido a cocinar todas ellas perfectamente, en lugar de solo una.

Los Resultados: Un Nuevo Estado del Arte

Cuando probaron este nuevo modelo de "maestro chef":

Aprendió más rápido y mejor que los intentos anteriores.
Cuando tomaron este modelo maestro y le dieron un poco de práctica adicional específicamente en uno de los conjuntos de datos difíciles (un proceso llamado ajuste fino o fine-tuning), se volvió aún más agudo.
En casi todas las pruebas, este nuevo enfoque superó los mejores resultados previos. Cometió menos errores al leer las notas, la letra y al emparejar las palabras con las notas correctas.

Por qué esto es importante (Según el artículo)

El artículo afirma que, al unificar estos diferentes conjuntos de datos, han creado un modelo fundacional. Esto significa que han construido una IA fuerte y de propósito general que entiende la notación del canto gregoriano mejor que nunca.

En lugar de necesitar un programa de computadora diferente para cada estilo de manuscrito, ahora tienen una herramienta robusta capaz de manejar los diversos estilos visuales de estas canciones antiguas. Esto facilita enormemente la digitalización y el estudio de los miles de manuscritos que aún existen, convirtiendo la tinta antigua ilegible en música digital buscable.

En resumen: Tomaron a cuatro grupos de personas que hablaban diferentes dialectos, les enseñaron a todos a hablar el mismo idioma y luego entrenaron a un estudiante superinteligente con el grupo combinado. ¿El resultado? Un estudiante que puede leer música antigua mejor que nadie antes.

Resumen Técnico: Hacia un modelo fundacional para el reconocimiento de la notación gregoriana diastemática

Planteamiento del problema
El Reconocimiento de Música Óptica (OMR) para el canto gregoriano ha experimentado avances recientes mediante métodos de extremo a extremo, pero el campo se ve obstaculizado por la fragmentación de los datos. Aunque existen cuatro conjuntos de datos distintos (GregoSynth, Salzinnes, Einsiedeln y Solesmes) para la notación diastemática (con pentagrama), estos utilizan codificaciones incompatibles (GABC, Pseudo-GABC y S-GABC). Esta heterogeneidad impide la agrupación de recursos para entrenar modelos más grandes y robustos. Además, los conjuntos de datos existentes contienen muestras "casi duplicadas" donde las cadenas de verdad de campo (ground truth) son idénticas o extremadamente similares, pero las imágenes difieren ligeramente, o viceversa, lo que complica la división de entrenamiento/validación y puede inflar las métricas de rendimiento.

Metodología
Los autores proponen un flujo de trabajo para unificar estos diversos recursos en un único ecosistema de entrenamiento:

Armonización y limpieza de datos:
- Eliminación de duplicados: Los autores implementaron un flujo de limpieza para identificar y eliminar muestras casi duplicadas. Una muestra se considera duplicada si la distancia de Levenshtein entre las cadenas de verdad es $\le 3$ y el Índice de Similitud Estructural (SSIM) entre las imágenes es $\ge 0.97$ . Este proceso redujo ligeramente el tamaño total del conjunto de datos pero aseguró ejemplos de entrenamiento distintos.
- Codificación unificada: La contribución técnica central es la definición de una codificación común basada en la propuesta de GABC Sistemático (S-GABC). Los autores realizaron ingeniería inversa del "Pseudo-GABC" no documentado utilizado en los conjuntos de datos de Salzinnes y Einsiedeln, y mapearon los tres formatos de entrada (GABC, S-GABC, Pseudo-GABC) hacia este formato compartido.
- Conversión: Utilizando gramáticas Lark, los autores analizaron las transcripciones originales en árboles de análisis y las transformaron al formato de codificación común. Este proceso preservó información esencial sobre la melodía, el texto, la alineación y la agrupación de neumas, al tiempo que eliminó símbolos de formato irrelevantes y resolvió ambigüedades (por ejemplo, estandarizando las posiciones de los episemas horizontales a 0 y 1).
Arquitectura del modelo y entrenamiento:
- Modelo base: Los autores seleccionaron la arquitectura DAN (Red de Atención Profunda), que había mostrado un fuerte rendimiento en trabajos previos, por encima del Sheet Music Transformer debido a su velocidad de entrenamiento.
- Estrategia de entrenamiento:
  - Preentrenamiento compartido: Se entrenó un modelo compartido en los conjuntos de datos armonizados y combinados. Para evitar que el masivo conjunto de datos sintético GregoSynth dominara el proceso de aprendizaje, se realizó un submuestreo aleatorio en cada época para igualar el tamaño del segundo conjunto de datos más grande (Salzinnes).
  - Acumulación de gradientes: Para abordar la limitación del tamaño de lote (batch size) de 1 (utilizado en trabajos previos debido a las escalas de imagen desiguales), los autores emplearon una acumulación de gradientes de 8 veces.
  - Ajuste fino (Fine-tuning): Los pesos del modelo compartido se utilizaron para inicializar modelos ajustados con conjuntos de datos del mundo real individuales (Salzinnes, Einsiedeln, Solesmes) con una tasa de aprendizaje reducida ( $10^{-5}$ ).

Contribuciones clave

Conjunto de datos unificado: La creación de un conjunto de datos armonizado donde cuatro fuentes previamente incompatibles se fusionan en un único esquema de codificación, permitiendo el entrenamiento conjunto.
Modelo fundacional: El entrenamiento de un modelo compartido de extremo a extremo que establece un nuevo estado del arte (SOTA) en los cuatro conjuntos de datos, demostrando que la agrupación de datos mejora la generalización.
Protocolo de entrenamiento mejorado: La demostración de que la acumulación de gradientes de 8 veces supera significativamente al entrenamiento estándar con un tamaño de lote de 1 en este dominio.
Reproducibilidad: La liberación de las herramientas de conversión (gramáticas Lark) y los conjuntos de datos limpios.

Resultados
Los autores evaluaron el rendimiento utilizando cinco métricas: Tasa de Error de Melodía (MER), Tasa de Error de Caracteres (CER), Tasa de Error de Sílabas (SylER), Tasa de Error de Alineación (ALER) y la Tasa de Error de Todas las Métricas (AMLER) combinada.

Rendimiento del modelo compartido: El modelo "DAN-shared" (entrenado con datos combinados sin ajuste fino) superó generalmente al modelo base DAN en GregoSynth y Salzinnes, pero tuvo dificultades con el conjunto de datos de Solesmes, que es más pequeño y diverso, en comparación con su propio modelo base específico.
Impacto del ajuste fino: El ajuste fino del modelo compartido en conjuntos de datos individuales (DAN-FT) permitió que los modelos igualaran o superaran los mejores resultados previos (SOTA) en Salzinnes y Einsiedeln.
Acumulación de gradientes: El modelo que utiliza la acumulación de gradientes de 8 veces (DAN(8)-shared) superó a todas las demás configuraciones, incluido el SOTA anterior, en la mayoría de las métricas y conjuntos de datos.
SOTA final: El modelo ajustado con acumulación de gradientes (DAN(8)-FT) logró las tasas de error más bajas en todos los conjuntos de datos. Por ejemplo, en el desafiante conjunto de datos de Solesmes, redujo el AMLER del 23.17% (base) al 10.81%, y en Einsiedeln, redujo el AMLER del 5.14% al 2.73%.

Significado y afirmaciones
El artículo afirma que el valor principal de este trabajo reside en permitir el flujo de trabajo de preentrenamiento compartido y ajuste fino. Al armonizar las codificaciones, los autores demuestran que la fusión de conjuntos de datos con principios de notación mutuamente compatibles produce un "modelo fundacional" capaz de manejar los diversos dominios visuales de la notación gregoriana.

Los autores señalan modestamente que, aunque su codificación común se basa en S-GABC, incluye modificaciones específicas (por ejemplo, la reintroducción de notas huecas, la eliminación de marcadores de lectura incierta) para adaptarse a las tareas de OMR. No nombran su codificación, sugiriendo que debe verse como un paso hacia una implementación completa de S-GABC más que como un reemplazo. El trabajo confirma que la comprensión automatizada a gran escala de los manuscritos de canto gregoriano es factible a través de OMR, siempre que la heterogeneidad de los datos se resuelva mediante la armonización sistemática de la codificación.

El Problema: Cuatro Dialectos del Mismo Lenguaje

La Solución: Un Traductor Universal

Los Resultados: Un Nuevo Estado del Arte

Por qué esto es importante (Según el artículo)

Más como este