A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Imagina que eres un bibliotecario intentando salvar las recetas más bellas del mundo, escritas a mano. Pero en lugar de tinta y papel, estas recetas están escritas con notas musicales en un pentagrama. Durante décadas, las computadoras se han vuelto muy buenas leyendo melodías simples de una sola línea, como la parte de un flautista solista. Pueden mirar la imagen de la música y convertirla en un archivo digital que una computadora pueda reproducir. Este campo se llama Reconocimiento Óptico de Música (OMR, por sus siglas en inglés). Es como enseñarle a un robot a leer un libro de canciones para que pueda devolverte la melodía o ayudarte a un músico a practicar.

Sin embargo, las cosas se vuelven complicadas cuando intentas leer la música de toda una banda a la vez. Imagina un cuarteto de cuerdas: cuatro instrumentos diferentes (dos violines, una viola y un violonchelo) tocando cuatro líneas de música simultáneamente, todas agrupadas en la misma página. Es un rompecabezas visual con notas que se cruzan entre sí, diferentes símbolos para cada instrumento y una caligrafía desordenada de hace siglos. Hasta ahora, las computadoras han tenido dificultades con esta música de "múltiples partes" porque no tenían un conjunto de práctica adecuado para aprender. Es como intentar enseñarle a un estudiante a leer una novela compleja cuando solo ha practicado con tarjetas de vocabulario de una sola oración.

Aquí es donde un nuevo equipo de investigadores interviene con una herramienta masiva llamada OSSQ-OMR. Construyeron el primer conjunto de datos de entrenamiento dedicado específicamente para estas complejas partituras de cuartetos de cuerda. Piensa en esto como una biblioteca gigante y perfectamente organizada donde cada página escaneada de una partitura antigua está emparejada con su gemela digital perfecta. No se limitaron a tomar imágenes al azar; pasaron cientos de horas corrigiendo manualmente las versiones digitales para que coincidieran exactamente con los escaneos originales, hasta el más mínimo punto y línea.

Con esta nueva biblioteca en mano, los investigadores probaron dos "lectores robóticos" diferentes (modelos de computadora) para ver cuál aprendía mejor. Encontraron que los robots aprendían mejor cuando se les enseñaba a leer la línea de un solo instrumento a la vez, en lugar de intentar tragar la página entera de un solo golpe. También descubrieron que la forma en que la música se escribe digitalmente importa más que el diseño del cerebro del robot. Los mejores resultados se obtuvieron con un formato específico llamado LMXE, que logró una tasa de error muy baja de solo el 3,6% en imágenes limpias generadas por computadora y del 5,9% en páginas escaneadas reales. Si bien esto demuestra que enseñar a las computadoras a leer música de cuartetos complejos es definitivamente posible, los resultados también muestran que todavía hay mucho margen de mejora, especialmente cuando se trata de la realidad desordenada e imperfecta de las partituras de papel antiguo.

El panorama general: Qué hicieron y qué encontraron

Los investigadores crearon OSSQ-OMR, el primer conjunto de datos diseñado específicamente para ayudar a las computadoras a reconocer música para cuartetos de cuerda. Antes de esto, la mayoría de las herramientas de visión computacional para la música se entrenaban con canciones simples de una sola línea o música para piano. Los cuartetos de cuerda son mucho más difíciles porque involucran cuatro voces independientes tocando al mismo tiempo, a menudo con diseños complejos, diferentes claves y una caligrafía que varía enormamente de un editor a otro.

Para construir este conjunto de datos, el equipo comenzó con 116 partituras digitales existentes de cuartetos de cuerda. Luego, buscaron las versiones escaneadas originales de estas partituras en la biblioteca IMSLP. Aquí está la parte difícil: los archivos digitales originales no siempre coincidían perfectamente con los escaneos. A veces faltaba un compás o un símbolo estaba en el lugar equivocado. Los autores pasaron más de 100 horas editando manualmente los archivos digitales para que fueran visualmente idénticos a las imágenes escaneadas. También organizaron los datos en dos niveles: nivel de sistema (toda la línea de música con los cuatro instrumentos) y nivel de pentagrama (solo la línea de un instrumento). Finalmente, convirtieron la música en tres formatos de texto digital diferentes: LMXE, kern y ABC.

El conjunto de datos es enorme. Contiene 24.544 imágenes de sistemas y 98.172 imágenes de pentagramas derivadas de esos 116 puntajes. Aproximadamente la mitad de estas imágenes son sintéticas (versiones limpias generadas por computadora) y la otra mitad son escaneos de libros reales y antiguos.

Para probar si este conjunto de datos realmente ayuda, los investigadores establecieron un "benchmark" o punto de referencia, que es como un examen estandarizado para modelos de computadora. Probaron dos tipos populares de modelos de IA:

1. Zeus: Un modelo basado en el procesamiento secuencial más antiguo (LSTM).
2. SMT: Un modelo más nuevo que utiliza una arquitectura Transformer (similar a la tecnología detrás de los chatbots modernos).

Ejecutaron estos modelos en el conjunto de datos utilizando diferentes configuraciones para ver qué combinación funcionaba mejor. Esto es lo que encontraron:

• Leer una línea a la vez es mejor: Los modelos funcionaron significativamente mejor cuando se les pidió leer solo el pentagrama de un instrumento (nivel de pentagrama) en lugar de toda la página a la vez (nivel de sistema). Aunque leer la página completa le da a la computadora más contexto (como ver qué están haciendo los otros instrumentos), los modelos no parecieron utilizar esa información adicional para cometer menos errores. De hecho, las tasas de error fueron menores cuando los modelos se concentraron en una sola línea.
• El formato importa más que el cerebro: Los investigadores probaron nueve formas diferentes de convertir la música en tokens de texto (las "palabras" que lee la computadora). Encontraron que el formato LMXE produjo consistentemente los mejores resultados, independientemente del modelo utilizado. Sorprendentemente, el modelo Transformer más nuevo (SMT) en realidad funcionó peor con el formato kern que con LMXE, a pesar de que el SMT fue diseñado originalmente para kern.
• La compresión no ayudó: Intentaron usar "Codificación de Par de Bytes" (BPE) en el formato ABC, que es un método para acortar el texto agrupando caracteres comunes. Esperaban que esto pudiera ayudar, pero en realidad empeoró los resultados. A medida que el tamaño del vocabulario para la compresión se hacía más grande, la tasa de error aumentaba.
• Datos del mundo real frente a datos limpios: Los modelos funcionaron mucho mejor en las imágenes sintéticas limpias (tasas de error de tan solo el 3,6%) que en las imágenes escaneadas desordenadas (tasas de error alrededor del 5,9%). Esto es de esperar, ya que las imágenes escaneadas tienen ruido, sombras e tinta desigual. Sin embargo, el modelo LSTM más antiguo (Zeus) fue más robusto ante este desorden que el modelo Transformer más nuevo (SMT). Al pasar de datos limpios a escaneados, el rendimiento de Zeus cayó aproximadamente un 39%, mientras que el de SMT cayó un masivo 100%.

El artículo también probó un modelo externo llamado Legato, que fue entrenado con un conjunto de datos diferente. Cuando intentaron usar Legato con estos nuevos datos de cuarteto de cuerda sin reentrenarlo, los resultados fueron terribles (tasas de error superiores al 36% en datos sintéticos y al 66% en datos escaneados). Esto sugiere que el preentrenamiento de un modelo en datos musicales generales no es suficiente; necesitas entrenarlo específicamente con el tipo de música que quieres que lea.

En conclusión, los autores demuestran que enseñar a las computadoras a leer partituras complejas de cuartetos de cuerda es factible, pero requiere los datos correctos y la forma adecuada de formatear esos datos. La mejor configuración que encontraron logró una tasa de error del 3,6% en datos sintéticos y del 5,9% en datos escaneados. Si bien este es un gran comienzo, el artículo sugiere que todavía queda mucho trabajo por hacer para que estos sistemas sean tan buenos como los humanos leyendo el caos desordenado y hermoso de las partituras de papel del mundo real. También insinúan que la investigación futura debería centrarse en ensambles aún más grandes, como orquestas completas, e intentar construir modelos que puedan leer páginas enteras sin necesidad de fragmentarlas primero.