MusicSynth: An Automated Pipeline for Generating Violin Fingerboard Animations from Sheet Music Using Optical Music Recognition

MusicSynth es una tubería de código abierto basada en el navegador que genera automáticamente tutoriales de animación del diapasón del violín a partir de imágenes de partituras o archivos digitales, integrando reconocimiento óptico de música, análisis de MusicXML y una tabla de búsqueda personalizada de notas a posiciones.

Lo esencial

Imagina intentar aprender a tocar el violín. A diferencia del piano, donde solo presionas una tecla específica, o de la guitarra, donde presionas una cuerda contra un traste metálico, el mástil del violín es completamente liso y sin marcas. No hay indicaciones que te digan dónde colocar los dedos. Si te desvías incluso una fracción diminuta de milímetro, la nota suena mal. Para un principiante, esto es como intentar encontrar una casa específica en una ciudad sin letreros de calles ni números de viviendas.

MusicSynth es una nueva herramienta web gratuita diseñada para actuar como esas señales de calle faltantes.

Así es como funciona, desglosado en pasos simples:

1. El Problema: El "Mapa en Blanco"

Cuando un estudiante mira una partitura, ve las notas, pero no sabe dónde en el violín colocar los dedos. Los libros tradicionales muestran las notas, pero no la posición de la mano. Existen aplicaciones que te escuchan tocar, pero no pueden observar una imagen de una canción y decirte cómo tocarla.

2. La Solución: Un "Traductor Mágico"

MusicSynth es como un traductor que habla dos idiomas: Partitura y Colocación de los Dedos.

• Tú subes: Una foto de una canción para violín (tomada con tu teléfono) o un archivo digital de la música.
• Procesa: El sistema lee la música, identifica cada nota individual y luego calcula instantáneamente exactamente qué cuerda y qué dedo necesitas usar.
• Obtienes: Un video que se reproduce directamente en tu navegador web. Muestra un diagrama del mástil del violín, iluminando el punto correcto para cada nota a medida que suena la música. Puedes descargar este video para practicar en cualquier momento y lugar.

3. Cómo Está Construido: La "Línea de Ensamblaje"

El autor no inventó una nueva tecnología desde cero. En su lugar, construyó un flujo de trabajo que conecta tres herramientas existentes, como unir tres vagones de tren diferentes para formar un solo tren largo:

1. El Escáner (OMR): Este son los "ojos". Observa tu foto de la partitura y convierte la imagen en una lista de notas.
2. El Cerebro (La Tabla de Búsqueda): Este es el "ingrediente secreto" que construyó el autor. Es un enorme libro de reglas que dice: "Si la nota es 'A', coloca tu primer dedo en la cuerda de Re". Sigue las reglas de enseñanza estándar utilizadas por los profesores de violín durante años.
3. El Animador: Este es el "artista". Toma la lista de notas y dibuja un video fotograma a fotograma, mostrando un punto rojo para la nota actual y puntos azules para las notas que vienen a continuación.

4. ¿Qué Tan Bien Funciona?

El autor probó esta herramienta en 110 canciones de violín diferentes, que van desde piezas fáciles para principiantes hasta otras más difíciles y avanzadas.

• Si subes un archivo digital: Es casi perfecto. Acierta la colocación de los dedos el 99.1% de las veces.
• Si subes una foto: Es muy buena leyendo música impresa y limpia, acertando las notas aproximadamente el 91% de las veces.
• La Función "Mirar Adelante": El video no solo muestra la nota actual; muestra las siguientes notas en pequeños círculos azules, dándote una "advertencia" para que puedas preparar tu mano antes de que la música llegue allí.

5. Lo Que Aún No Puede Hacer (Las Limitaciones)

Como cualquier herramienta nueva, tiene límites:

• Es para principiantes e intermedios: Cubre los primeros años de aprendizaje (la "primera posición"). Si una canción requiere mover la mano muy arriba del mástil para tocar notas muy agudas, la herramienta podría omitir esas notas en lugar de adivinar.
• Necesita fotos claras: Si la partitura está escrita a mano, es muy borrosa o tiene muchas notas sonando al mismo tiempo (como una partitura compleja de orquesta), el "escáner" podría confundirse.
• No es en vivo: No puedes tocar el violín mientras la computadora te observa. Tienes que ver el video y practicar junto con él.

La Conclusión

Antes de esta herramienta, si querías convertir una imagen de una partitura en una guía de colocación de los dedos, tenías que hacerlo manualmente o usar una combinación de diferentes programas costosos. MusicSynth es la primera herramienta gratuita basada en navegador que realiza todo el trabajo con un solo clic. Convierte una imagen confusa de música en un video tutorial animado y claro, ayudando a los principiantes a cerrar la brecha entre leer la música y tocar realmente el instrumento.

Resumen técnico

Resumen Técnico: MusicSynth

Enunciado del Problema
Aprender el violín presenta un desafío pedagógico único en comparación con los instrumentos de trastes o teclas: el mástil del violín carece de marcadores físicos, lo que requiere que los principiantes desarrollen una intuición espacial precisa para la colocación de los dedos simultáneamente con las habilidades de lectura de partituras. Las herramientas educativas existentes no logran cerrar esta brecha de manera efectiva. Los libros de método tradicionales proporcionan notación sin guías visuales para los dedos, mientras que las aplicaciones de retroalimentación como Yousician requieren entrada de audio en vivo en lugar de procesar partituras arbitrarias. Además, no existe actualmente ninguna herramienta gratuita basada en el navegador que pueda convertir automáticamente una imagen de partitura en un tutorial animado del diapasón sin requerir instalación de software o entrada manual de notas.

Metodología
MusicSynth es una aplicación web de código abierto que integra tres bibliotecas de código abierto existentes en un pipeline unificado para automatizar la creación de animaciones del diapasón del violín. El sistema acepta dos tipos de entrada: una fotografía de una partitura (PNG/JPG) o un archivo digital MusicXML.

1. Reconocimiento Óptico de Música (OMR): Para las entradas de imagen, el sistema utiliza Oemer, una biblioteca OMR de código abierto. Oemer procesa la imagen para detectar líneas de pentagrama, cabezas de nota y símbolos rítmicos, generando los datos en formato MusicXML. Si la calidad de la imagen es insuficiente, el sistema solicita al usuario que suba un escaneo más limpio o un archivo digital.
2. Análisis y Extracción de Datos: Ya sea que la entrada sea un archivo MusicXML crudo o uno generado por Oemer, un analizador basado en Python extrae el tono de la nota, la duración y el tiempo de inicio. Las silencios se procesan para mantener la precisión temporal sin generar salida visual.
3. Búsqueda en el Diapasón (Contribución Central): El sistema emplea una tabla de búsqueda personalizada que mapea las notas musicales (rango MIDI G3–G6) a cuerdas específicas del violín (G, D, A, E) y posiciones de los dedos (0 para cuerda al aire, 1–3 para primera posición). Esta tabla se adhiere a la pedagogía estándar del violín (por ejemplo, el método Suzuki), priorizando las digitaciones que minimizan los cruces de cuerdas y los cambios de mano. Las notas bemol se normalizan a sus equivalentes sostenidos para simplificar la lógica de búsqueda.
4. Renderizado de Video: Utilizando PIL (Python Imaging Library) y MoviePy, el sistema genera un video fotograma a fotograma. Cada fotograma muestra un diagrama del diapasón con:
   • Cuatro líneas de cuerdas.
   • Marcadores de posición.
   • Un círculo rojo grande que indica la nota actual (con nombre de la nota y etiqueta de posición).
   • Círculos cian más pequeños que indican las próximas notas (pistas de anticipación).
   • Una marca de tiempo y un título.
     La salida final es un video MP4 codificado a 30 fps.
5. Despliegue: La aplicación está construida con Streamlit y utiliza Supabase para la autenticación de usuarios. Gestiona archivos temporales mediante identificadores de sesión únicos para evitar conflictos. En entornos en la nube con sistemas de archivos de solo lectura, el paso de OMR se deshabilita, aceptando únicamente entradas MusicXML.

Contribuciones Clave

• Pipeline de su tipo: MusicSynth es la primera herramienta disponible públicamente y basada en el navegador que genera automáticamente tutoriales animados del diapasón del violín a partir de imágenes de partituras sin intervención manual.
• Tabla de búsqueda pedagógica: El proyecto introduce una tabla de búsqueda de notas a dedos documentada y extensible que cubre el rango estándar para principiantes (G3–G6) basada en la pedagogía del violín establecida.
• Integración de extremo a extremo: Integra exitosamente OMR, análisis de MusicXML y renderizado de video en un flujo de trabajo único y fácil de usar.
• Evaluación comparativa: El sistema proporciona una evaluación cuantitativa en 110 partituras de dominio público, estableciendo métricas de precisión de referencia para la conversión de imagen a diapasón.

Resultados y Evaluación
El sistema fue evaluado en 110 partituras de violín de dominio público en cinco categorías: música impresa para principiantes, intermedia y avanzada; páginas escaneadas de libros Suzuki; y cargas directas de MusicXML.

• Precisión del Diapasón: Cuando se proporcionaron archivos MusicXML digitales limpios (eludiendo OMR), el sistema logró una precisión del 99.1% en la asignación de la cuerda correcta y la posición del dedo. La tasa de error del 0.9% se atribuyó a casos extremos raros que involucraban armaduras de clave complejas.
• Reconocimiento de Notas (OMR): Para las entradas de imagen, la precisión del tono de la nota varió según la complejidad:
  • Música impresa para principiantes: 91.2%
  • Música impresa intermedia: 84.1%
  • Música impresa avanzada: 76.8%
  • Páginas escaneadas de Suzuki: 79.3%
• Fuentes de Error: Las principales fuentes de error de OMR fueron las notas en líneas adicionales (comunes en los registros altos del violín), el manejo de alteraciones en tonalidades con muchos sostenidos y la mala interpretación rítmica en pasajes rápidos y densamente agrupados.
• Velocidad de Procesamiento: En una máquina Apple M2, el tiempo total de procesamiento para entradas de imagen promedió 17.1 segundos (dominado por el paso de OMR de ~14.8s). El procesamiento directo de MusicXML promedió 2.3 segundos.
• Cobertura: La tabla de búsqueda cubre el 91.0% de las notas únicas encontradas en los Libros 1–3 de Suzuki, con una cobertura del 100% para el Libro 1. Las notas faltantes residen en posiciones más altas (más allá de la séptima posición) que generalmente no encuentran los principiantes.

Significado y Afirmaciones
El artículo afirma que MusicSynth aborda una necesidad específica y no satisfecha en la educación musical al eliminar la barrera de la transcripción manual y la instalación de software. Su importancia no radica en la invención de nuevas tecnologías subyacentes (OMR, analizadores y renderizadores ya existen), sino en la integración de estos componentes en una herramienta especializada centrada en el violín.

El autor enfatiza que la herramienta está diseñada para la práctica asincrónica: los usuarios preparan videos con anticipación en lugar de utilizar el sistema para retroalimentación en tiempo real. Aunque el sistema tiene limitaciones, específicamente en cuanto a posiciones más altas, polifonía compleja y partituras manuscritas, proporciona una alternativa funcional y gratuita para que los principiantes visualicen la colocación de los dedos para una amplia gama de repertorio estándar. El proyecto es de código abierto, con código y una demostración en vivo disponibles bajo la licencia MIT.