YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

La música en una página es un conjunto de instrucciones, un mapa de notas que le dice a un pianista qué teclas presionar y durante cuánto tiempo. Pero el mapa no es el territorio. Dos pianistas pueden tocar exactamente la misma partitura y producir sonidos que se sienten completamente diferentes. Uno puede tocar con un ritmo suave y ondulante y toques delicados, mientras que otro toca con una energía aguda y enérgica. Esta diferencia no es un error; es la esencia de la expresión musical. Es la capacidad humana de tomar instrucciones rígidas y convertirlas en una interpretación viva y palpitante que transmite emoción, estilo y estructura. Durante décadas, científicos e ingenieros han intentado enseñar a las computadoras a hacer lo mismo: mirar una partitura y generar una interpretación que suene humana, natural y llena de sentimiento. El desafío es que no existe una única forma "correcta" de tocar una pieza. Una computadora que simplemente calcula el promedio de cada interpretación posible suele producir algo plano y sin vida. Para capturar verdaderamente el arte de la interpretación al piano, una máquina debe comprender que una sola partitura puede admitir muchas interpretaciones válidas y expresivas.

Un equipo de investigadores de la Universidad Queen Mary de Londres y la Universidad de Nueva York abordó este problema con un nuevo marco llamado YQX+. En lugar de construir solo un sistema para generar música, crearon un campo de pruebas estandarizado para ver cómo diferentes tipos de modelos computacionales manejan la tarea de predecir la expresión humana. Imagine una carrera donde todos los corredores parten de la misma línea, corren la misma pista y son juzgados por las mismas reglas. Antes de este trabajo, diferentes grupos de investigación construían sus propias pistas únicas y utilizaban diferentes formas de medir la velocidad, lo que hacía imposible decir qué corredor era realmente el más rápido. Los investigadores detrás de YQX+ arreglaron la pista. Definieron un conjunto específico de características musicales que cada modelo debe observar, como el tono de una nota, su posición dentro de una frase musical y las marcas en la partitura como "fuerte" o "suave". También definieron un conjunto específico de salidas que cada modelo debe predecir: qué tan rápido debe ser el pulso, qué tan fuerte debe golpearse la tecla, cuánto debe oscilar el tiempo y cuánto debe resonar la nota. Al obligar a cada modelo a jugar bajo las mismas reglas, el equipo pudo finalmente compararlos de manera justa.

El equipo probó una amplia variedad de modelos computacionales, que van desde métodos estadísticos antiguos hasta redes neuronales modernas y complejas. Entrenaron estos modelos con miles de piezas de música clásica, donde la computadora podía ver tanto la partitura escrita como una grabación de un humano tocándola. El objetivo era ver qué modelo podía adivinar mejor las elecciones expresivas que haría un humano. Los resultados mostraron que los modelos más grandes y potentes, específicamente un tipo de sistema de aprendizaje basado en árboles y un tipo de red neuronal diseñada para aprender patrones ocultos, fueron los que mejor se desempeñaron. Estos modelos superiores pudieron predecir el tiempo y la dinámica de una interpretación con mayor precisión que los sistemas anteriores. No solo adivinaron las notas; capturaron el sutil empuje y tracción del ritmo que hace que la música se sienta viva.

Sin embargo, medir qué tan bien toca una computadora es complicado. Una computadora puede estar muy cerca de una interpretación humana en términos de números brutos, pero aun así sonar robótica para el oído humano. Para resolver esto, los investigadores introdujeron una nueva herramienta llamada PerformanceMOS. Este es un estimador basado en datos, una especie de juez digital entrenado para predecir cuánto disfrutaría un oyente humano una interpretación. Fue entrenado con un conjunto masivo de datos de interpretaciones de piano que habían sido calificadas por expertos humanos por su habilidad, fluidez y expresividad. Los investigadores utilizaron esta herramienta para calificar los resultados de sus modelos. Los resultados fueron reveladores: los mejores modelos de su nuevo marco lograron puntuaciones competitivas con, y en algunos casos mejores que, los sistemas más avanzados disponibles actualmente.

Para estar seguros, el equipo también realizó una prueba de audición con cuarenta participantes humanos. Estos oyentes, una mezcla de aficionados a la música y músicos experimentados, calificaron las interpretaciones generadas por computadora en una escala de cero a cien. Juzgaron si sonaban naturales, qué tan libre se sentía el ritmo y qué tan expresivas eran. Los resultados confirmaron lo que sugerían las puntuaciones de la computadora. Los modelos que utilizaron el nuevo marco, particularmente los enfoques de redes neuronales y basados en árboles, fueron calificados tan alto como los mejores sistemas existentes. Sonaban naturales y musicalmente convincentes. Curiosamente, el estudio encontró que el simple hecho de hacer los modelos más complejos no siempre garantizaba un mejor sonido; la forma en que los modelos eran entrenados y las características específicas que se les daban importaban tanto como eso.

Los investigadores también descubrieron que, si bien estos modelos son excelentes para predecir los detalles de una sola nota, a veces luchan por capturar los cambios grandiosos y amplios de tempo y emoción que ocurren a lo largo de toda una pieza. Esto sugiere que, aunque las computadoras se han vuelto muy buenas en los detalles locales de la expresión, la narrativa musical más amplia sigue siendo un desafío. El estudio concluye que YQX+ proporciona una base sólida para el trabajo futuro. Ofrece una forma clara y justa de probar nuevas ideas y una herramienta confiable, PerformanceMOS, para estimar cómo reaccionarán los humanos ante la música generada por computadora. Este trabajo no pretende haber resuelto el misterio de la expresión musical, pero ha construido un mejor microscopio para ver cómo funciona, acercándonos un paso más a máquinas que puedan comprender verdaderamente el alma de una interpretación.