YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

La musica su una pagina è un insieme di istruzioni, una mappa di note che dice a un pianista quali tasti premere e per quanto tempo. Ma la mappa non è il territorio. Due pianisti possono suonare esattamente lo stesso spartito e produrre suoni che sembrano del tutto diversi. Uno potrebbe suonare con un ritmo dolce e cullante e tocchi morbidi, mentre un altro suona con un'energia nitida e travolgente. Questa differenza non è un errore; è l'essenza dell'espressione musicale. È la capacità umana di prendere istruzioni rigide e trasformarle in un'esecuzione viva, che respira e trasmette emozione, stile e struttura. Per decenni, scienziati e ingegneri hanno cercato di insegnare ai computer di fare la stessa cosa: guardare uno spartito e generare un'esecuzione che suoni umana, naturale e piena di sentimento. La sfida è che non esiste un unico modo "corretto" di suonare un brano. Un computer che si limita a calcolare la media di ogni possibile esecuzione produce spesso qualcosa di piatto e privo di vita. Per catturare davvero l'arte del pianoforte, una macchina deve comprendere che un singolo spartito può ammettere molteplici interpretazioni valide ed espressive.

Un team di ricercatori della Queen Mary University of London e della New York University ha affrontato questo problema con un nuovo framework chiamato YQX+. Invece di costruire un solo sistema per generare musica, hanno creato un campo di prova standardizzato per vedere come diversi tipi di modelli informatici gestiscono il compito di prevedere l'espressione umana. Immaginate una gara in cui ogni corridore parte dalla stessa linea, corre lo stesso percorso ed è giudicato dalle stesse regole. Prima di questo lavoro, diversi gruppi di ricerca costruivano le proprie piste uniche e usavano modi diversi per misurare la velocità, rendendo impossibile dire quale corridore fosse veramente il più veloce. I ricercatori dietro YQX+ hanno sistemato la pista. Hanno definito un set specifico di caratteristiche musicali che ogni modello deve osservare, come l'altezza di una nota, la sua posizione all'interno di una frase musicale e le indicazioni sullo spartito come "forte" o "piano". Hanno anche definito un set specifico di output che ogni modello deve prevedere: quanto velocemente il battito debba essere, quanto forte la chiave debba essere colpita, quanto il tempo debba oscillare e quanto a lungo la nota debba risuonare. Obbligando ogni modello a giocare secondo le stesse regole, il team ha potuto finalmente confrontarli equamente.

Il team ha testato una vasta gamma di modelli informatici, che vanno dai vecchi metodi statistici alle moderne e complesse reti neurali. Hanno addestrato questi modelli su migliaia di brani di musica classica, dove il computer poteva vedere sia lo spartito scritto che una registrazione di un essere umano che lo suonava. L'obiettivo era vedere quale modello potesse indovinare meglio le scelte espressive che un essere umano avrebbe fatto. I risultati hanno mostrato che i modelli più grandi e potenti, nello specifico un tipo di sistema di apprendimento basato su alberi e un tipo di rete neurale progettata per apprendere schemi nascosti, sono stati i migliori. Questi modelli superiori sono stati in grado di prevedere il tempo e la dinamica di un'esecuzione con una precisione maggiore rispetto ai sistemi precedenti. Non si sono limitati a indovinare le note; hanno catturato il sottile movimento di spinta e richiamo che rende la musica viva.

Tuttavia, misurare quanto bene un computer suoni la musica è complicato. Un computer può essere molto vicino a un'esecuzione umana in termini di numeri puri, ma può comunque suonare robotico all'orecchio umano. Per risolvere questo problema, i ricercatori hanno introdotto un nuovo strumento chiamato PerformanceMOS. Si tratta di un stimatore basato sui dati, una sorta di giudice digitale addestrato per prevedere quanto un ascoltatore umano apprezzerebbe un'esecuzione. È stato addestrato su un enorme dataset di esecuzioni pianistiche che erano state valutate da esperti umani per la loro abilità, fluidità ed espressività. I ricercatori hanno usato questo strumento per dare un punteggio agli output dei loro modelli. I risultati sono stati eloquenti: i migliori modelli del loro nuovo framework hanno ottenuto punteggi competitivi con, e in alcuni casi migliori dei, sistemi più avanzati attualmente disponibili.

Per esserne certi, il team ha anche condotto un test di ascolto con quaranta partecipanti umani. Questi ascoltatori, un mix di appassionati di musica e musicisti esperti, hanno valutato le esecuzioni generate dal computer su una scala da zero a cento. Hanno giudicato quanto suonassero naturali, quanto il ritmo fosse libero e quanto fossero espressive. I risultati hanno confermato ciò che suggerivano i punteggi del computer. I modelli che utilizzavano il nuovo framework, in particolare gli approcci basati su alberi e sulle reti neurali, sono stati valutati positivamente come i migliori sistemi esistenti. Suonavano naturali e musicalmente convincenti. Interessante è stato scoprire che rendere semplicemente i modelli più complessi non garantiva sempre un suono migliore; il modo in cui i modelli venivano addestrati e le caratteristiche specifiche a cui venivano forniti contavano altrettanto.

I ricercatori hanno anche scoperto che, sebbene questi modelli siano eccellenti nel prevedere i dettagli di una singola nota, a volte faticano a catturare i cambiamenti di tempo e di emozione più ampi e avvolgenti che avvengono nel corso di un intero brano. Ciò suggerisce che, sebbene i computer siano diventati molto bravi nei dettagli locali dell'espressione, la narrazione musicale più ampia rimane una sfida. Lo studio conclude che YQX+ fornisce una solida base per il lavoro futuro. Offre un modo chiaro e giusto per testare nuove idee e uno strumento affidabile, PerformanceMOS, per stimare come gli esseri umani reagiranno alla musica generata dal computer. Questo lavoro non pretende di aver risolto il mistero dell'espressione musicale, ma ha costruito un microscopio migliore per vedere come funziona, avvicinandoci un passo di più a macchine che possano davvero comprendere l'anima di un'esecuzione.