La musica esiste in due mondi distinti. Uno è il suono che sentiamo, un flusso fluido di onde che riempie una stanza. L'altro è il manuale di istruzioni che i musicisti usano per creare quel suono, una pagina statica di simboli nota come spartito. Per decenni, i computer sono stati molto bravi a leggere il primo mondo, trasformando l'audio in dati, ma hanno faticato con il secondo. Quando i ricercatori volevano insegnare a un computer a comprendere o creare musica, si affidavano a un formato digitale chiamato MIDI. Questo formato è eccellente nel dire a un computer quali note suonare e quando suonarle, agendo come una lista precisa di istruzioni per un pianista robotico. Tuttavia, questa lista manca di uno strato cruciale di sfumatura umana. Dice alla macchina le note, ma omette le istruzioni emotive che dicono a un esecutore umano come sentirle.

Nella musica scritta occidentale, i compositori riempiono gli spazi tra le note con parole e simboli che guidano l'esecuzione. Questi non sono semplici suggerimenti; sono comandi specifici riguardanti velocità, volume e stile. Un compositore potrebbe scrivere "adagio" per dire al musicista di andare piano, o "crescendo" per indicare un aumento graduale del volume. Potrebbe marcare una sezione per essere suonata con un tocco netto e staccato o con un flusso fluido e connesso. Queste istruzioni, note come testo espressivo, sono la tabella di marcia che trasforma una sequenza di note in un'opera d'arte viva e pulsante. Finora, gli strumenti standard per insegnare ai computer la musica hanno ampiamente ignorato questa tabella di marcia, trattando le note come l'unica cosa che conta. Questa lacuna significava che, sebbene i computer potessero generare una melodia, non potevano facilmente generare l'umore, la tensione o la forma dinamica che rende la musica umana.

Un team di ricercatori ha affrontato questa limitazione creando un nuovo strumento chiamato MusPyExpress. Questo software è un aggiornamento di una libreria esistente utilizzata dagli scienziati informatici per elaborare dati musicali. Il nuovo sistema è progettato per leggere le ricche e dettagliate istruzioni contenute in MusicXML, un formato utilizzato per la musica scritta digitale che è molto più espressivo dello standard MIDI più vecchio. Costruendo questa estensione, i ricercatori hanno permesso ai computer di estrarre e comprendere l'intera gamma di testo espressivo, dai segni di tempo che cambiano la velocità della musica ai simboli dinamici che controllano quanto una nota debba essere forte o piano. Hanno trattato queste istruzioni non come semplici commenti, ma come punti dati essenziali che possono essere memorizzati, analizzati e utilizzati per insegnare alle macchine come comporre con sentimento.

Per dimostrare che questo nuovo strumento potesse gestire la complessità della musica del mondo reale, i ricercatori si sono rivolti a una vasta collezione di spartiti di pubblico dominio contenente oltre 220.000 file. Hanno usato MusPyExpress per scansionare questa libreria e hanno scoperto che la stragrande maggioranza di questi brani, più del 95 percento, conteneva queste istruzioni espressive. In totale, il software ha identificato oltre 3,5 milioni di singoli segni attraverso la collezione. L'analisi ha rivelato che queste istruzioni non sono sparse casualmente; seguono schemi che riflettono la storia stessa della musica. Ad esempio, i ricercatori hanno scoperto che i compositori dell'era Romantica, che vissero nel XIX secolo, usavano queste marcature espressive molto più frequentemente rispetto ai compositori dei periodi precedenti, Barocco o Classico. Ciò si allinea alla pratica storica, poiché i compositori romantici spesso scrivevano direzioni emotive specifiche per guidare gli esecutori, mentre i compositori precedenti facevano più affidamento sulle convenzioni esecutive del loro tempo.

Lo studio ha anche mostrato come la densità di queste istruzioni vari all'interno di un brano musicale. Le marcature strutturali, come le lettere di rehearsal che dividono una canzone in sezioni, appaiono meno spesso e sono distanziate maggiormente. Al contrario, le istruzioni sul tempo e sul volume possono essere molto concentrate, apparendo frequentemente per dare forma al flusso immediato della melodia. I ricercatori hanno persino osservato che certi compositori, come Liszt e Debussy, riempivano i loro spartiti con questi dettagli, mentre altri li usavano con più parsimonia. Questa mappatura dettagliata del testo espressivo ha fornito la prima immagine chiara di quanta quantità di dati emotivi sia nascosta all'interno degli spartiti digitali standard, dati che erano precedentemente inaccessibili alla maggior parte dei modelli informatici.

Con questa nuova capacità di leggere e comprendere il testo espressivo, i ricercatori hanno dimostrato tre modi distinti in cui un computer potrebbe usare queste informazioni. Primo, hanno mostrato che un modello può imparare a generare sia le note che le istruzioni espressive contemporaneamente, imitando il modo in cui un compositore umano scrive uno spartito. Secondo, hanno addestrato un sistema per creare musica basata su un set specifico di istruzioni emotive, permettendo a un utente di fornire una sequenza di parole come "lento, forte, poi piano" e far generare al computer una melodia che si adatti a quell'umore. Questo potrebbe essere utile per la creazione di musica di sottofondo per film o videogiochi dove il suono deve corrispondere a un arco narrativo specifico. Terzo, hanno testato un sistema capace di prendere una sequenza di note semplice e priva di emozioni e aggiungere automaticamente le appropriate marcature espressive, annotando efficacemento una melodia grezza con il contesto emotivo che le mancava.

Gli esperimenti hanno dimostrato che quando al computer venivano date queste istruzioni espressive, la sua capacità di creare musica realistica migliorava. I modelli che hanno imparato a generare note e testo espressivo insieme, o che hanno usato il testo espressivo come guida, hanno prodotto risultati più coerenti con i pattern musicali umani rispetto ai modelli che guardavano solo le note. I ricercatori hanno scoperto che l'approccio più efficace consisteva nel fornire le istruzioni espressive al modello appena prima di generare le note corrispondenti, permettendo al computer di anticipare la direzione emotiva della musica. Sebbene i modelli non replicassero perfettamente la complessità di un'esecuzione umana, i risultati suggeriscono che includere queste istruzioni testuali aiuti significativamente il computer a comprendere la struttura e il sentimento di un brano.

Questo lavoro non pretende di aver risolto il problema dell'intelligenza artificiale che crea musica perfetta, né suggerisce che le macchine possano ora sostituire i compositori umani. Inveve, stabilisce un nuovo fondamento per il modo in cui i computer interagiscono con gli spartiti musicali. Sbloccando lo strato espressivo della musica scritta, MusPyExpress permette ai ricercatori di costruire modelli che siano consapevoli dell'intero contesto di una composizione. I ricercatori intendono utilizzare questo strumento per annotare grandi collezioni di musica esistente che attualmente mancano di questi dettagli emotivi, portando potenzialmente un nuovo livello di espressività a vaste librerie di musica digitale. L'obiettivo finale non è sostituire il tocco umano, ma dare alle macchine il vocabolario per comprendere e riprodurre le sottili istruzioni che trasformano una sequenza di note in una storia.