A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Immaginate di essere un bibliotecario che cerca di salvare le ricette scritte a mano più belle del mondo. Tuttavia, invece di inchiostro e carta, queste ricette sono scritte con note musicali su uno spartito. Per decenni, i computer sono diventati piuttosto bravi a leggere melodie semplici a riga singola — come la parte di un flauto solista. Possono guardare l'immagine della musica e trasformarla in un file digitale che un computer può riprodurre. Questo campo è chiamato Riconoscimento Ottico della Musica (OMR). È come insegnare a un robot a leggere un libro di spartiti in modo che possa cantare la melodia per te o aiutare un musicista a esercitarsi.

Tuttavia, le cose si fanno complicate quando si prova a leggere la musica di un'intera band contemporaneamente. Immaginate un quartetto d'archi: quattro strumenti diversi (due violini, una viola e un violoncello) che suonano quattro linee diverse di musica simultaneamente, tutte stipate sulla stessa pagina. È un puzzle visivo con note che si incrociano, simboli diversi per ogni strumento e una grafia disordinata proveniente da secoli fa. Fino ad ora, i computer hanno avuto difficoltà con questa musica "multi-parte" perché non avevano un buon set di pratica con cui imparare. È come cercare di insegnare a uno studente a leggere un romanzo complesso quando ha praticato solo su flashcard di singole frasi.

È qui che interviene un nuovo team di ricercatori con un nuovo strumento massiccio chiamato OSSQ-OMR. Hanno costruito il primo dataset di addestramento dedicato specificamente per questi complessi spartiti per quartetto d'archi. Pensatelo come una gigantesca biblioteca, perfettamente organizzata, dove ogni singola pagina scansionata di un vecchio spartito è accoppiata con il suo perfetto gemello digitale. Non si sono limitati a prendere immagini casuali; hanno passato centinaia di ore a correggere manualmente le versioni digitali in modo che corrispondessero esattamente alle vecchie scansioni, fino a ogni minuscolo punto e linea.

Con questa nuova biblioteca in mano, i ricercatori hanno testato due diversi "robot lettori" (modelli informatici) per vedere quale potesse imparare meglio. Hanno scoperto che i robot imparavano meglio quando venivano istruiti a leggere una linea di uno strumento alla volta, piuttosto che cercare di ingoiare l'intera pagina in un colpo solo. Hanno anche scoperto che il modo in cui la musica viene scritta digitalmente conta più del design del cervello del robot. I risultati migliori sono arrivati da un formato specifico chiamato LMXE, che ha raggiunto un tasso di errore molto basso, solo del 3,6% sulle immagini pulite generate dal computer e del 5,9% sulle pagine scansionate reali. Sebbene ciò dimostri che insegnare ai computer a leggere la musica complessa di un quartetto sia certamente possibile, i risultati mostrano anche che c'è ancora molto spazio di miglioramento, specialmente quando si tratta della realtà disordinata e imperfetta degli spartiti su carta antica.

Il quadro generale: Cosa hanno fatto e scoperto

I ricercatori hanno creato OSSQ-OMR, il primo dataset progettato specificamente per aiutare i computer a riconoscere la musica per quartetti d'archi. Prima di allora, la maggior parte degli strumenti di visione artificiale per la musica veniva addestrata su canzoni semplici a riga singola o musica per pianoforte. I quartetti d'archi sono molto più difficili perché coinvolgono quattro voci indipendenti che suonano contemporaneamente, spesso con layout complessi, chiavi diverse e una grafia che varia enormemente da un editore all'altro.

Per costruire questo dataset, il team è partito da 116 spartiti digitali esistenti di quartetti d'archi. Successivamente, hanno cercato le versioni scansionate originali di questi spartiti dalla biblioteca IMSLP. Ecco la parte complicata: i file digitali originali non sempre corrispondevano perfettamente alle scansioni. A volte mancava una misura, o un simbolo era nel posto sbagliato. Gli autori hanno passato oltre 100 ore a modificare manualmente i file digitali per renderli visivamente identici alle immagini scansionate. Hanno inoltre organizzato i dati in due livelli: livello di sistema (l'intera riga di musica con tutti e quattro gli strumenti) e livello di pentagramma (solo la riga di un singolo strumento). Infine, hanno convertito la musica in tre diversi formati di testo digitale: LMXE, kern e ABC.

Il dataset è enorme. Contiene 24.544 immagini di sistema e 98.172 immagini di pentagramma derivate da questi 116 spartiti. Circa la metà di queste immagini è sintetica (versioni pulite generate dal computer), e l'altra metà è scansionata da libri reali antichi.

Per testare se questo dataset fosse effettivamente utile, i ricercatori hanno impostato un "benchmark", che è come un esame standardizzato, per i modelli informatici. Hanno testato due popolari tipi di modelli AI:

1. Zeus: un modello basato su un'elaborazione sequenziale più vecchia (LSTM).
2. SMT: un modello più recente che utilizza un'architettura Transformer (simile alla tecnologia dietro i moderni chatbot).

Hanno eseguito questi modelli sul dataset utilizzando diverse impostazioni per vedere quale combinazione funzionasse meglio. Ecco cosa hanno scoperto:

• Leggere una riga alla volta è meglio: I modelli hanno performato significativamente meglio quando gli veniva chiesto di leggere solo il pentagramma di un singolo strumento (livello di pentagramma) piuttosto che l'intera pagina in una volta (livello di sistema). Anche se leggere l'intera pagina fornisce al computer più contesto (come vedere cosa stanno facendo gli altri strumenti), i modelli non sembravano utilizzare questa informazione extra per commettere meno errori. In effetti, i tassi di errore erano più bassi quando i modelli si concentravano su una singola riga.
• Il formato conta più del cervello: I ricercatori hanno testato nove modi diversi per trasformare la musica in token di testo (le "parole" che il computer legge). Hanno scoperto che il formato LMXE produceva costantemente i risultati migliori, indipendentemente dal modello utilizzato. Sorprendentemente, il modello Transformer più recente (SMT) ha ottenuto prestazioni peggiori sul formato kern rispetto a LMXE, nonostante SMT sia stato originariamente progettato per kern.
• La compressione non ha aiutato: Hanno provato a usare il "Byte-Pair Encoding" (BPE) sul formato ABC, che è un metodo per accorciare il testo raggruppando caratteri comuni insieme. Si aspettavano che questo potesse aiutare, ma in realtà ha peggiorato i risultati. Man mano che la dimensione del vocabolario per la compressione aumentava, il tasso di errore saliva.
• Realtà vs. Dati puliti: I modelli hanno performato molto meglio sulle immagini sintetiche pulite (tassi di errore del 3,6%) rispetto alle immagini scansionate disordinate (tassi di errore intorno al 5,9%). Questo è prevedibile, poiché le immagini scansionate presentano rumore, ombre e inchiostro non uniforme. Tuttavia, il modello più vecchio di tipo LSTM (Zeus) è stato più robusto rispetto a questo disordine rispetto al modello Transformer più recente (SMT). Passando dai dati puliti a quelli scansionati, le prestazioni di Zeus sono scese di circa il 39%, mentre quelle di SMT sono scese drasticamente del 100%.

Il documento ha testato anche un modello esterno chiamato Legato, che è stato addestrato su un dataset diverso. Quando hanno provato a usare Legato su questo nuovo dataset di quartetti d'archi senza riaddestrarlo, i risultati sono stati terribili (tassi di errore superiori al 36% sui dati sintetici e al 66% su quelli scansionati). Ciò suggerisce che il semplice pre-addestramento di un modello su dati musicali generali non è sufficiente; è necessario addestrarlo specificamente sul tipo di musica che si vuole leggere.

In conclusione, gli autori dimostrano che insegnare ai computer a leggere complessi spartiti per quartetti d'archi è fattibile, ma richiede i dati giusti e il modo giusto di formattare tali dati. La migliore configurazione che hanno trovato ha raggiunto un tasso di errore del 3,6% sui dati sintetici e del 5,9% sulle immagini scansionate. Sebbene questo sia un ottimo punto di partenza, il documento suggerisce che c'è ancora molto lavoro da fare per rendere questi sistemi capaci di leggere il caos disordinato e bellissimo della vera partitura musicale. Suggeriscono inoltre che la ricerca futura dovrebbe guardare a ensemble ancora più grandi, come intere orchestre, e cercare di costruire modelli in grado di leggere intere pagine senza doverle prima frammentare.