A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Stel je voor dat je een bibliothecaris bent die probeert de mooiste, handgeschreven recepten van de wereld te redden. Maar in plaats van inkt en papier, zijn deze recepten geschreven in muzikale noten op bladmuziek. Decennialang zijn computers erg goed geworden in het lezen van eenvoudige, enkelvoudige melodieën—zoals het deel van een solo fluitist. Ze kunnen een afbeelding van de muziek bekijken en dit omzetten in een digitaal bestand dat een computer kan afspelen. Dit veld wordt Optical Music Recognition (OMR) genoemd. Het is alsof je een robot leert om een muziekboek te lezen, zodat hij de melodie aan je kan terugzingen of een muzikant kan helpen oefenen.

Echter, het wordt een rommeltje wanneer je de muziek van een hele band tegelijk wilt lezen. Stel je een strijkkwartet voor: vier verschillende instrumenten (twee violen, een altviool en een cello) die tegelijkertijd vier verschillende muzikale lijnen spelen, allemaal dicht op elkaar gepakt op dezelfde pagina. Het is een visuele puzzel met noten die over elkaar heen kruisen, verschillende symbolen voor verschillende instrumenten, en slordig handschrift van eeuwen geleden. Tot nu toe hadden computers moeite met deze "meerdere delen" muziek omdat ze niet over een goede oefenset beschikten om van te leren. Het is alsof je een student probeert te leren een complexe roman te lezen terwijl hij alleen maar geoefend heeft met enkelvoudige zinnen op flashcards.

Hier komt een nieuw team onderzoekers met een enorme nieuwe tool genaamd OSSQ-OMR. Ze hebben de eerste specifieke trainingsdataset gebouwd voor deze complexe strijkkwartetpartituren. Denk aan een gigantische, perfect georganiseerde bibliotheek waar elke gescande pagina van een oude partitur exact gekoppeld is aan zijn perfecte digitale tweeling. Ze hebben niet zomaar willekeurige plaatjes gepakt; ze hebben honderden uren besteed aan het handmatig corrigeren van de digitale versies zodat deze exact overeenkomen met de oude scans, tot aan elk klein stipje en lijnnetje toe.

Met deze nieuwe bibliotheek in handen, testten de onderzoekers twee verschillende "robotlezers" (computermodellen) om te zien hoe goed ze konden leren. Ze ontdekten dat de robots het beste leerden wanneer ze werden onderwezen om de lijn van één instrument tegelijk te lezen, in plaats van de hele pagina in één keer te verwerken. Ze ontdekten ook dat de manier waarop de muziek digitaal wordt opgeschreven belangrijker is dan het ontwerp van de "hersenen" van de robot. De beste resultaten kwamen voort uit een specifiek formaat genaamd LMXE, dat een zeer lage foutmarge bereikte van slechts 3,6% op schone, door de computer gegenereerde afbeeldingen en 5,9% op echte, gescande pagina's. Hoewel dit bewijst dat het leren van computers om complexe kwartetmuziek te lezen zeker mogelijk is, laten de resultaten ook zien dat er nog veel ruimte is voor verbetering, vooral bij het omgaan met de rommelige, imperfecte realiteit van oude papieren partituren.

Het Grote Plaatje: Wat Ze Deden en Vonden

De onderzoekers creëerden OSSQ-OMR, de eerste dataset die specifiek is ontworpen om computers te helpen muziek voor strijkkwartetten te herkennen. Voorheen waren de meeste computer vision-tools voor muziek gericht op eenvoudige, enkelvoudige liedjes of pianomuziek. Strijkkwartetten zijn veel moeilder omdat ze vier onafhankelijke stemmen bevatten die tegelijkertijd spelen, vaak met complexe lay-outs, verschillende sleutels en handschriften die per uitgever sterk variëren.

Om deze dataset te bouwen, begon het team met 116 bestaande digitale partituren van strijkkwartetten. Vervolgens zochten ze de originele gescande versies van deze partituren op in de IMSLP-bibliotheek. Hier komt het lastige deel: de originele digitale bestanden kwamen niet altijd perfect overeen met de scans. Soms ontbrak er een maat, of stond een symbool op de verkeerde plek. De auteurs besteedden meer dan 100 uur aan het handmatig bewerken van de digitale bestanden om ze visueel identiek te maken aan de gescande afbeeldingen. Ze organiseerden de data ook op twee niveaus: systeemniveau (de hele muzikale lijn met alle vier de instrumenten) en stafniveau (slechts één instrumentlijn). Ten slotte zetten ze de muziek om in drie verschillende digitale tekstformaten: LMXE, kern en ABC.

De dataset is enorm. Het bevat 24.544 systeemafbeeldingen en 98.172 stafafbeeldingen afgeleid van die 116 partituren. Ongeveer de helft van deze afbeeldingen is synthetisch (schone, door de computer gegenereerde versies), en de andere helft is gescand van echte, oude boeken.

Om te testen of deze dataset daadwerkelijk helpt, stelden de onderzoekers een "benchmark" op, wat een soort gestandaardiseerd examen is voor computermodellen. Ze testten twee populaire soorten AI-modellen:

1. Zeus: Een model gebaseerd op oudere, sequentiële verwerking (LSTM).
2. SMT: Een nieuwer model dat gebruikmaakt van een Transformer-architectuur (vergelijkbaar met de technologie achter moderne chatbots).

Ze draalden deze modellen op de dataset met verschillende instellingen om te zien welke combinatie het beste werkte. Dit is wat ze vonden:

• Lezen van één lijn per keer is beter: De modellen presteerden aanzienlijk beter wanneer ze werden gevraagd om slechts één instrumentlijn (stafniveau) te lezen in plaats van de hele pagina tegelijk (systeemniveau). Hoewel het lezen van de hele pagina de computer meer context geeft (zoals zien wat de andere instrumenten doen), leken de modellen deze extra informatie niet te gebruiken om minder fouten te maken. Sterker nog, de foutmarges waren lager wanneer de modellen zich concentreerden op een enkele lijn.
• Het formaat is belangrijker dan de hersenen: De onderzoekers testten negen verschillende manieren om de muziek in teksttokens om te zetten (de "woorden" die de computer leest). Ze ontdekten dat het LMXE-formaat consequent de beste resultaten opleverde, ongeacht welk model ze gebruikten. Verrassend genoeg presteerde het nieuwere Transformer-model (SMT) slechter op het kern-formaat dan op LMXE, ook al was SMT oorspronkelijk ontworpen voor kern.
• Compressie hielp niet: Ze probeerden "Byte-Pair Encoding" (BPE) toe te passen op het ABC-formaat, een methode om de tekst in te korten door veelvoorkomende tekens samen te voegen. Ze verwachtten dat dit zou helpen, maar het maakte de resultaten juist slechter. Naarmate de vocabulairegrootte voor de compressie groter werd, liep de foutmarge op.
• Realiteit versus Schone data: De modellen presteerden veel beter op de schone, synthetische afbeeldingen (foutmarges tot 3,6%) dan op de rommelige, gescande afbeeldingen (foutmarges rond de 5,9%). Dit is te verwachten, aangezien gescande afbeeldingen ruis, schaduwen en ongelijkmatige inkt bevatten. Echter, het oudere LSTM-model (Zeus) was robuuster tegen deze rommel dan het nieuwere Transformer-model (SMT). Bij de overstap van schone naar gescande data daalde de prestatie van Zeus met ongeveer 39%, terwijl die van SMT een enorme daling van 100% liet zien.

Het onderzoek testte ook een extern model genaamd Legato, dat getraind was op een andere dataset. Toen ze probeerden Legato op deze nieuwe strijkkwartetdata te gebruiken zonder het opnieuw te trainen, waren de resultaten verschrikkelijk (foutmarges boven de 36% op synthetische data en 66% op gescande data). Dit suggereert dat het vooraf trainen van een model op algemene muziekdata niet genoeg is; je moet het specif kind specifiek trainen op het type muziek dat je wilt lezen.

Concluderend laten de auteurs zien dat het voor computers haalbaar is om complexe strijkkwartetpartituren te lezen, maar dat dit de juiste data en de juiste manier van formatteren van die data vereist. De beste opstelling die ze vonden, behaalde een foutmarge van 3,6% op synthetische data en 5,9% op gescande data. Hoewel dit een geweldig begin is, suggereert het artikel dat er nog veel werk te verrichten is om deze systemen zo goed te krijgen als mensen in het lezen van de rommelige, prachtige chaos van echte, real-world partituren. Ze geven ook aan dat toekomstig onderzoek zich moet richten op zelfs grotere ensembles, zoals volledige orkesten, en moet proberen modellen te bouwen die hele pagina's in één keer kunnen lezen zonder ze eerst in stukjes te hoeven hakken.