YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

Muziek op papier is een reeks instructies, een kaart van noten die een pianist vertelt welke toetsen hij moet indrukken en hoe lang. Maar de kaart is niet het gebied. Twee pianisten kunnen exact dezelfde partituur spelen en klanken voortbrengen die totaal verschillend aanvoelen. De één speelt met een zachte, rollende ritmiek en een subtiele aanraking, terwijl een ander speelt met scherpe, dwingende energie. Dit verschil is geen fout; het is de essentie van muzikale expressie. Het is het menselijke vermogen om rigide instructies te transformeren tot een levende, ademende uitvoering die emotie, stijl en structuur overbrengt. Decennialang hebben wetenschappers en ingenieurs geprobeerd computers hetzelfde te leren: om naar een partituur te kijken en een uitvoering te genereren die menselijk, natuurlijk en vol gevoel klinkt. De uitdaging is dat er niet één "juiste" manier is om een stuk te spelen. Een computer die simpelweg het gemiddelde berekent van elke mogelijke uitvoering, produceert vaak iets dat vlak en levenloos is. Om de kunst van het pianospelen werkelijk te vangen, moet een machine begrijpen dat een enkele partituur vele geldige, expressieve interpretaties toelaat.

Een team van onderzoekers van Queen Mary University of London en New York University heeft dit probleem aangepakt met een nieuw raamwerk genaamd YQX+. In plaats van slechts één systeem te bouwen om muziek te genereren, creëerden zij een gestandaardiseerde testomgeving om te zien hoe verschillende soorten computermodellen omgaan met de taak van het voorspellen van menselijke expressie. Stel je een race voor waarbij elke loper op dezelfde startlijn staat, hetzelfde parcours aflegt en door dezelfde jury wordt beoordeeld. Voordat dit werk werd uitgevoerd, bouwden verschillende onderzoeksgroepen hun eigen unieke banen en gebruikten ze verschillende manieren om snelheid te meten, waardoor het onmogelijk was om te zeggen welke loper werkelijk de snelste was. De onderzoekers achter YQX+ hebben het parcours gefixed. Ze definieerden een specifieke set muzikale kenmerken waar elk model naar moet kijken, zoals de toonhoogte van een noot, de positie binnen een muzikale frase en de tekens in de partituur zoals "hard" of "zacht". Ze definieerden ook een specifieke set outputs die elk model moet voorspellen: hoe snel de beat moet zijn, hoe hard de toets moet worden aangeslagen, hoeveel de timing moet variëren en hoe lang de noot moet doorklinken. Door elk model aan dezelfde regels te laten voldoen, kon het team hen eindelijk eerlijk vergelijken.

Het team testte een grote verscheidenheid aan computermodellen, variërend van oudere statistische methoden tot moderne, complexe neurale netwerken. Ze trainden deze modellen op duizenden stukken klassieke muziek, waarbij de computer zowel de geschreven partituur als een opname van een menselijke uitvoering kon zien. Het doel was om te zien welk model het beste kon raden welke expressieve keuzes een mens zou maken. De resultaten toonden aan dat grotere, krachtigere modellen, specifiek een type boomgebaseerd leersysteem en een type neuraal netwerk dat ontworpen is om verborgen patronen te leren, het best presteerden. Deze topmodellen waren in staat om de timing en dynamiek van een uitvoering met grotere nauwkeurigheid te voorspellen dan eerdere systemen. Ze raadden niet alleen de noten, maar vatten de subtiele verschuivingen in het ritme die muziek levendig maken, effectief samen.

Het meten van hoe goed een computer piano speelt, is echter lastig. Een computer kan qua ruwe cijfers heel dicht bij een menselijke uitvoering liggen, maar toch robotachtig klinken voor het menselijk oor. Om dit op te lossen, introduceerden de onderzoekers een nieuw instrument genaamd PerformanceMOS. Dit is een datagestuurde estimator, een soort digitale rechter die getraind is om te voorspellen hoeveel een menselijke luisteraar van een uitvoering zou genieten. Het werd getraind op een enorme dataset van pianoprestaties die door menselijke experts waren beoordeeld op vaardigheid, vloeiendheid en expressiviteit. De onderzoekers gebruikten dit instrument om de outputs van hun modellen te scoren. De resultaten waren veelzeggend: de beste modellen uit hun nieuwe raamwerk behaalden scores die concurrerend waren met, en in sommige gevallen zelfs beter dan, de meest geavanceerde systemen die momenteel beschikbaar zijn.

Om zekerheid te krijgen, voerde het team ook een luistertest uit met veertig menselijke deelnemers. Deze luisteraars, een mix van recreatieve muziekliefhebbers en ervaren spelers, beoordeelden de door de computer gegenereerde uitvoeringen op een schaal van nul tot honderd. Ze beoordeelden ze op hoe natuurlijk ze klonken, hoe vrij het ritme aanvoelde en hoe expressief ze waren. De resultaten bevestigden wat de computerscores suggereerden. De modellen die het nieuwe raamwerk gebruikten, met name de boomgebaseerde en neurale netwerkbenaderingen, werden even hoog ingeschat als de beste bestaande systemen. Ze klonken natuurlijk en muzikaal overtuigend. Interessant genoeg toonde de studie aan dat het simpelweg complexer maken van de modellen niet altijd een betere klank garandeerde; de manier waarop de modellen werden getraind en de specifieke kenmerken die ze kregen, deden er evenveel toe.

De onderzoekers ontdekten ook dat hoewel deze modellen uitstekend zijn in het voorspellen van de details van een enkele noot, ze soms moeite hebben met het vastleggen van de grote, meeslepende veranderingen in tempo en emotie die gedurende een heel stuk plaatsvinden. Dit suggereert dat hoewel computers erg goed zijn geworden in de lokale details van expressie, het bredere muzikale narratief nog steeds een uitdaging is. De studie concludeert dat YQX+ een solide fundament biedt voor toekomstig werk. Het biedt een duidelijke, eerlijke manier om nieuwe ideeën te testen en een betrouwbaar instrument, PerformanceMOS, om te schatten hoe mensen zullen reageren op door computers gegenereerde muziek. Dit werk beweert niet het mysterie van muzikale expressie te hebben opgelost, maar het heeft een betere microscoop gebouwd om te zien hoe het werkt, waarmee we een stap dichter bij machines komen die de ziel van een uitvoering werkelijk kunnen begrijpen.