Muziek bestaat in twee verschillende werelden. De ene is het geluid dat we horen, een vloeiende stroom van golven die een kamer vult. De andere is de instructiehandleiding die muzikanten gebruiken om dat geluid te creëren, een statische pagina met symbolen die bekend staat als bladmuziek. Decennialang waren computers erg goed in het lezen van de eerste wereld, het omzetten van audio in data, maar ze hadden moeite met de tweede. Wanneer onderzoekers computers wilden leren om muziek te begrijpen of te creëren, vertrouwden ze op een digitaal formaat genaamd MIDI. Dit formaat is uitstekend in het vertellen aan een computer welke noten gespeeld moeten worden en wanneer ze gespeeld moeten worden, wat fungeert als een precieze lijst met instructies voor een robotpianist. Echter, deze lijst mist een cruciale laag van menselijke nuance. Het vertelt de machine de noten, maar laat de emotionele instructies weg die een menselijke uitvoerder vertellen hoe hij ze moet voelen.

In westerse bladmuziek vullen componisten de ruimtes tussen de noten met woorden en symbolen die de uitvoering sturen. Dit zijn niet slechts suggesties; het zijn specifieke commando's over snelheid, volume en stijl. Een componist kan "adagio" schrijven om de speler te vertellen langzaam te gaan, of "crescendo" om een geleidelijke toename van het volume aan te geven. Ze kunnen een sectie markeren om met een scherpe, losgeslagen aanslag of een vloeiende, verbonden stroom te worden gespeeld. Deze instructies, bekend als expressietekst, zijn de routekaart die een opeenvolging van noten verandert in een levend, ademend kunstwerk. Tot nu toe hebben de standaardinstrumenten voor het onderwijzen van computers over muziek deze routekaart grotendeels genegeerd, waarbij de noten als het enige werden beschouwd dat ertoe doet. Deze kloof betekende dat hoewel computers een melodie konden genereren, ze niet gemakkelijk de stemming, de spanning of de dynamische vorm konden genereren die muziek menselijk laten voelen.

Een team van onderzoekers heeft deze beperking aangepakt door een nieuwe tool genaamd MusPyExpress te creëren. Deze software is een upgrade van een bestaande bibliotheek die computerwetenschappers gebruiken om muzikale data te verwerken. Het nieuwe systeem is ontworpen om de rijke, gedetailleerde instructies te lezen die in MusicXML te vinden zijn, een formaat dat wordt gebruikt voor digitale bladmuziek en dat veel expressiever is dan de oudere MIDI-standaard. Door deze uitbreiding te bouwen, hebben de onderzoekers computers in staat gesteld om het volledige bereik van de expressietekst te extraheren en te begrijpen, van tempo-markeringen die de snelheid van de muziek veranderen tot dynamische symbolen die de controle hebben over hoe hard of zacht een noot moet zijn. Ze behandelden deze instructies niet als loutere opmerkingen, maar als essentiële datapunten die kunnen worden opgeslagen, geanalyseerd en gebruikt om machines te leren hoe ze met gevoel kunnen componeren.

Om te bewijzen dat deze nieuwe tool de complexiteit van echte muziek kon aan kunnen, richtten de onderzoekers zich op een enorme collectie publiek domein bladmuziek met meer dan 220.000 bestanden. Ze gebruikten MusPyExpress om deze bibliotheek te scannen en ontdekten dat de overgrote meerderheid van deze liedjes, meer dan 95 procent, deze expressieve instructies bevatte. In totaal identificeerde de software meer dan 3,5 miljoen individuele markeringen in de collectie. De analyse onthulde dat deze instructies niet willekeurig verspreid liggen; ze volgen patronen die de geschiedenis van de muziek weerspiegelen. Zo ontdekten de onderzoekers dat componisten uit de Romantiek, die in de 19e eeuw leefden, deze expressieve markeringen veel vaker gebruikten dan componisten uit de eerdere Barok- of Klassieke periodes. Dit komt overeen met de historische praktijk, aangezien Romantische componisten vaak specifieke emotionele richtlijnen schreven om uitvoerders te begeleiden, terwijl eerdere componisten meer vertrouwden op de uitvoeringsconventies van hun tijd.

De studie toonde ook aan hoe de dichtheid van deze instructies varieert binnen een muziekstuk. Structurele markeringen, zoals repetitieletters die een lied in secties verdelen, verschijnen minder vaak en staan verder uit elkaar. In contrast hiermee kunnen instructies over tempo en volume zeer geconcentreerd zijn, en verschijnen ze frequent om de directe stroom van de melodie te vormen. De onderzoekers observeerden zelfs dat bepaalde componisten, zoals Liszt en Debussy, hun partituren volpakten met deze details, terwijl anderen ze meer spaarzaam gebruikten. Deze gedetailleerde mapping van de expressietekst bood het eerste heldere beeld van hoeveel emotionele data er verborgen zit in standaard digitale bladmuziek, data die voor de meeste computermodellen voorheen ontoegankelijk was.

Met deze nieuwe mogelijkheid om expressietekst te lezen en te begrijpen, demonstreerden de onderzoekers drie verschillende manieren waarop een computer deze informatie kan gebruiken. Ten eerste lieten ze zien dat een model kan leren om zowel de noten als de expressie-instructies tegelijkertijd te genereren, waarbij het de manier nabootst waarop een menselijke componist een partituur schrijft. Ten tweede trainden ze een systeem om muziek te creëren op basis van een specifieke set emotionele instructies, waardoor een gebruiker een reeks woorden zoals "langzaam, hard, dan zacht" kan verstrekken en de computer een melodie kan laten generen die bij die stemming past. Dit zou nuttig kunnen zijn voor het creëren van achtergrondmuziek voor films of videogames waarbij het geluid moet aansluiten bij een specifiek narratief verloop. Ten derde testten ze een systeem dat een gewone, emotieloze opeenvolging van noten kan nemen en er automatisch de passende expressieve markeringen aan kan toevoegen, waardoor een rauwe melodie effectief wordt geannoteerd met de ontbrekende emotionele context.

De experimenten toonden aan dat wanneer de computer deze expressieve instructies kreeg, het vermogen om realistische muziek te creëren verbeterde. Modellen die leerden om noten en expressietekst samen te genereren, of die expressietekst als gids gebruikten, produceerden resultaten die consistenter waren met menselijke muzikale patronen dan modellen die alleen naar de noten keken. De onderzoekers ontdekten dat de meest effectieve aanpak bestond uit het voeden van de expressie-instructies aan het model vlak voordat het de bijbehorende noten genereerde, waardoor de computer de emotionele richting van de muziek kon anticiperen. Hoewel de modellen niet perfect de complexiteit van een menselijke uitvoering konden repliceren, suggereerden de resultaten dat het opnemen van deze tekstuele instructies aanzienlijk helpt om de computer de structuur en het gevoel van een stuk te laten begrijpen.

Dit werk beweert niet te hebben opgelost het probleem van kunstmatige intelligentie die perfecte muziek creëert, noch suggereert het dat machines nu menselijke componisten kunnen vervangen. In plaats daarvan vestigt het een nieuw fundament voor hoe computers met muzikale partituren interageren. Door de expressieve laag van bladmuziek te ontsluiten, stelt MusPyExpress onderzoekers in staat om modellen te bouwen die zich bewust zijn van de volledige context van een compositie. De onderzoekers zijn van plan deze tool te gebruiken om grote collecties bestaande muziek te annoteren die momenteel deze emotionele details missen, wat potentieel een nieuw niveau van expressiviteit kan brengen naar uitgebreide bibliotheken van digitale muziek. Het uiteindelijke doel is niet om de menselijke touch te vervangen, maar om machines de woordenschat te geven om de subtiele instructies te begrijpen en te reproduceren die een opeenvolging van noten veranderen in een verhaal.