Stel je een wereld voor waarin je computer niet alleen een nummer afspeelt dat je hebt gedownload, maar ook echt leert om met jou mee te jammen. Dit is het domein van muzikale metacreatie, een chique term voor het gebruik van computers om menselijke creativiteit te simuleren. In het hart van dit veld staan muzikale agenten: softwareprogramma's die zijn ontworpen om als muzikale partners te fungeren. Ze kunnen luisteren naar wat jij speelt, jouw stijl leren en vervolgens in realtime hun eigen partijen improviseren. Denk aan hen als digitale bandgenoten die nooit moe worden, nooit de maat missen en zich direct kunnen aanpassen aan jouw stemming.

Lange tijd werden deze digitale bandgenoten getraind op enorme bergen data—duizenden nummers uit elk denkbaar genre. Hoewel krachtig, is deze aanpak als proberen te leren jazz spelen door naar elke ooit gemaakte opname te luisteren; je krijgt misschien de algemene vibe te pakken, maar je zult nooit echt klinken als jij. De grote vraag die onderzoekers stellen is: Kunnen we een AI bouwen die leert van een kleine, persoonlijke collectie geluiden, waardoor het een ware reflectie wordt van de unieke stem van een specifieke artiest? Dit artikel duikt in die vraag en onderzoekt hoe we AI-muzikanten kunnen bouwen die ethisch, transparant en diep persoonlijk zijn, in plaats van slechts generieke patroonmachines.

Maak kennis met de digitale jamsessie: MACAT en MACataRT

In dit artikel introduceren onderzoekers Keon Ju M. Lee en Philippe Pasquier twee nieuwe muzikale agenten, MACAT en MACataRT. Je kunt dit zien als twee verschillende soorten digitale zijspan die bedoeld zijn om menselijke muzikanten te helpen ter plekke muziek te creëren. In plaats van getraind te worden op het hele internet, zijn deze agenten gebouwd op een "small data"-filosofie. Stel je voor dat je een hond een trucje leert, niet door hem een miljoen video's van andere honden te laten zien, maar door te oefenen met slechts een paar snoepjes en je eigen stem. Dat is wat deze systemen doen: ze leren van een kleine, gecureerde collectie audiofragmenten die door de artiest worden aangeleverd, waardoor ze de unieke stijl van die specifieke artiest perfect kunnen nabootsen.

De twee persoonlijkheden van de AI-bandgenoot

Het artikel presenteert deze twee systemen met verschillende "persoonlijkheden" en manieren van werken, vergelijkbaar met twee verschillende typen muzikanten in een band.

1. MACAT: De zelfluisterende solist
MACAT is ontworpen voor situaties waarin de AI de leiding moet nemen of de uitvoering moet aansturen. Het werkt als een muzikant die constant naar zichzelf luistert terwijl hij speelt.

• Hoe het werkt: Het gebruikt een "self-organizing map", wat een soort mentale kaart is waar het soortgelijke geluiden bij elkaar groepeert. Wanneer het een geluid speelt, luistert het naar het resultaat, controleert het zijn mentale kaart en besluit wat het hierna gaat spelen op basis van patronen die het in de eigen opnames van de artiest heeft gevonden.
• De magie: Het gebruikt een hulpmiddel genaamd een "Factor Oracle" om patronen in de sequentie van geluiden te herkennen. Als de artiest een snelle drumrol speelde gevolgd door een zachte brom, leert MACAT deze sequentie. Tijdens een live optreden kan het kijken naar zijn eigen recente "gedachten" (de geluiden die het net speelde) en beslissen om vooruit te gaan naar een nieuw idee of terug te gaan om een cool moment te herhalen, allemaal in realtime.
• De vibe: Het is geweldig voor solo-optredens of wanneer de menselijke muzikant wil dat de AI de belangrijkste drijfveer van de muziek is, waardoor een dynamisch, evoluerend klanklandschap ontstaat dat levendig aanvoelt.

2. MACataRT: De collaboratieve mozaïekkunstenaar
MACataRT is de flexibelere partner, ontworpen voor collaboratieve improvisatie waarbij de mens en de AI ideeën naar elkaar toe gooien. Het is gebouwd op een concept genaamd "audio mosaicing".

• De mozaïek-analogie: Stel je voor dat je een doos hebt met duizenden kleine, verschillende gekleurde tegels (audiofragmenten). MACataRT kan direct de perfecte tegel pakken om in een plaatje te passen dat jij aan het maken bent. Als jij een hoge noot speelt, pakt het een tegel die hoog klinkt. Als jij een ruw, schurend geluid maakt, pakt het een ruwe tegel.
• Hoe het werkt: Het organiseert deze tegels in een 2D-ruimte op basis van hun geluidskenmerken (zoals toonhoogte of helderheid). De menselijke muzikant kan naar een punt in deze ruimte wijzen, en de AI haalt een geluid uit dat gebied.
• De twist: In tegenstelling tot zijn voorganger (het oorspronkelijke CataRT-systeem), voegt MACataRT een "tijdmachine"-element toe. Het kan leren in welke volgorde de artiest meestal dingen speelt. Het kan dus niet alleen het juiste geluid kiezen, maar ook het juiste volgende geluid voorspellen om het ritme en de flow gaande te houden. Het heeft twee modi: Reactief (reageren op wat jij speelt) en Proactief (voorspellen wat er als volgende moet komen op basis van geleerde patronen).

Waarom "Small Data" alles verandert

Het belangrijkste deel van dit onderzoek is niet alleen dat de muziek goed klinkt, maar hoe die tot stand komt. De auteurs stellen dat het trainen van AI op enorme, anonieme datasets (zoals het hele internet) riskant is. Het is als een schilder die een beetje van Van Gogh kopieert, een beetje van Picasso en een beetje van een willekeig verkeersbord, wat resulteert in een rommelige, onoriginele bende. Bovendien roept het ethische vragen op: Heeft de AI de stijl gestolen van een muzikant die nooit heeft ingestemd met deelname aan de trainingsdata?

Door gebruik te maken van kleine, gepersonaliseerde datasets, lossen deze agenten beide problemen op:

1. Ethiek & Transparantie: Omdat de AI alleen is getraind op de eigen opnames van de specifieke artiest, is er geen mysterie over waar de muziek vandaan komt. Het is een duidelijke, eerlijke samenwerking. De artiest weet precies waar de AI van heeft geleerd.
2. Echte Personalisatie: De AI wordt een spiegel van de artiest. Het klinkt niet alleen "als muziek"; het klinkt als die specifieke muzikant. Het artikel suggereert dat dit een diepere, meer betekenisvolle verbinding tussen mens en machine creëert.

Real-world jamsessies

Het artikel blijft niet alleen in het laboratorium; het laat deze systemen in actie zien.

• MACAT werd gebruikt door het collectief K-Phi-A tijdens het MusicAcoustica Festival in Hangzhou, China. Daar hielp het bij het creëren van een ambient elektronische performance waarbij de AI en mensen samen improviseerden, waarbij de AI de leiding nam in het vormgeven van het geluid.
• MACataRT werd gebruikt door een percussionist en een gitarist (het duo KeRa) om een stuk te creëren genaamd Echoes of Synthetic Forest. Dit stuk was zo goed dat het de Top 10 finalisten bereikte van de 2024 AI Music Song Contest en werd uitgevoerd in Zürich, Zwitserland. Dit bewijst dat deze small-data agenten muziek kunnen creëren die resoneert met publiek en jury's.

De Groene en Ethische Bonus

Er zit een verborgen superkracht aan deze systemen: ze zijn milieuvriendelijk. Het trainen van enorme AI-modellen vereist enorme supercomputers en verbruikt veel elektriciteit, wat een grote ecologische voetafdruk achterlaat. Deze muzikale agenten kunnen echter getraind worden op een standaard laptop (zelfs een oudere met een Intel Core i7 of een Apple M2-chip) zonder dat er krachtige externe grafische kaarten nodig zijn. Omdat ze kleine datasets gebruiken, zijn ze sneller, goedkoper en groener in gebruik.

Wat nu?

De auteurs zijn duidelijk over het feit dat dit een werk in uitvoering is. Ze suggereren dat hoewel de huidige systemen goed zijn in het herkennen van korte patronen, ze nog beter zouden kunnen worden in het begrijpen van langere muzikale verhalen. Toekomstige versies kunnen dieper leren gebruiken om langere sequenties te onthouden en "uitlegbaarheid" toe te voegen, zodat muzikanten precies kunnen zien waarom de AI een bepaalde noot koos. Ze plannen ook een feedbackloop waarbij de AI in realtime leert van zijn fouten, waardoor de jamsessie nog strakker wordt.

Kortom, dit artikel laat ons zien dat de toekomst van AI-muziek niet gaat over het vervangen van menselijke artiesten door een gigantische, generieke robot. Het gaat over het geven van een op maat gemaakte, ethische en milieuvriendelijke digitale partner aan elke muzikant die hen helpt nieuwe klanken te verkennen terwijl ze trouw blijven aan hun eigen unieke stem. Het gaat niet om de AI die voor je speelt; het gaat om de AI die met je speelt.