In de wereld van de muziek is een opname zelden slechts één enkel geluid; het is een complex tapijt dat is geweven uit vele afzonderlijke draden. Een baslijn, een drumritme en de stem van een zanger spelen vaak samen, waarbij ze in tijd en frequentie overlappen. Decennialang zijn computers bijzonder goed geworden in het beluisteren van deze tapes en het identificeren van welke instrumenten aanwezig zijn. Als je een liedje afspeelt, kan een moderne kunstmatige intelligentie met een hoge mate van zekerheid vertellen dat er een gitaar speelt. Deze vaardigheid, bekend als herkenning, is een standaardinstrument geworden voor het organiseren van muziekbibliotheken en het helpen van mensen bij het vinden van de liedjes waar ze van houden. Echter, een cruciale vraag bleef onbeantwoord: weet de computer het instrument omdat hij echt dat specifieke geluid hoort, of raadt hij simpelweg op basis van het gezelschap dat het instrument houdt? Als een basgitaar altijd samen met een drumstel wordt opgenomen, kan de computer leren om "bas" te zeggen zodra hij drums hoort, zelfs als de bas zelf stil is. Dit onderscheid tussen het herkennen van een patroon en het werkelijk begrijpen van de bron van een geluid is het verschil tussen een slimme gip en oprecht begrip.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om dit begrip te testen, waarbij ze verder gaan dan eenvoudige nauwkeurigheidsscores om te zien hoe deze computermodellen reageren wanneer de fysieke ingrediënten van een liedje worden veranderd. Ze introduceerden een methode genaamd StemGround, die een muziekopname behandelt als een fysiek object dat uit elkaar kan worden gehaald en weer in elkaar kan worden gezet. In plaats van alleen naar de definitieve mix te luisteren, gebruikten de onderzoekers opnames waarbij elk instrument op een eigen apart spoor was vastgelegd. Ze konden vervolgens digitaal de bas verwijderen, het volume van de drums verhogen of een instrument vervangen door een ander, terwijl de rest van het nummer exact hetzelfde bleef. Door te observeren hoe het antwoord van de computer veranderde — of juist niet veranderde — wanneer ze de bron aanpasten, konden ze meten of het model echt naar het instrument luisterde of alleen reageerde op de achtergrondruis.

De onderzoekers ontdekten dat zelfs de meest geavanceerde muziekmodellen, die uitstekend zijn in het benoemen van instrumenten in een normale song, vaak falen voor deze fysieke test. Wanneer ze de bas in een opname dempten, bleef de computer vaak volhouden dat de bas nog steeds speelde. Het was alsof het model het gezelschap van de bas had gememorieerd in plaats van het geluid van de bas zelf. Dit gebeurde zelfs wanneer de computer werd verteld dat de bas weg was; het hield vast aan het label omdat de begeleidende drums er nog waren. De studie toonde aan dat een hoge nauwkeurigheid in standaardtests niet garandeert dat een model het begrip heeft van de fysieke realiteit van het geluid. Een systeem kan gelijk hebben over wat er in een nummer zit zonder werkelijk te weten welk deel van het geluid bij welk instrument hoort.

Om dit op te lossen, ontwierpen de onderzoekers een nieuw trainingsproces dat de computer dwingt om aandacht te besteden aan de bron. Ze probeerden niet het hele brein van de kunstmatige intelligentie te herbouwen; in plaats daarvan voegden ze een kleine, gespecialiseerde laag toe bovenop het bestaande systeem. Deze nieuwe laag werd getraind met dezelfde "uit elkaar halen"-methode die werd gebruikt voor de tests. De computer kreeg duizenden voorbeelden te zien waarbij instrumenten werden verwijderd, toegevoegd of waarbij het volume werd veranderd, en werd gestraft als het antwoord niet overeenkwam met de fysieke verandering. Als de bas werd verwijderd, moest de computer zijn vertrouwen dat de bas aanwezig was, verlagen. Als de drums werden opgevoerd, moest de computer zijn score voor de drums dienovereenkomstig aanpassen. Cruciaal was dat het systeem ook werd geleerd om veranderingen te negeren die de uitkomst niet zouden mogen beïnvloeden. Als het volume van het hele nummer werd verhoogd, zou de computer niet plotseling moeten besluiten dat er een nieuw instrument was verschenen.

De resultaten van deze nieuwe training waren duidelijk en meetbaar. Wanneer de onderzoekers de verbeterde modellen testten op nieuwe nummers die ze nog nooit hadden gehoord, reageerden de modellen veel beter op de werkelijke bron van het geluid. Wanneer de bas werd verwijderd, stopten de verbeterde modellen met beweren dat deze er nog was. Wanneer het volume van een specifiek instrument werd verhoogd, reageerden de modellen met een evenredige toename in hun vertrouwen. De studie mat deze verbetering over honderdduizenden specifieke veranderingen in de audio. De nieuwe methode verminderde het aantal valse alarmen, waarbij de computer beweerde dat een instrument speelde terwijl het stil was, met een aanzienlijke marge. Het zorgde er ook voor dat de antwoorden van de computer een logische volgorde volgden: naarmate een instrument luider werd, groeide het geloof van de computer dat het aanwezig was, in plaats van dat het willekeurig heen en weer sprong.

Belangrijk is dat de onderzoekers hebben geverifieerd dat deze verbetering niet ten koste ging van het oorspronkelijke vermogen van het model om muziek te herkennen. De modellen bleven net zo goed in het identificeren van instrumenten in normale, ongewijzigde nummers als voorheen. Ze verloren niet hun algemene kennis; ze kregen simpelweg een beter begrip van oorzaak en gevolg. De studie controleerde ook of de modellen niet alleen reageerden op de algehele luidheid van de muziek. Door het volume van verschillende testcondities zorgvuldig af te stemmen, bewezen ze dat de modellen reageerden op het specifieke instrument, en niet op de algemene energie van het nummer. Dit onderscheid is essentieel omdat het aantoont dat de modellen de specifieke eigenschappen van het geluid leren, en niet alleen het volumeniveau.

Het onderzoek keek ook naar hoe deze modellen omgaan met de relatie tussen verschillende instrumenten. In veel liedjes spelen instrumenten samen, en een computer kan in de war raken over welk geluid bij welk instrument hoort. De nieuwe trainingsmethode leerde de modellen om selectief te zijn. Wanneer de bas stil was maar de drums speelden, leerde het model niet te gokken dat de bas aanwezig was, alleen omdat de drums hard waren. Dit vermogen om het signaal van de ruis te scheiden, zelfs wanneer de ruis een muzikale begeleiding is, vertegenwoordigt een belangrijke stap voorwaarts. De modellen leerden elk instrument te behandelen als een onafhankelijke bron die aan of uit kan worden gezet, in plaats van als een vast onderdeel van een enkel, onveranderlijk patroon.

De studie testte deze ideeën op een grote collectie muziekdata, inclusioneel opnames van professionele artiesten en standaard testsets die wereldwijd door onderzoekers worden gebruikt. De verbeteringen hielden stand bij verschillende soorten muziek en verschillende modelarchitecturen. Of de computer nu getraind was met lineaire methoden of complexere neurale netwerken, de nieuwe aanpak maakte de modellen consequent meer gegrond in de fysieke realiteit. De onderzoekers vergeleken hun methode ook met een standaard trainingsaanpak die dezelfde data gebruikte maar de specifieke regels over hoe de antwoorden zouden moeten veranderen niet bevatte. De standaard aanpak slaagde er niet in om de valse alarmen te corrigeren, wat bewees dat het simpelweg tonen van de data aan de computer niet genoeg is; de computer moet expliciet worden onderwezen in de regels van fysieke oorzaak en gevolg.

Een van de meest opvallende bevindingen was dat de modellen begrepen kunnen worden wat deze fysieke relaties betreft zonder hun kernarchitectuur te veranderen. De onderzoekers pasten slechts een klein deel van het systeem aan, een residual head met enkele honderdduizend parameters, terwijl ze het enorme onderliggende model bevroren. Dit suggereert dat het vermogen om bron-gronding te begrijpen niet iets is dat een volledig nieuw type kunstmatige intelligentie vereist, maar eerder een preciezere manier van het bestaande intelligentiesystemen onderwijzen. Het is een kwestie van het afstemmen van de respons van de computer op de fysieke realiteit van het geluid, in plaats van alleen op de statistische waarschijnlijkheid ervan.

De implicaties van dit werk reiken verder dan alleen muziek. Het biedt een blauwdruk voor hoe we kunstmatige intelligentie in andere velden waar oorzaak en gevolg belangrijk zijn, betrouwbaarder kunnen maken. Als een medische AI een ziekte identificeert, zou deze ook moeten kunnen aantonen dat het verwijderen van het symptoom de diagnose verandert. Als een weermodel een storm voorspelt, moet het correct reageren wanneer de windsnelheid verandert. De StemGround-methode biedt een manier om deze systemen te auditeren, om te verzekeren dat ze niet alleen patroonherkenners zijn, maar werkelijke begrijpers van de wereld die ze analyseren. Door te focussen op hoe het systeem reageert op specifieke, gecontroleerde veranderingen, kunnen onderzoekers modellen bouwen die niet alleen accuraat zijn, maar ook betrouwbaar en robuust.

Uiteindelijk laat de studie zien dat werkelijk begrip in kunstmatige intelligentie meer vereist dan alleen het geven van het juiste antwoord. Het vereist het vermogen om uit te leggen waarom dat antwoord juist is, gebaseerd op het fysieke bewijs dat voorhanden is. De onderzoekers hebben aangetoond dat door modellen te leren reageren op het verwijderen of toevoegen van specifieke geluiden, we systemen kunnen creëren die gegrond zijn in de realiteit. Deze systemen gokken niet alleen; ze luisteren. Ze begrijpen dat als de bas weg is, de bas weg is. Deze verschuiving van statistisch gokken naar fysieke gronding markeert een stille maar diepgaande stap voorwaarts in het maken van kunstmatige intelligentie tot een betrouwbaardere partner in de complexe wereld van geluid.