A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Stel je voor dat je een drukke kamer binnenloopt waar een dozijn verschillende muziekinstrumenten tegelijkertijd spelen. Voor het menselijk oor is het resultaat een enkele, verwarrende muur van geluid. Als je dat lawaai met één microfoon zou opnemen, zou de opname elke noot, elk ritme en elk instrument bevatten, samengevoegd tot één ononderscheidbare stroom. Decennialang hebben wetenschappers gestreden met een specifieke uitdaging: hoe neem je die enkele, rommelige opname en haal je de individuele instrumenten eruit, waarbij je de viool isoleert van de drum of de piano van de fluit, zonder dat je ze ooit alleen hebt gehoord. Dit is het probleem van bronseparatie van geluid. Hoewel computers hier heel goed in zijn geworden wanneer ze de video van de uitvoering kunnen zien, vertrouwen de meeste bestaande methoden op complexe, alles-in-één systemen die moeilijk aan te passen zijn aan nieuwe of zeldzame instrumenten.

Een team onderzoekers aan de Yazd Universiteit in Iran heeft een andere aanpak voorgesteld, een die het probleem opsplitst in twee duidelijke stappen om realistische video's beter te kunnen verwerken, inclusief die met traditionele Perzische muziekinstrumenten. Hun werk, gepubliceerd in een recente studie, richt zich op het creëren van een systeem dat eerst naar de video "kijkt" om te identificeren welke instrumenten aanwezig zijn en waar ze zich bevinden, en vervolgens deze visuele informatie gebruikt om het proces van het scheiden van audio te begeleiden. In plaats van te proberen de visuele en audio-puzzels tegelijkertijd op te lossen met één enkel massief brein, gebruikt hun methode een gespecialiseerde visuele detector om een aparte audioverwerker precies te vertellen waar hij naar moet luisteren. Dit modulaire ontwerp maakt het systeem flexibeler en effectiever, met name voor instrumenten die zelden voorkomen in standaard trainingsgegevens.

De onderzoekers begonnen met het bouwen van een visueel detectiesysteem met behulp van een model dat bekend staat als YOLOv8, een hulpmiddel dat is ontworpen om objecten in afbeeldingen snel en nauwkeurig te herkennen. Ze trainden dit model op een collectie van 358 geannoteerde afbeeldingen met twaalf verschillende soorten muziekinstrumenten, een mix van internationale klassiekers zoals de gitaar en de piano, en traditionele Perzische instrumenten zoals de Daf, Kamancheh en Santur. Het doel was om de computer te leren deze instrumenten in videoframes te spotten, door er een kader omheen te trekken en ze een naam te geven. Omdat de dataset relatief klein was, gebruikte het team een techniek genaamd transfer learning, waardoor een model dat getraind is op een enorme bibliotheek van algemene objecten kan worden verfijnd voor deze specifieik muzikale instrumenten. Bij het testen op nieuwe videoframes identificeerde het systeem de instrumenten succesvol met een precisie van 75,1 procent, wat betekent dat wanneer het zei dat het een specif kind specifiek instrument zag, het meestal correct was. Het slaagde er ook in om ongeveer 59 procent van alle instrumenten die daadwerkelijk aanwezig waren in de scènes te vinden.

Zodra het visuele systeem heeft geïdentificeerd welke instrumenten worden gespeeld, begint het tweede deel van het proces. De onderzoekers hebben een aparte audioverwerkingsnetwerk ontwikkeld voor elk van de twaalf instrumenttypen. Dit betekent dat als de visuele detector een gitaar en een drum ziet, het systeem niet probeert om ze vanaf nul te raden hoe ze te scheiden. In plaats daarvan activeert het het specifieke "Gitaar"-netwerk en het specifieke "Drum"-netwerk. Elk van deze netwerken is ontworpen om naar de gemengde audio-opname te kijken, die is omgezet in een visuele kaart van geluidsfrequenties over de tijd, bekend als een spectrogram. De taak van het netwerk is om een digitale filter, of een masker, te creëren dat de delen van het geluid die bij zijn specifieke instrument horen accentueert en de rest dempt.

De onderzoekers testten dit tweestapsysteem op 420 real-world videoclips. Ze ontdekten dat door de visuele detectie te gebruiken om de audio-separatie te begeleiden, het systeem effectief de geluiden van de verschillende instrumenten kon isoleren. Gemiddeld was de kwaliteit van de separatie sterk, waarbij het systeem een score behaalde die wijst op een duidelijke onderscheid tussen het doelgeluid en de achtergrondruis. Voor sommige instrumenten, zoals de klarinet en de gitaar, was de separatie uitzonderlijk schoon, terwijl anderen met complexere of overlappende frequenties een grotere uitdaging vormden. De studie vergeleek hun methode ook met andere geavanceerde technieken en stelde vast dat hun aanpak superieure resultaten leverde in het verminderen van interferentie van andere instrumenten, met een gemiddelde kwalificatiescore voor separatie van 8,75 decibel.

Een belangrijke bevinding van dit onderzoek is dat de visuele informatie fungeert als een krachtige gids, die de mogelijkheden inperkt voor het audiosysteem. Door precies te weten welke instrumenten in de scène aanwezig zijn, hoeft het systeem niet te gissen of te zoeken door alle mogelijke combinaties van geluiden. Dit is bijzonder waardevol voor Perzische muziekinstrumenten, die vaak ondervertegenwoordigd zijn in wereldwijde datasets en moeilijk door standaardmodellen te herkennen zijn. De studie laat zien dat een modulair systeem, waarbij visuele detectie en audio-separatie samenwerken maar wel verschillend blijven, een praktische en effectieve manier is om complexe muzikale uitvoeringen te ontwarren. Hoewel het systeem momenteel een apart model voor elk instrumenttype vereist en nog niet in staat is om te leren een nieuw instrument te scheiden dat het nog nooit eerder heeft gezien, tonen de resultaten een duidelijke weg vooruit voor het verbeteren van hoe machines geluid in de echte wereld begrijpen en isoleren.