Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

Stel je voor dat je in een drukke, galmende kamer bent waar drie verschillende mensen tegelijkertijd praten en een luide airconditioner op de achtergrond bromt. Je hebt een team van microfoons die slechts één specifieke stem proberen op te nemen. Dit is de dagelijkse strijd van de "robotauditie" en gehoorapparaten: hoe scheid je één stem van een chaotische mix van lawaai en andere stemmen? Om dit te doen, moeten computers de "akoestische vingerafdruk" van de kamer begrijpen—hoe geluid tegen muren weerkaatst en van een spreker naar een microfoon reist. Wetenschappers noemen dit de "transferfunctie". Maar wanneer meerdere mensen tegelijkertijd praten, wordt de wiskunde ingewikkeld. Een nieuwere, krachtigere tool genaamd de "Relative Transfer Matrix" (ReTM) is uitgevonden om deze chaos te beheersen. Beschouw de ReTM als een meesterkaart die een computer precies vertelt hoe geluid tussen twee verschillende groepen microfoons beweegt, ongeacht wie er praat. Als we deze kaart nauwkeurig kunnen inschatten, kunnen we ruizige opnames opschonen, robots beter laten horen en videoconferenties kristalhelder maken.

Dit artikel gaat over het leren aan computers om die kaart te tekenen met een speciale vorm van hersenkracht die "Deep Learning" wordt genoemd. In plaats van de oude wiskundige formules die moeite hebben met complexe ruis, trainden de auteurs drie verschillende soorten kunstmatige neurale netwerken om naar microfoonopnames te kijken en de ReTM-kaart te raden. Ze testten deze digitale breinen in een gesimuleerde kamer met specifieke afmetingen (6 × 7 × 3 meter) en een nagalmtijd van 500 milliseconden, met scenario's met twee of drie geluidsbronnen (zoals witte ruis, muziek of spraak) en tot wel 12 microfoons.

De onderzoekers ontdekten dat hun nieuwe methoden over het algemeen beter zijn in het inschatten van deze kaart dan de traditionele, op covariantie gebaseerde methode. Ze maten het succes met vijf verschillende metrieken, waaronder de Signal-to-Distortion Ratio (SDR) en de Mean Square Error (MSE). Eén model, genaamd FuSNet, dat een specifiek type filter gebruikt, presteerde het best wanneer de ruis uniform was (zoals witte ruis), met een SDR van 29,13 dB in één test. Een ander model, SCoNet, dat een frequentiegebaseerde aanpak gebruikt, deed het ook erg goed en versloeg de oude methode vaak. Het artikel merkt echter een wending op: hoewel FuSNet de kampioen was in het inschatten van de kaart, vertaalde dit zich niet perfect naar het uiteindelijke doel van het opschonen van spraak. Wanneer het team deze kaarten daadwerkelijk probeerde te gebruiken om ruis uit spraak te verwijderen, daalde de resultaten van FuSNet, waardoor er aanzienlijke echo achterbleef. In tegen tegenstelling hiertoe bereikten de andere modellen, met name een op LSTM gebaseerd netwerk genaamd LAeNet, de hoogste spraakhelderheid, waarbij ze de SDR in hun tests met gemiddeld 10,55 dB verhoogden.

De auteurs zijn voorzichtig om te benadrukken dat deze resultaten voortkomen uit simulaties, niet uit tests in de echte wereld. Ze argumenteren expliciet tegen het idee dat de traditionele methode de enige weg is, door aan te tonen dat deep learning een superieure nauwkeurigheid kan bieden, vooral in het tijdsdomein. Ze sluiten echter ook de mogelijkheid uit dat de beste kaart-estimator automatisch de beste spraak-opschoner is; het "beste" model hangt af van de specifieke taak. Het artikel concludeert dat hoewel deze deep learning-frameworks veelbelovende instrumenten zijn voor de toekomst van audioverwerking, er nog werk te verzetten is om ze perfect te maken voor realistische toepassingen zoals het scheiden van sprekers of het volledig verwijderen van echo's.