Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking

Stel je voor dat je in een drukke kamer bent en probeert één specifieke vriend te volgen die loopt en praat, terwijl de muren weergalmen en geroezemoes de lucht vult. Je brein is een wonder van techniek; het raadt voortdurend waar die stem vandaan komt, filtert het lawaai weg en werkt zijn schatting elke fractie van een seconde bij terwijl je vriend beweegt. Dit is de uitdaging van Sound Source Localization (SSL) (geluidsbronlokalisatie). Decennialang hebben wetenschappers geprobeerd computers dit te leren, maar het is berucht moeilijk. Traditionele methoden zijn als proberen een naald in een hooiberg te vinden door elk stukje hooi één voor één te controleren; ze werken redelijk in stille kamers, maar raken in de war wanneer de kamer weerkaatst (reverberatie) of wanneer de bron beweegt.

Om dit op te lossen, zijn onderzoekers Deep Neural Networks (DNN's) gaan gebruiken, computergestuurde systemen die geïnspireerd zijn door het menselijk brein en patronen leren van enorme hoeveelheden data. Deze "black box"-systemen kunnen echter moeilijk te begrijpen zijn en maken soms wilde gokken. Een slim middenpad genaamd Algorithm Unfolding (algoritme-ontvouwing) is opgekomen. Denk hierbij aan het nemen van een klassiek, stapsgewijs wiskundig recept en elke stap omzetten in een laag van een neuraal netwerk. Op deze manier leert de computer hoe hij het recept moet volgen, maar kan hij ook leren om de instructies ter plekke aan te passen als de situatie lastig wordt. Dit paper duikt in deze specifieke hoek van de audiowetenschap, met als doel een computer te creëren die een bewegende spreker in een lawaaierige, galmende kamer kan volgen met dezelfde vloeiendheid als een menselijke luisteraar.

Het grote idee van het paper: Een slimme, zelfregulerende tracker

De auteurs, Rina Veler en Sharon Gannot van de Bar-Ilan Universiteit, stellen een nieuw systeem voor dat ze een Unfolded Recursive Expectation-Maximization (REM) Neural Network noemen. Om te begrijpen wat ze hebben gedaan, moeten we kijken naar het probleem dat ze oplossen.

Stel je voor dat je een bewegende auto probeert te volgen met behulp van een reeks wazige foto's. Je hebt een wiskundige formule die je vertelt hoe je je schatting van de locatie van de auto moet bijwerken op basis van de nieuwe foto. Maar er is een addertje onder het gras: hoeveel moet je de nieuwe foto vertrouwen versus je oude schatting? Als je de nieuwe foto te veel vertrouwt, kan een momentane onscherpte ervoor zorgen dat je denkt dat de auto de straat oversprong. Als je de oude schatting te veel vertrouwt, zul je niet merken dat de auto een bocht om gaat.

In het verleden gebruikten wetenschappers een "vast schema" voor dit vertrouwensniveau. Het was alsof je zei: "Voor de eerste 10 seconden vertrouw je de nieuwe foto voor 50%; voor de volgende 10 seconden vertrouw je het voor 40%", ongeacht of de auto daadwerkelijk versnelde, vertraagde of gewoon stilstond. Dit werkt goed voor statische objecten, maar faalt jammerlijk bij dynamische bewegingen.

Wat het paper doet:
De auteurs hebben een deep learning-netwerk gebouwd dat dit trackingproces "ontvouwt". In plaats van een vast schema te gebruiken, hebben ze het netwerk een Step Size Network geleerd. Dit is een speciaal onderdeel van het systeem dat naar de huidige situatie kijkt — hoe het geluid verandert, hoe zelfverzekerd het systeem is en de timing — en besluit: "Op dit moment moet ik de nieuwe data een beetje vertrouwen," of "Op dit moment moet ik meer vertrouwen op mijn oude schatting."

Ze gebruikten een techniek genaamd Feature-wise Linear Modulation (FiLM) en Positional Encoding om het netwerk een gevoel van tijd en context te geven. Het is alsof je de tracker een slimme bril geeft die niet alleen het huidige beeld ziet, maar ook de "vibe" van de afgelopen paar beelden, waardoor het zijn strategie direct kan aanpassen.

Wat ze vonden:
De onderzoekers testten hun systeem in een gesimuleerde wereld. Ze creëerden een virtuele kamer met een enkele spreker die met een constante snelheid van 0,5 m/s bewoog, langs ofwel een rechte lijn of een cirkel. Ze simuleerden twee soorten kamers: één die perfect stil is (anechoïsch) en één met een zware echo (RT60 = 0,3 s). Ze gebruikten 8.000 trainingsmonsters en 2.000 validatiemonsters om het netwerk te onderwijzen.

De resultaten waren veelbelovend. In de stille kamer bereikte hun nieuwe netwerk een gemiddelde fout (Root Mean Square Error, of RMSE) van 0,25 meter, wat ongeveer de lengte van een grote stap is. In de echoënde kamer steeg de fout naar 0,55 meter.

Toen ze dit vergeleken met de traditionele methode (genaamd CREM), die een vaste "vertrouwenswaarde" (step size) gebruikt van 0,25, 0,5 of 0,75, won het nieuwe netwerk.

• In de stille kamer had de oude methode met een step size van 0,5 een fout van 0,67 meter, en met 0,75 sprong de fout naar 1,44 meter. Het nieuwe netwerk was veel nauwkeuriger.
• In de echoënde kamer had de oude methode zelfs meer moeite, met fouten variërend van 0,74 tot 0,86 meter afhankelijk van de instelling, terwijl het nieuwe netwerk op 0,55 meter bleef.

Misschien wel het belangrijkste: het nieuwe netwerk was stabieler. In de echoënde kamer slaagde de oude methode er slechts in 87% tot 97% van de tijd in om de spreker binnen een straal van 0,5 meter te houden (afhankelijk van de step size), terwijl het nieuwe netwerk slechts 56% van de tijd faalde.

Het "Aha!"-moment:
De meest interessante ontdekking was wat het netwerk daadwerkelijk leerde. In de stille kamer leerde het netwerk van nature een lage "vertrouwenswaarde" te gebruiken (rond de 0,25), vergelijkbaar met de best presterende vaste instelling. Maar in de echoënde kamer leerde het veel voorzichtiger te zijn en verlaagde het de vertrouwenswaarde naar tussen de 0,02 en 0,1. Dit suggereert dat het netwerk begreep dat het in een lawaaierige, echoënde omgeving veiliger is om te vertrouwen op de opgebouwde geschiedenis dan om zich te laten afschrikken door een enkele, vervormde geluidssnapshot.

De beperkingen:
Het is belangrijk op te merken dat deze resultaten uit simulaties komen. De gegevens werden gegenereerd met een computerprogramma dat geluidsgolven in een kamer nabootst, niet vanuit echte microfoons in een echt huis. De spreker in de simulatie bewoog met een constante snelheid, wat betekent dat hij niet plotseling stopte, startte of onvoorspelbaar van richting veranderde. De auteurs erkennen dat hoewel de methode een belangrijke stap voorwaarts is, deze nog getest moet worden in zeer galmende werkelijke omstandigheden en met sprekers die onvoorspelbaar bewegen.

Kortom, dit paper suggereert dat door een computer te leren "na te denken" over hoeveel hij nieuwe informatie moet vertrouwen, in plaats van alleen een rigide regelboek te volgen, we veel betere systemen kunnen bouwen voor het volgen van stemmen in rommelige, lawaaierige omgevingen. Het is een beweging van een starre robot naar een meer intuïtieve, aanpasbare luisteraar.