Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking

Stellen Sie sich vor, Sie befinden sich in einem überfüllten Raum und versuchen, einem einzelnen Freund zu folgen, der geht und spricht, während die Wände hallen und ein Stimmengewirr die Luft erfüllt. Ihr Gehirn ist ein Wunderwerk der Ingenieurskunst, das ständig rät, von wo aus diese Stimme kommt, das Rauschen herausfiltert und seine Vermutung jede Millisekunde aktualisiert, während sich Ihr Freund bewegt. Dies ist die Herausforderung der Schallquellenlokalisierung (Sound Source Localization, SSL). Jahrzehntelang haben Wissenschaftler versucht, Computern beizubringen, dies zu tun, aber es ist notorisch schwierig. Traditionelle Methoden sind wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man jedes einzelne Stück Heu einzeln überprüft; sie funktionieren in ruhigen Räumen ganz gut, geraten aber in Verwirrung, wenn der Raum nachhallt (Reverberation) oder wenn die Quelle sich bewegt.

Um dies zu lösen, haben Forscher begonnen, Tiefe Neuronale Netze (Deep Neural Networks, DNNs) einzusetzen, die Computersysteme sind, die vom menschlichen Gehirn inspiriert wurden und aus massiven Mengen an Daten lernen können. Diese „Black-Box“-Systeme können jedoch schwer zu verstehen sein und manchmal wilde Vermutungen anstellen. Ein kluger Mittelweg namens Algorithm Unfolding ist entstanden. Man kann sich das so vorstellen, dass man ein klassisches, schrittweises mathematisches Rezept nimmt und jeden Schritt in eine Schicht eines neuronalen Netzes verwandelt. Auf diese Weise lernt der Computer, wie man dem Rezept folgt, kann aber auch lernen, die Anweisungen im Flug anzupassen, wenn die Situation schwierig wird. Dieses Paper vertieft sich in diese spezifische Nische der Audiowissenschaft mit dem Ziel, einen Computer zu erschaffen, der einer bewegten Sprecherquelle in einem lauten, hallenden Raum mit der gleichen Geschmeidigkeit folgen kann wie ein menschlicher Zuhörer.

Die große Idee des Papers: Ein intelligenter, selbstanpassender Tracker

Die Autoren, Rina Veler und Sharon Gannot von der Bar-Ilan Universität, schlagen ein neues System vor, das sie ein Unfolded Recursive Expectation-Maximization (REM) Neural Network nennen. Um zu verstehen, was sie getan haben, betrachten wir das Problem, das sie lösen.

Stellen Sie sich vor, Sie versuchen, ein fahrendes Auto anhand einer Serie von unscharfen Fotos zu verfolgen. Sie haben eine mathematische Formel, die Ihnen sagt, wie Sie Ihre Vermutung über den Standort des Autos basierend auf dem neuen Foto aktualisieren sollen. Aber es gibt einen Haken: Wie sehr sollten Sie dem neuen Foto vertrauen im Vergleich zu Ihrer alten Vermutung? Wenn Sie dem neuen Foto zu viel vertrauen, könnte ein vorübergehender Unschärfeeffekt dazu führen, dass Sie glauben, das Auto sei auf die andere Straßenseite gesprungen. Wenn Sie Ihrer alten Vermutung zu sehr vertrauen, werden Sie nicht bemerken, dass das Auto um eine Ecke biegt.

In der Vergangenheit verwendeten Wissenschaftler einen „festen Zeitplan“ für dieses Vertrauensniveau. Es war so, als würde man sagen: „Für die ersten 10 Sekunden vertrauen Sie dem neuen Foto zu 50 %; für die nächsten 10 Sekunden zu 40 %, unabhängig davon, ob das Auto tatsächlich beschleunigt, langsamer wird oder einfach nur stillsteht.“ Das funktioniert für statische Objekte gut, versagt aber kläglich bei dynamischen Bewegungen.

Was das Paper macht:
Die Autoren bauten ein Deep-Learning-Netzwerk, das diesen Tracking-Prozess „entfaltet“. Anstatt einen festen Zeitplan zu verwenden, haben sie dem Netzwerk ein Step Size Network beigebracht. Dies ist ein spezieller Teil des Systems, der die aktuelle Situation betrachtet – wie sich der Schall verändert, wie sicher sich das System ist und wie das Timing ist – und entscheidet: „Im Moment sollte ich den neuen Daten ein wenig vertrauen“ oder „Im Moment sollte ich mich mehr auf meine alte Vermutung verlassen.“

Sie verwendeten eine Technik namens Feature-wise Linear Modulation (FiLM) und Positional Encoding, um dem Netzwerk ein Gefühl für Zeit und Kontext zu geben. Es ist, als würde man dem Tracker eine intelligente Brille geben, die nicht nur den aktuellen Frame sieht, sondern auch den „Vibe“ der letzten paar Frames wahrnimmt, was es ihm ermöglicht, seine Strategie sofort anzupassen.

Was sie herausgefunden haben:
Die Forscher testeten ihr System in einer simulierten Welt. Sie erstellten einen virtuellen Raum mit einem einzelnen Sprecher, der sich mit einer konstanten Geschwindigkeit von 0,5 m/s entweder auf einer geraden Linie oder auf einem Kreis bewegte. Sie simulierten zwei Arten von Räumen: einen, der perfekt ruhig (anechoisch) war, und einen mit starkem Nachhall (RT60 = 0,3 s). Sie verwendeten 8.000 Trainingsproben und 2.000 Validierungsproben, um das Netzwerk zu lehren.

Die Ergebnisse waren vielversprechend. In dem ruhigen Raum erreichte ihr neues Netzwerk einen durchschnittlichen Fehler (Root Mean Square Error, oder RMSE) von 0,25 Metern, was etwa der Länge eines großen Schrittes entspricht. Im hallenden Raum stieg der Fehler auf 0,55 Meter.

Als sie dies mit der herkömmlichen Methode (genannt CREM) verglichen, die ein festes „Vertrauensniveau“ (Step Size) von 0,25, 0,5 oder 0,75 verwendet, gewann das neue Netzwerk.

• In dem ruhigen Raum hatte die alte Methode mit einer Step Size von 0,5 einen Fehler von 0,67 Metern, und mit 0,75 sprang er auf 1,44 Meter. Das neue Netzwerk war wesentlich genauer.
• Im hallenden Raum hatte die alte Methode noch größere Schwierigkeiten, mit Fehlern zwischen 0,74 und 0,86 Metern, je nach Einstellung, während das neue Netzwerk bei 0,55 Metern blieb.

Besonders wichtig war, dass das neue Netzwerk stabiler war. Im hallenden Raum versagte die alte Methode in 87 % bis 97 % der Fälle (je nach Step Size) dabei, den Sprecher innerhalb eines Radius von 0,5 Metern zu halten, während das neue Netzwerk nur in 56 % der Fälle scheiterte.

Der „Aha!“-Moment:
Die interessanteste Entdeckung war, was das Netzwerk tatsächlich gelernt hat. Im ruhigen Raum lernte das Netzwerk natürlich einen niedrigen „Vertrauenswert“ (um 0,25), ähnlich der am besten abschneidenden festen Einstellung. Aber im hallenden Raum lernte es, viel vorsichtiger zu sein, und senkte sein Vertrauensniveau auf zwischen 0,02 und 0,1. Dies deutet darauf hin, dass das Netzwerk begriffen hat, dass es in einer verrauschten, hallenden Umgebung sicherer ist, sich auf die angesammelte Historie zu verlassen, anstatt sich von einer einzelnen, verzerrten Klangaufnahme erschrecken zu lassen.

Die Grenzen:
Es ist wichtig anzumerken, dass diese Ergebnisse aus Simulationen stammen. Die Daten wurden mit einem Computerprogramm generiert, das Schallwellen in einem Raum nachahmt, nicht aus echten Mikrofonen in einem echten Haus. Der Sprecher in der Simulation bewegte sich mit einer konstanten Geschwindigkeit, was bedeutet, dass er nicht plötzlich stoppte, startete oder unvorhersehbar die Richtung änderte. Die Autoren räumen ein, dass die Methode zwar ein bedeutender Schritt nach vorn ist, aber noch unter hochgradig nachhallenden realen Bedingungen und mit Sprechern, die sich unvorhersehbar bewegen, getestet werden muss.

Kurz gesagt legt dieses Paper nahe, dass wir, indem wir einem Computer beibringen, darüber „nachzudenken“, wie viel er neuen Informationen vertrauen sollte, anstatt nur einem starren Regelwerk zu folgen, viel bessere Systeme zum Verfolgen von Stimmen in chaotischen, lauten Umgebungen bauen können. Es ist ein Übergang von einem starren Roboter zu einem intuitiveren, anpassungsfähigen Zuhörer.