Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

Stellen Sie sich vor, Sie befinden sich in einem überfüllten, hallenden Raum, in dem drei verschiedene Personen gleichzeitig sprechen und im Hintergrund das laute Summen einer Klimaanlage zu hören ist. Sie haben ein Team von Mikrofonen, die versuchen, nur eine einzige Stimme aufzunehmen. Dies ist das tägliche Dilemma des „Roboter-Auditions“ und von Hörgeräten: Wie trennt man eine einzelne Stimme von einem chaotischen Mix aus Lärm und anderen Stimmen? Um dies zu erreichen, müssen Computer den „akustischen Fingerabdruck“ des Raumes verstehen – wie der Schall von den Wänden abprallt und vom Sprecher zum Mikrofon gelangt. Wissenschaftler nennen dies die „Übertragungsfunktion“. Aber wenn mehrere Menschen gleichzeitig sprechen, wird die Mathematik kompliziert. Ein neueres, leistungsfähigeres Werkzeug namens „Relative Transfer Matrix“ (ReTM) wurde erfunden, um dieses Chaos zu bewältigen. Betrachten Sie die ReTM als eine Masterkarte, die einem Computer genau sagt, wie sich der Schall zwischen zwei verschiedenen Gruppen von Mikrofonen bewegt, unabhängig davon, wer gerade spricht. Wenn wir diese Karte präzise schätzen können, können wir verrauschte Aufnahmen bereinigen, Robotern besseres Hören ermöglichen und Telefonkonferenzen kristallklar machen.

In dieser Arbeit geht es darum, Computern beizubringen, diese Karte mithilfe einer speziellen Art von geistiger Kapazität namens „Deep Learning“ zu zeichnen. Anstatt die alten mathematischen Formeln zu verwenden, die mit komplexem Rauschen zu kämpfen haben, trainierten die Autoren drei verschiedene Arten künstlicher neuronaler Netze, Mikrofonaufnahmen zu analysieren und die ReTM-Karte zu erraten. Sie testeten diese digitalen Gehirne in einem simulierten Raum mit spezifischen Abmessungen (6 × 7 × 3 Meter) und einer Nachhallzeit von 500 Millisekunden, unter Verwendung von Szenarien mit zwei oder drei Schallquellen (wie weißem Rauschen, Musik oder Sprache) und bis zu 12 Mikrofonen.

Die Forscher fanden heraus, dass ihre neuen Methoden im Allgemeinen besser darin sind, diese Karte zu schätzen als die traditionelle, kovarianzbasierte Methode. Sie maßen den Erfolg anhand von fünf verschiedenen Metriken, darunter das Signal-zu-Verzerrungs-Verhältnis (SDR) und der mittlere quadratische Fehler (MSE). Ein Modell namens FuSNet, das einen speziellen Filtertyp verwendet, schnitt am besten ab, wenn das Rauschen gleichmäßig war (wie weißes Rauschen), und erreichte in einem Test ein SDR von 29,13 dB. Ein anderes Modell, SCoNet, das einen frequenzbasierten Ansatz nutzt, schnitt ebenfalls sehr gut ab und übertraf oft die alte Methode. Das Papier stellt jedoch eine Wendung fest: Obwohl FuSNet der Champion bei der Schätzung der Karte war, übertrug sich dies nicht perfekt auf das eigentliche Ziel der Sprachbereinigung. Als das Team tatsächlich versuchte, diese Karten zur Rauschunterdrückung bei Sprache einzusetzen, sank die Leistung von FuSNet und hinterließ ein erhebliches Echo. Im Gegensatz dazu erreichten die anderen Modelle, insbesondere ein LSTM-basiertes Netzwerk namens LAeNet, die höchste Sprachklarheit und steigerten das SDR in ihren Tests um durchschnittlich 10,55 dB.

Die Autoren weisen vorsichtig darauf hin, dass diese Ergebnisse aus Simulationen stammen und nicht aus realen Feldtests. Sie argumentieren ausdrücklich gegen die Vorstellung, dass die traditionelle Methode der einzig gangbare Weg sei, und zeigen auf, dass Deep Learning eine überlegene Genauigkeit bieten kann, insbesondere im Zeitbereich. Sie stellen jedoch auch die Idee richtig, dass der beste Kartenschätzer automatisch der beste Sprachreiniger ist; das „beste“ Modell hängt von der spezifischen Aufgabe ab. Das Paper kommt zu dem Schluss, dass diese Deep-Learning-Frameworks zwar vielversprechende Werkzeuge für die Zukunft der Audioverarbeitung sind, aber noch viel Arbeit geleistet werden muss, um sie für reale Anwendungen wie die Trennung von Sprechern oder die vollständige Entfernung von Echos perfekt zu machen.