PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
Das Paper stellt PhaseCoder vor, einen geometrieagnostischen Transformer-Encoder, der rohen Mehrkanal-Audio und Mikrofonkoordinaten in räumliche Embeddings umwandelt, was multimodale LLMs dazu befähigt, eine robuste Lokalisierung und komplexes räumliches Denken über diverse Gerätekonfigurationen hinweg durchzuführen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind auf einer lauten Party. Sie können die Stimme Ihres Freundes mühelos aus der anderen Seite des Raumes herausfiltern, selbst während Musik dröhnt und andere Leute plaudern. Dies ist eine Superkraft, die Menschen den „Cocktailparty-Effekt“ nennen. Wir hören nicht nur einen Ton; wir spüren, von wo er kommt. Wir wissen, ob eine Stimme hinter uns, links von uns oder weit weg ist. Dieses räumliche Bewusstsein ist für uns so natürlich, dass wir selten darüber nachdenken, aber für Roboter und intelligente Assistenten ist es ein großes Rätsel. Derzeit sind die meisten intelligenten Geräte „audioblind“ in Bezug auf den Standort; sie hören einen einzelnen, flachen Soundstrom, als würde man Radio über einen einzigen Ohrhörer hören. Sie können Ihnen sagen, was gesagt wurde, aber sie haben keine Ahnung, wo der Sprecher steht.
Um dies zu beheben, versuchen Wissenschaftler, Computern beizubringen, die Richtung von Schall zu verstehen. Es gibt jedoch einen Haken: Die meisten dieser Programme für „räumliches Hören“ sind wie maßgeschneiderte Schuhe. Sie passen nur zu einem ganz bestimmten Paar Füßen. Wenn ein Gerät vier Mikrofone in einer quadratischen Anordnung hat, funktioniert das Programm. Wenn ein anderes Gerät acht Mikrofone in einem Kreis hat, bricht das Programm zusammen. Das liegt daran, dass die Software auf eine spezifische Form trainiert wurde und sich nicht an eine neue anpassen kann. Darüber hinaus zeigen diese Programme meist nur mit dem Finger und sagen „da drüben“, aber sie können nicht über diesen Ort sprechen oder diese Standortinformation nutzen, um einem Roboter bei der Navigation durch einen Raum zu helfen. Sie sind großartig im Zeigen, aber schlecht im Denken.
Hier kommt PhaseCoder ins Spiel, eine neue Erfindung von Forschern von Google DeepMind und MIT, die wie ein universeller Übersetzer für Schall fungiert. Betrachten Sie PhaseCoder als ein magisches Paar Ohren, dem es egal ist, welche Form die Mikrofon-„Ohren“ haben, an denen sie befestigt sind. Ob die Mikrofone in einem chaotischen Kreis verstreut, in einer Reihe aufgereiht oder in einem seltsamen Muster auf dem Kopf eines Roboters angebracht sind – PhaseCoder kann immer noch genau bestimmen, von wo ein Geräusch kommt. Dies geschieht, indem es auf die winzigen Unterschiede im Timing (oder der „Phase“) der Schallwellen achtet, die auf jedes Mikrofon treffen, ganz so, wie Ihr Gehirn die winzige Verzögerung zwischen Ihrem linken und rechten Ohr nutzt, um einen Ton zu lokalisieren.
Aber PhaseCoder zeigt nicht nur in eine Richtung. Die Forscher haben es mit einem leistungsstarken „Gehirn“ verbunden, einem Large Language Model (LLM), speziell einer Version von Gemma. Stellen Sie sich vor, man gibt diesem Gehirn einen neuen Sinn: die Fähigkeit, die Welt in 3D-Sound zu sehen. Jetzt, anstatt nur „Hallo“ zu hören, kann die KI verstehen: „Hallo, und ich stehe drei Meter links von dir.“ Die Forscher haben dieses System mit Millionen von computergenerierten Soundszenarien trainiert und es gelehrt, die Form des Mikrofon-Arrays zu ignorieren und sich statlich nur auf den Schall selbst zu konzentrieren.
Die Ergebnisse sind beeindruckend. In Tests mit realen Aufnahmen von verschiedenen Geräten konnte PhaseCoder Geräusche mit einer Genauigkeit von etwa 7,44 Grad auf einem anspruchsvollen Datensatz lokalisieren und damit bisherige State-of-the-Art-Modelle schlagen, die an spezifischen Mikrofonformen feststeckten. Noch wichtiger ist, dass die KI komplexe Fragen beantworten konnte, wenn man sie dazu aufforderte. Sie konnte Fragen beantworten wie: „Ist der Sprecher auf meiner linken Seite?“ oder „Transkribiere nur die Person, die hinter mir steht“, wobei sie alle anderen erfolgreich ignorierte. Das System funktioniert mit jeder Anzahl von drei bis acht Mikrofonen, was beweist, dass es die Geometrie des Schalls wirklich versteht, anstatt nur ein bestimmtes Layout auswendig zu lernen. Während das System immer noch etwas Schwierigkeiten hat, exakte Entfernungen zu beurteilen (eine notorisch schwierige Aufgabe für Audio allein), hat es erfolgreich die Lücke zwischen rohen Schalldaten und intelligentem Denken geschlossen und Maschinen die Fähigkeit gegeben, die Welt um sie herum wirklich zu „hören“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.