⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

Dieses Paper stellt LAIP vor, ein Framework, das intermediäre visuelle Token und audio-informiertes räumliches Pooling nutzt, um feingliedrige räumliche Verankerungsfähigkeiten aus groß angelegten Audio-Visuellen Retrieval-Modellen freizusetzen, ohne eine Pixel-Ebene-Supervision zu erfordern, und dabei eine State-of-the-Art-Leistung bei Lokalisierungs-Benchmarks erzielt.

Ursprüngliche Autoren: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Veröffentlicht 2026-07-29

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt nicht nur durch das Sehen, sondern auch durch das Hören zu verstehen. Dies ist die Welt des audio-visuellen Lernens, eines Zweigs der künstlichen Intelligenz, bei dem Computer versuchen herauszufinden, wie Klang und Sicht miteinander zusammenhängen. Denken Sie an einen Detektiv, der nicht nur einen Tatort sieht, sondern auch die Sirenen, das zerbrechende Glas und das Schreien hört, um zu rekonstruieren, von wo genau das Geräusch kam.

Lange Zeit war es, eine solche Fähigkeit bei Robotern zu lehren, so, als würde man versuchen, ein Haus ohne Bauplan zu bauen. Um einem Computer beizubringen, in einem Video exakt auf die Quelle eines Geräusches zu zeigen, muss man normalerweise einen Menschen beauftragen, in jedem einzelnen Frame des Videos ein Rechteck um die Geräuschquelle zu zeichnen. Dies wird als „dichte räumliche Annotation“ bezeichnet und ist unglaublich mühsam, teuer und zeitaufwendig. Es ist so, als würde man einen Freund bitten, eine Stunde lang die perfekte Umrandung jedes Vogels in einem Schwarm zu zeichnen. Weil dies so schwierig ist, waren die meisten Forscher darauf angewiesen, schwache Hinweise zu nutzen, wie zum Beispiel lediglich zu wissen, dass ein Geräusch in einem Video existiert, ohne jedoch genau zu wissen, wo es sich befindet.

Kürzlich haben Wissenschaftler jedoch massive „Retrieval-Modelle“ entwickelt. Das sind superintelligente KI-Systeme, die auf Millionen von Videos und Klängen trainiert wurden, um Fragen zu beantworten wie: „Finde mir den Videoclip, der zu diesem Audio passt.“ Sie sind hervorragend darin, die allgemeine Stimmung eines Klangs mit einem ganzen Video abzugleichen, aber sie sind schlecht darin, auf die spezifische Stelle zu zeigen, an der das Geräusch gerade passiert. Sie sehen den ganzen Wald, übersehen aber den spezifischen Baum, der das Geräusch macht. Die große Frage lautete: Können wir diese riesigen, vortrainierten Modelle, die großartig darin sind, Videos zu finden, irgendwie dazu bringen, ihre Fähigkeit freizusetzen, auf die exakte Quelle eines Klangs zu zeigen, ohne dafür eine Armee von Menschen anheuern zu müssen, die Kästen zeichnen?

Die große Idee des Papers: Eine verborgene Karte freischalten

Das Paper, das Sie gerade lesen, trägt den Titel „Unlocking Spatial Grounding in Large Audio-Visual Retrieval models“ und sagt: Ja, das können wir. Die Autoren, ein Team von Forschern aus Frankreich, Meta und NVIDIA, haben entdeckt, dass diese riesigen Retrieval-Modelle eigentlich bereits wissen, wo Geräusche sind, sie verbergen diese Information jedoch tief in ihrem Gehirn, bevor sie sie wegwerfen.

Stellen Sie sich eine riesige Bibliothek (das Retrieval-Modell) vor, die Millionen von Büchern (Videos) gelesen und Millionen von Hörbüchern (Klänge) gehört hat. Wenn Sie den Bibliothekar fragen: „Haben Sie ein Buch über einen bellenden Hund?“, kann er sofort das richtige Regal finden. Aber wenn Sie fragen: „Wo genau im Bild des Hundes befindet sich das brennende Maul?“, zuckt der Bibliothekar meist nur mit den Schultern und sagt: „Ich weiß nur, dass es ein Bild von einem Hund ist.“

Die Autoren erkannten, dass der Bibliothekar nicht wirklich unwissend ist. Der Bibliothekar hat eine detaillierte Karte des Hundemauels in seinem Kopf, aber er wirft diese Karte weg, sobald er entscheidet, Ihnen eine einfache Antwort wie „Ja, ich habe ein Hundebuch“ zu geben. Die Autoren führten einen cleveren Trick namens LAIP (Localization via Audio-Informed Pooling) ein, um diese Karte abzufangen, bevor sie weggeworfen wird.

Wie LAIP funktioniert: Der Audio-Detektiv

Der Kern ihrer Methode ist ein neues Modul, das sie Audio-informed Spatial Pooling (AiSP) nennen. So funktioniert es in einfachem Englisch:

Das Setup: Die KI betrachtet ein Video Frame für Frame. Im Inneren der KI gibt es tausende winziger „Tokens“ (kleine Datenteile), die verschiedene Teile des Bildes repräsentieren. Normalenmäßig presst die KI all diese winzigen Teile zu einem einzigen riesigen Zusammenfassungs-Token zusammen, um zu entscheiden, ob das Video zum Klang passt. Das ist so, als würde man eine ganze Pizza zu einem einzigen Teigballen zerquetschen, um zu sehen, ob sie nach Salami schmeckt. Dabei geht der Standort der Salami-Scheiben verloren.
Die Intervention: Anstatt die KI alles sofort zusammenpressen zu lassen, setzen die Autoren direkt vor der finalen Zusammenfassung ein „Stoppschild“. Sie nehmen das Audio (das Bellen eines Hundes) und nutzen es als Query (Abfrage).
Die Magie: Sie fragen das Audio: „Hey, mit welchen dieser winzigen Bildteile sprichst du gerade?“ Das Audio wirkt wie eine Taschenlampe, die auf die spezifischen Bild-Tokens leuchtet, die dem Klang entsprechen. Die KI sammelt dann nur diese relevanten Teile in einer neuen Zusammenfassung.
Das Ergebnis: Da die KI gezwungen wurde, auf die spezifischen Teile des Bildes zu achten, die zum Klang passen, lernt sie quasi nebenbei, eine Karte zu zeichnen, von wo der Klang kommt. Es ist so, als müsste der Bibliothekar, anstatt Ihnen nur das Buch zu überreichen, auf die exakte Seite und den Absatz zeigen, in dem das Wort „Bellen“ vorkommt, nur um zu beweisen, dass er das richtige Buch gefunden hat.

Was sie herausgefunden haben

Die Ergebnisse sind überraschend stark. Die Autoren testeten ihre Methode an drei verschiedenen Benchmarks (Standardtests für KI):

AVATAR: Bei diesem Test, der nach Klängen in komplexen, bewegten Videos sucht, verdoppelte ihre Methode fast die Leistung der bisherigen besten Modelle. Sie sprangen von einem Wert um 13–14 % auf 27,63 % (CIoU) und 27,77 % (AUC).
AVSBench: Sie erreichten auch auf diesem Test die besten Werte, mit einem F-Score von 65,18 für Einzelquellen-Klänge, womit sie das bisherige Beste von 45,33 übertrafen.
ADE-SP: Auch hier übertrafen sie die Konkurrenz deutlich und erreichten 33,35 m-IoU und 53,57 mAP.

Das Paper legt nahe, dass dies deshalb funktioniert, weil die riesigen Retrieval-Modelle bereits auf massiven Datenmengen trainiert wurden und somit reiche Verbindungen zwischen Klang und Sicht gelernt haben. Die Autoren mussten der KI nicht erst beibringen, was ein Hund oder ein Auto ist; sie mussten ihr nur beibringen, wie sie auf den richtigen Teil des Bildes schaut, wenn sie den entsprechenden Klang hört.

Was sie ausgeschlossen haben

Die Autoren waren sorgfältig darin zu zeigen, was nicht funktioniert. Sie probierten einige andere Ideen aus und fanden diese unzureichend:

Nur die letzte Schicht verwenden: Wenn man versucht, dies in der allerletzten Phase der KI-Verarbeitung zu tun (nachdem das Bild bereits zu einem einzigen Klumpen zusammengedrückt wurde), scheitert es. Die räumlichen Details sind dann verloren. Man muss es in den mittleren Schichten machen, in denen das Bild noch detailliert ist.
Einfache Aufmerksamkeit (Attention): Es reicht nicht aus, die KI nur einmal bitten zu lassen, auf das Bild zu schauen. Sie fanden heraus, dass ein hierarchischer Ansatz (es in Schritten zu tun, wie ein Zoomen vom Weitwinkel zur Nahaufnahme) notwendig ist.
Gradienten-Maps: Sie versuchten es mit Standard-Mathematiktricks, um zu sehen, worauf die KI achtet (genannt Gradienten-basierte Maps), aber diese waren sehr schlecht darin, den Klang zu finden, und erreichten nur 4,14 im Vergleich zu ihren 26,22. Dies beweist, dass ihr spezifisches Verfahren des „Pooling“ den Unterschied macht und nicht bloß das Betrachten der internen Mathematik der KI.

Die Einschränkung (Limitations)

Das Paper ist ehrlich bezüglich einer Einschränkung. Obwohl diese Methode die KI exzellent darin macht, wo ein Klang ist, macht sie es etwas schwieriger, dieselbe KI für die ursprüngliche Aufgabe – das schnelle Finden von Videos – zu nutzen. Da die KI nun auf den Klang achten muss, um zu entscheiden, auf welchen Teil des Videos sie sich konzentrieren soll, kann man den „Fingerabdruck“ des Videos nicht mehr vorab berechnen und in einer Datenbank speichern. Man muss ihn jedes Mal neu berechnen, wenn man eine Frage stellt. Die Autoren merken an, dass das ursprüngliche Retrieval-Modell weiterhin gut für die Suche funktioniert, die neue „Lokalisierungs“-Version jedoch für massive Datenbanken etwas langsamer ist.

Das Fazit

Kurz gesagt: Dieses Paper beweist, dass man keine neue KI von Grund auf neu bauen muss, um Schallquellen zu finden. Man kann eine riesige, vortrainierte KI nehmen, die bereits gut darin ist, Klänge mit Videos abzugleichen, und mit einem cleveren Zusatz (LAIP) ihre verborgene Fähigkeit freisetzen, exakt auf die Stelle zu zeigen, von der das Geräusch kommt. Es ist eine Erinnerung daran, dass die Antwort manchmal nicht darin besteht, ein größeres Gehirn zu bauen, sondern das bestehende Gehirn zu lehren, auf die richtigen Details zu achten.

Technisches Resümee: Freisetzung der räumlichen Verankerung in großen audiovisuellen Retrieval-Modellen

Problemstellung

Die audiovisuelle Schallquellenlokalisierung (Audio-Visual Sound Source Localization, AV-SSL) zielt darauf ab, die räumlichen Regionen innerhalb eines Videorahmens zu identifizieren, die mit einem synchronisierten Audiosignal korrespondieren. Diese Aufgabe ist von Natur aus herausfordernd, da die Schallquellen in dichten, überladenen visuellen Szenen spärlich gesät sind. Ein primärer Engpass ist der Mangel an dichten räumlichen Annotationen (pixelgenaue Masken), die für das überwachte Training erforderlich sind, da deren Erstellung für lange Videoclips prohibitiv teuer ist. Folglich stützt sich das Feld auf schwach überwachte Methoden, die lediglich zeitlich ausgerichtete Audio-Video-Paare nutzen.

Obwohl groß angelegte kontrastive Vortrainings leistungsstarke multimodale Retrieval-Modelle (z. B. PE-AV) hervorgebracht haben, die globale Einbettungen von Audio und Video abgleichen, sind diese Modelle auf globales Matching optimiert und nicht auf lokale räumliche Korrespondenz. In Standard-Retrieval-Architekturen gehen dichte räumliche Informationen durch globale Pooling-Mechanismen in den oberen Schichten des Backbones progressiv verloren, was zu Frame- und Video-Features führt, denen es an der für eine präzise Lokalisierung erforderlichen Granularität mangelt. Die zentrale Frage, die mit dieser Arbeit adressiert wird, ist, ob diese groß angelegten Retrieval-Modelle, die von Natur aus räumliche Details verwerfen, angepasst werden können, um eine feinkörnige räumliche Verankerung unter Verwendung von nur schwacher Überwachung zurückzugewinnen.

Methodik: LAIP-Framework

Die Autoren schlagen LAIP (Localization via Audio-Informed Pooling) vor, ein Framework, das darauf ausgelegt ist, zeitlich ausgerichtete Audioinformationen in den visuellen Backbone eines vortrainierten Retrieval-Modells vor der zeitlichen Aggregation zu injizieren.

Kernarchitektur

LAIP operiert auf einem groß angelegten Retrieval-Backbone (speziell PE-AV), der aus Audio-, Frame- und Video-Encodern besteht. Anstatt ein Lokalisationsmodell von Grund auf neu zu trainieren oder einen schweren Kopf an gefrorene Features anzuhängen, modifiziert LAIP die Schnittstelle zwischen dem Frame-Encoder und dem Video-Encoder.

Extraktion intermediärer Features: In Anerkennung dessen, dass räumliche Details in den letzten Schichten des Frame-Encoders unterdrückt werden, extrahiert LAIP intermediäre visuelle Token ( $V_t^\ell$ ) aus einer früheren Schicht (speziell der 16. Schicht eines 24-Schicht-Encoders).
Audio-Visuelle Ausrichtung: Da Audio und Video bei unterschiedlichen zeitlichen Auflösungen operieren, richtet ein leichtgewichtiger lokaler Aggregator (ein 1D-Faltungsnetzwerk gefolgt von zeitlicher Mittelwertbildung) den Audiostream auf die Video-Frame-Rate aus, wodurch ein synchronisiertes Audio-Embedding $a_t$ für jeden Frame erzeugt wird.
Audio-informiertes räumliches Pooling (AiSP): Die Kerninnovation ist das AiSP-Modul, welches die standardmäßige globale Aggregation ersetzt. Es verwendet ein hierarchisches Design, das aus drei gestapelten AiSP-Schichten besteht, die jeweils von einem leichtgewichtigen konvolutionalen Adaptationsblock gefolgt werden.
- Mechanismus: In jeder Stufe fungiert der Audio-Token als Query, um auf räumliche visuelle Token aufmerksam zu werden (Attention). Die Attention-Gewichte bilden eine Segmentierungsmaske, und die visuellen Token werden innerhalb lokaler räumlicher Blöcke ( $K \times K$ ) gewichtet durch diese Attention-Scores gepoolt.
- Null-Token: Um Fälle zu handhaben, in denen das Audio nicht mit einem sichtbaren Objekt korrespondiert (z. B. Off-Screen-Geräusche), wird ein lernbarer Null-Token ( $x_\emptyset$ ) an die Keys angehängt. Dies ermöglicht es der Audio-Query, sich der Auswahl visueller Token zu entziehen, falls kein relevantes Objekt vorhanden ist.
- Progressive Verfeinerung: Das hierarchische Stapeln reduziert progressiv die räumliche Auflösung der visuellen Token und kollabiert sie in einen einzelnen audio-konditionierten visuellen Token ( $\tilde{c}_t$ ), der mit dem ursprünglichen Video-Encoder kompatibel ist.

Trainingsziel

Das Modell wird mit einem globalen kontrastiven Ziel verwendet, das von SigLIP und FLAIR inspiriert und für den audiovisuellen Bereich angepasst wurde:

Kontrastiver Verlust ( $L_{SIG}$ ): Die gepoolte Video-Repräsentation (generiert via LAIP) wird mit dem globalen Audio [CLS]-Token unter Verwendung eines Sigmoid-basierten kontrastiven Verlusts abgeglichen. Negative Paare werden durch das Mismatch von Audio und Video gebildet.
Multi-Resolution-Regularisierung ( $L_{MRes}$ ): Um sicherzustellen, dass die intermediären Attention-Maps räumlich kohärent sind, erzwingt ein Verlustterm die Konsistenz zwischen Attention-Maps auf verschiedenen Pooling-Stufen (Upsampling von Maps mit niedrigerer Auflösung, um die mit höherer Auflösung anzugleichen).
Null-Token-Regularisierung ( $L_\emptyset$ ): Eine Strafe wird auf die Attention angewendet, die auf den Null-Token entfällt, bei negativen Paaren, was das Modell dazu ermutigt, sich der Auswahl visueller Regionen zu enthalten, wenn keine Schallquelle vorhanden ist.
Adapter: Kleine Adapter werden zu den MLP-Blöcken des Video-Encoders hinzugefügt, um zu verhindern, dass das Modell dazu neigt, den ursprünglichen [CLS]-Token zu imitieren, während der Rest der vortrainierten Gewichte eingefroren bleibt.

Wichtige Beiträge

Ausnutzung von Retrieval-Repräsentationen: Die Autoren zeigen, dass groß angelegte audiovisuelle Retrieval-Modelle trotz der Optimierung auf globale Ausrichtung über verwertbare strukturierte räumliche Informationen in intermediären visuellen Token verfügen. Dies ermöglicht die Lokalisierung ohne dichte räumliche Annotationen.
Das LAIP-Framework: Einführung einer leichtgewichtigen, audio-informierten Architektur, die Audio-Queries in den visuellen Backbone vor dem Video-Pooling injiziert. Dies ermöglicht eine starke cross-modale Synergie bei gleichzeitiger Beibehaltung der Kompatibilität mit der vortrainierten Retrieval-Pipeline.
Globale Überwachung für lokale Aufgaben: Die Arbeit zeigt, dass ein globaler kontrastiver Zielwert, wenn er mit der spezifischen Architektur (hierarchisches Pooling) und Regularisierung (Multi-Skala-Konsistenz und Null-Token-Handhabung) kombiniert wird, ausreicht, um reiche räumliche audiovisuelle Repräsentationen zu erlernen.

Experimentelle Ergebnisse

Die Methode wurde auf drei Benchmarks evaluiert: AVATAR, AVSBench und ADE-SP.

AVATAR Benchmark: LAIP erreichte die State-of-the-Art-Performance über alle vier Szenarien hinweg (Single-Sound, Mixed-Sound, Multi-Entity, Off-Screen). Bemerkenswerterweise verdoppelte es nahezu die Leistung vorheriger Modelle auf dem AVATAR-Benchmark (z. B. Erreichen von ~27,6% CIoU im Vergleich zu ~13,4% des bisher besten TAVLO). Es übertraf Baselines selbst dann, wenn diese mit höheren Bildraten arbeiteten.
AVSBench: Auf den Single-Source (S4) und Multi-Source (MS3) Testsets erreichte LAIP die besten F-Scores mit großem Abstand sowie die beste Mask-IoU auf dem anspruchsvollen MS3-Split.
ADE-SP: Das Modell übertraf alle Baselines, einschließlich derer, die explizit für sound-prompted Segmentation entwickelt wurden (z. B. TACO, DenseAV), und erreichte 33,35 m-IoU und 53,57 mAP.
Ablationsstudien: Experimente bestätigten die Notwendigkeit des hierarchischen Pooling-Designs, der Multi-Resolution-Regularisierung und des Null-Token-Mechanismus. Das Ersetzen des hierarchischen AiSP durch eine einzelne Attention-Schicht oder die Verwendung von Features aus der finalen Encoder-Schicht führte zu signifikanten Leistungsabfällen.

Bedeutung und Behauptungen

Das Paper behauptet, dass eine genaue Lokalisierung von Schallquellen nicht auf kleinen, kuratierten Datensätzen von Grund auf neu gelernt werden muss. Stattdessen kann sie aus bestehenden groß angelegten Retrieval-Repräsentationen "freigeschaltet" werden. Durch das Eingreifen vor der finalen Aggregationsstufe eines Retrieval-Backbones bietet die Arbeit der Autoren einen einheitlichen Weg sowohl für Retrieval- als auch für Lokalisationsaufgaben.

Die Arbeit hebt hervor, dass während Retrieval-Modelle die räumliche Information komprimieren, die intermediären Schichten genügend Struktur enthalten, die mittels eines audio-informierten Pooling-Mechanismus wiederhergestellt werden kann. Dieser Ansatz bietet ein praktisches Regime für AV-SSL, das die Kosten für dichte Annotationen vermeidet und gleichzeitig den semantischen Reichtum massiver Vortrainings nutzt.

Einschränkungen: Die Autoren weisen auf eine Einschränkung hinsichtlich der skalierbaren Abfrage (Scalable Retrieval) hin. Da die visuellen Features in LAIP von der Eingabe-Audio abhängig sind, können Video-Repräsentationen nicht unabhängig von der Query vorgefertigt werden. Während das ursprüngliche PE-AV-Modell weiterhin für Standard-Retrieval genutzt werden kann, erfordert die LAIP-verbesserte Pipeline die Neuberechnung des Video-Encoders für jedes Audio-Video-Paar, was für groß angelegte Retrieval-Systeme rechnerisch unpraktikabel ist. Zukünftige Arbeiten werden vorgeschlagen, um skalierbares Retrieval unter Beibehaltung der Lokalisationsvorteile wiederherzustellen.