⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

Dit artikel introduceert LAIP, een framework dat intermediaire visuele tokens en audio-geïnformeerde ruimtelijke pooling benut om fijnmazige ruimtelijke grondingseigenschappen te ontsluiten uit grootschalige audio-visuele retrievalmodellen zonder dat daar pixelniveau-toezicht voor nodig is, waarmee de state-of-the-art prestaties op lokalisatiebenchmarks wordt bereikt.

Oorspronkelijke auteurs: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Gepubliceerd 2026-07-29

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de wereld te begrijpen, niet alleen door ernaar te kijken, maar ook door ernaar te luisteren. Dit is de wereld van audio-visueel leren, een tak van kunstmatige intelligentie waarbij computers proberen te ontdekken hoe geluid en zicht met elkaar verbonden zijn. Denk aan een detective die niet alleen een plaats delict ziet, maar ook sirenes, brekend glas en geschreeuw hoort, om zo te proberen te achterhalen waar het geluid precies vandaan kwam.

Lamaag probeerden wetenschappers robots dit te leren, was het alsof je een huis probeerde te bouwen zonder blauwdruk. Om een computer te leren precies aan te wijzen waar een geluid in een video vandaan komt, moet je meestal een mens vragen om een kader rond de geluidsbron op elk afzonderlijk frame van de video te tekenen. Dit wordt "dense spatial annotation" genoemd, en het is ongelooflijk tijdrovend, duur en traag. Het is alsoam met een vriend vragen om een uur lang een perfecte omtrek van elke vogel in een zwerm te tekenen. Omdat dit zo moeilijk is, waren de meeste onderzoekers gestrand op het gebruik van zwakke aanwijzingen, zoals alleen weten dat er een geluid in een video bestaat, zonder precies te weten waar het zich bevindt.

Onlangs hebben wetenschappers echter enorme "retrieval-modellen" gebouwd. Dit zijn superintelligente AI-systemen die getraind zijn op miljoenen video's en geluiden om vragen te beantwoorden als: "Zoek mij de videoclip die bij dit audiofragment past." Ze zijn uitstekend in het matchen van de algemene sfeer van een geluid aan een hele video, maar ze zijn slecht in het aanwijzen van de specifie recente plek waar het geluid plaatsvindt. Ze zien het hele bos, maar missen de specifieke boom die het geluid maakt. De grote vraag was: Kunnen we deze gigantische, vooraf getrainde modellen die goed zijn in het vinden van video's, en ze op de een of andere manier in staat stellen om naar de exacte bron van een geluid te wijzen, zonder een leger mensen in te huren om kaders te tekenen?

Het Grote Idee van het Papier: Het Ontsluiten van de Verborgen Kaart

Het papier dat je leest, getiteld "Unlocking Spatial Grounding in Large Audio-Visual Retrieval models," zegt: Ja, dat kan. De auteurs, een team van onderzoekers uit Frankrijk, Meta en NVIDIA, ontdekten dat deze gigantische retrieval-modellen eigenlijk wel weten waar geluiden zijn, maar dat ze die informatie diep in hun brein verbergen voordat ze het weggooien.

Stel je een enorme bibliotheek voor (het retrieval-model) die miljoenen boeken (video's) heeft gelezen en miljoenen audioboeken (geluiden) heeft beluisterd. Wanneer je de bibliothecaris vraat: "Heb je een boek over een blaffende hond?", kan hij direct de juiste plank vinden. Maar als je vraagt: "Waar in de afbeelding van de hond zit de bek die blaft?", dan haalt de bibliothecaris meestal alleen zijn schouders op en zegt: "Ik weet alleen dat het een plaatje van een hond is."

De auteurs realiseerden zich dat de bibliothecaris niet werkelijk onwetend is. De bibliothecaris heeft in zijn hoofd een gedetailleerde kaart van de bek van de hond, maar hij gooit die kaart weg op het moment dat hij besluit je een simpel "Ja, ik heb een hondboek" antwoord te geven. Het papier introduceert een slimme truc genaamd LAIP (Localization via Audio-Informed Pooling) om die kaart te vangen voordat deze wordt weggegooid.

Hoe LAIP werkt: De Audio-detective

De kern van hun methode is een nieuwe module die ze Audio-informed Spatial Pooling (AiSP) noemen. Hier is hoe het werkt in gewone mensentaal:

De Opzet: De AI kijkt frame voor frame naar een video. Binnen de AI zijn duizenden kleine "tokens" (kleine stukjes data) die verschillende delen van de afbeelding vertegenwoordigen. Meestal perst de AI al deze kleine stukjes samen tot één gigantisch samenvattend token om te beslissen of de video bij het geluid past. Dit is alsof je een hele pizza in één grote bal deeg perst om te zien of hij naar pepperoni smaakt. Je verliest de locatie van de pepperoni-schijfjes.
De Interventie: In plaats van de AI alles direct samen te persen, plaatsen de auteurs een "stopbord" vlak voor de definitieve samenvatting. Ze nemen de audio (het geluid van het blaffen) en gebruiken deze als een query.
De Magie: Ze vragen aan de audio: "Hé, met welke van deze kleine beeldstukjes ben je aan het praten?" De audio werkt als een zaklamp die schijnt op de specifieke beeldtokens die overeenkomen met het geluid. De AI verzamelt vervolgens alleen die relevante stukjes in een nieuwe samenvatting.
Het Resultaat: Omdat de AI werd gedwongen om aandacht te besteden aan de specifieke delen van de afbeelding die bij het geluid passen, leert hij per ongeluk een kaart te tekenen van waar het geluid vandaan komt. Het is alsof de bibliothecaris, in plaats van je alleen het boek te geven, ook de exacte pagina en paragraaf moet aanwijzen waar het woord "blaf" staat, om te bewijzen dat hij het juiste boek heeft gevonden.

Wat ze vonden

De resultaten zijn verrassend sterk. De auteurs hebben hun methode getest op drie verschillende benchmarks (standaardtesten voor AI):

AVATAR: Op deze test, die geluiden zoekt in complexe, bewegende video's, verdubbelde hun methode bijna de prestaties van de vorige beste modellen. Ze sprongen van een score van ongeveer 13-14% naar 27,63% (CIoU) en 27,77% (AUC).
AVSBench: Ze behaalden ook de beste scores op deze test, met een F-score van 65,18 voor geluiden met één bron, waarmee ze de vorige beste score van 45,33 versloegen.
ADE-SP: Ze verpletterden de concurrentie hier ook, met een score van 33,35 m-IoU en 53,57 mAP.

Het papier suggereert dat dit werkt omdat de gigantische retrieval-modellen al getraind zijn op enorme hoeveelheden data, waardoor ze rijke verbindingen hebben geleerd tussen geluid en zicht. De auteurs hoefden de AI niet vanaf nul te leren wat een hond of een auto is; ze hoefden hem alleen maar te leren hoe hij naar het juiste deel van de afbeelding moet kijken wanneer hij het geluid hoort.

Wat ze uitsloten

De auteurs waren zorgvuldig in het laten zien wat niet werkt. Ze probeerden een paar andere ideeën en vonden deze ontoereikend:

Alleen de laatste laag gebruiken: Als je dit probeert te doen aan het einde van de verwerking van de AI (nadat de afbeelding al is samengeperst tot één enkele brok), faalt het. De ruimtelijke details zijn dan verdwenen. Je moet dit in de middelste lagen doen, waar de afbeelding nog gedetailleerd is.
Eenvoudige aandacht (Simple attention): Alleen de AI vragen om één keer naar de afbeelding te kijken is niet genoeg. Ze ontdekten dat een hiërarchische aanpak (het doen in stappen, zoals inzoomen van een breed beeld naar een close-up) noodzakelijk is.
Gradiëntkaarten: Ze probeerden standaard wiskundige trucs te gebruiken om te zien waar de AI naar keek (genaamd gradiënt-gebaseerde kaarten), maar die waren erg slecht in het vinden van het geluid en scoorden slechts 4,14 vergeleken met hun 26,22. Dit bewijst dat hun specifieke methode van "pooling" het verschil maakt, en niet alleen het kijken naar de interne wiskunde van de AI.

De Addertjes onder het gras (Beperkingen)

Het papier is eerlijk over een beperking. Hoewel deze methode de AI erg goed maakt in het vinden van waar een geluid is, maakt het het de AI iets moeilijker om diezelfde AI te gebruiken voor de oorspronkelijke taak: het snel vinden van video's. Omdat de AI nu naar het geluid moet kijken om te beslissen welk deel van de video hij moet focussen, kun je de "vingerafdruk" van de video niet vooraf berekenen en opslaan in een database voor instant zoeken. Je moet het elke keer opnieuw berekenen wanneer je een vraag stelt. De auteurs merken op dat het originele retrieval-model nog steeds prima werkt voor het zoeken, maar de nieuwe "localizer"-versie is iets trager voor enorme databases.

De Kernboodschap

Kortom, dit papier bewijst dat je geen nieuwe AI vanaf nul hoeft te bouwen om geluidsbronnen te vinden. Je kunt een gigantische, vooraf getrainde AI nemen die al goed is in het matchen van geluiden aan video's, en met een slimme toevoeging (LAIP), kun je haar verborgen vermogen ontgrendelen om precies aan te wijzen waar het lawaai vandaan komt. Het is een herinnering dat het antwoord soms niet is om een groter brein te bouwen, maar om het bestaande brein te leren hoe het aandacht kan schenken aan de juiste details.

Technische Samenvatting: Het ontsluiten van ruimtelijke gronding in grote audio-visuele retrieval-modellen

Probleemstelling

Audio-visuele geluidsbronlokalisatie (AV-SSL) streeft naar het identificeren van de ruimtelijke regio's binnen een videokader die overeenkomen met een gesynchroniseerd audiosignaal. Deze taak is inherent uitdagend vanwege de schaarste aan geluidsbronnen in dichte, complexe visuele scènes. Een primaire flessenhals is het gebrek aan dichte ruimtelijke annotaties (pixel-niveau maskers) die vereist zijn voor supervised training, aangezien het creëren hiervan voor lange videoclips evenredig duur is. Bijgevolg heeft het vakgebied vertrouwd op zwak gesuperviseerde methoden die alleen gebruikmaken van temporeel uitgelijnde audio-video paren.

Hoewel grootschalige contrastieve pretraining krachtige multimodale retrieval-modellen (bijv. PE-AV) heeft voortgebracht die globale embeddings van audio en video op elkaar afstemmen, zijn deze modellen geoptimaliseerd voor globale matching in plaats van lokale ruimtelijke correspondentie. In standaard retrieval-architecturen gaat dichte ruimtelijke informatie geleidelijk verloren door globale pooling-mechanismen in de hogere lagen van de backbone, wat resulteert in frame- en videofeatures die de granulariteit missen die vereist is voor precieze lokalisatie. De centrale vraag die dit werk adresseert is of deze grootschalige retrieval-modellen, die inherent ruimtelijke details weggooien, kunnen worden aangepast om fijne ruimtelijke gronding te herstellen met behulp van alleen zwakke supervisie.

Methodologie: LAIP-framework

De auteurs stellen LAIP (Localization via Audio-Informed Pooling) voor, een framework dat is ontworpen om temporeel uitgelijnde audio-informatie in de visuele backbone van een pretraind retrieval-model te injecteren vóór de temporele aggregatie.

Kernarchitectuur

LAIP werkt op een grootschalige retrieval-backbone (specifiek PE-AV), die bestaat uit audio-, frame- en video-encoders. In plaats van een lokalisatiemodel vanaf nul te trainen of een zware 'head' aan bevroren features te koppelen, wijzigt LAIP de interface tussen de frame-encoder en de video-encoder.

Extractie van intermediaire features: Erkennend dat ruimtelijke details worden onderdrukt in de laatste lagen van de frame-encoder, extraheert LAIP intermediaire visuele tokens ( $V_t^\ell$ ) uit een eerdere laag (specifiek de 16e laag van een 24-laagse encoder).
Audio-visuele uitlijning: Omdat audio en video op verschillende temporele resoluties werken, stemt een lichtgewicht lokale aggregator (een 1D convolutioneel netwerk gevolgd door temporele gemiddelde pooling) de audiostroom af op de video frame-rate, waardoor een gesynchroniseerde audio-embedding $a_t$ voor elk frame wordt geproduceerd.
Audio-informed Spatial Pooling (AiSP): De kerninnovatie is de AiSP-module, die de standaard globale aggregatie vervangt. Het maakt gebruik van een hiërarchisch ontwerp bestaande uit drie gestapelde AiSP-lagen, elk gevolgd door een lichtgewicht convolutioneel adaptatieblok.
- Mechanisme: In elke fase fungeert de audio-token als een query om aandacht te schenken aan ruimtelijke visuele tokens. De attention weights vormen een segmentatiekaart, en de visuele tokens worden gepooled binnen lokale ruimtelijke blokken ( $K \times K$ ), gewogen door deze attention scores.
- Null-token: Om gevallen af te handelen waarin de audio niet overeenkomt met een zichtbaar object (bijv. geluiden buiten het beeld), wordt een leerbaar null-token ( $x_\emptyset$ ) toegevoegd aan de keys. Dit stelt de audio-query in staat om zich te "onthouden" van het selecteren van visuele tokens als er geen relevant geluidsbron aanwezig is.
- Progressieve verfijning: De hiërarchische stapeling vermindert progressief de ruimtelijke resolutie van de visuele tokens en comprimeert deze tot een enkele audio-geconditioneerde visuele token ( $\tilde{c}_t$ ) die compatibel is met de oorspronkelijke video-encoder.

Trainingsdoel

Het model wordt getraind met een globale contrastieve doelstelling geïnspireerd door SigLIP en FLAIR, aangepast voor het audio-visuele domein:

Contrastieve Loss ( $L_{SIG}$ ): De gepoolde video-representatie (gegenereerd via LAIP) wordt uitgelijnd met de globale audio [CLS] token met behulp van een sigmoid-gebaseerde contrastieve loss. Negatieve paren worden gevormd door audio en video te mismatchen.
Multi-resolutie Regularisatie ( $L_{MRes}$ ): Om ervoor te zorgen dat de intermediaire attention maps ruimtelijk coherent zijn, dwingt een loss-term consistentie af tussen attention maps op verschillende pooling-stadia (door lagere-resolutie maps upsamplen om overeen te komen met hogere-resolutie maps).
Null-token Regularisatie ( $L_\emptyset$ ): Er wordt een straf toegepast op de aandacht die wordt besteed aan de null-token voor negatieve paren, wat het model aanmoedigt om zich te onthouden van het selecteren van visuele regio's wanneer er geen geluidsbron aanwezig is.
Adapters: Kleine adapters worden toegevoegd aan de MLP-blokken van de video-encoder om te voorkomen dat het model vervalt in het imiteren van de oorspronkelijke [CLS] token, terwijl de rest van de pretrainde gewichten bevroren blijven.

Belangrijkste Bijdragen

Exploitatie van Retrieval-representaties: De auteurs laten zien dat grootschalige audio-visuele retrieval-modellen, ondanks dat ze geoptimaliseerd zijn voor globale uitlijning, bruikbare gestructureerde ruimtelijke informatie behouden in intermediaire visuele tokens. Dit maakt lokalisatie mogelijk zonder dichte ruimtelijke annotaties.
Het LAIP-framework: Introductie van een lichtgewicht, audio-geïnformeerde architectuur die audio-queries injecteert in de visuele backbone vóór de video-pooling. Dit maakt sterke cross-modale synergie mogelijk terwijl de compatibiliteit met de pretrainde retrieval-pipeline behouden blijft.
Globale Supervisie voor Lokale Taken: Het werk toont aan dat een globale contrastieve doelstelling, wanneer gecombineerd met de specifieke architectuur (hiërarchische pooling) en regularisatie (multi-schaal consistentie en null-token afhandeling), voldoende is om rijke ruimtelijke audio-visuele representaties te leren.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: AVATAR, AVSBench en ADE-SP.

AVATAR Benchmark: LAIP bereikte state-of-the-art prestaties in alle vier de scenario's (single-sound, mixed-sound, multi-entity, off-screen). Opmerkelijk genoeg verdubbelde het bijna de prestaties van vorige modellen op de AVATAR benchmark (bijv. het bereiken van ~27,6% CIoU vergeleken met ~13,4% voor de vorige beste TAVLO). Het presteerde beter dan baselines, zelfs wanneer die baselines op hogere frame rates werkten.
AVSBench: Op de single-source (S4) en multi-source (MS3) testsets behaalde LAIP de beste F-scores met een grote marge en de beste mask-IoU op de uitdagende MS3 split.
ADE-SP: Het model presteerde beter dan alle baselines, inclusief degenen die expliciet zijn ontworpen voor sound-prompted segmentatie (bijv. TACO, DenseAV), waarbij het 33,35 m-IoU en 53,57 mAP behaalde.
Ablatie-studies: Experimenten bevestigden de noodzaak van het hiërarchische pooling-ontwerp, de multi-resolutie regularisatie en het null-token mechanisme. Het vervangen van de hiërarchische AiSP door een enkele attention layer of het gebruik van features uit de laatste encoder-laag resulteerde in aanzienlijke prestatieverliezen.

Betekenis en Claims

Het artikel claimt dat nauwkeurige lokalisatie van geluidsbronnen niet vanaf nul hoeft te worden geleerd op kleine, gecureerde datasets. In plaats daarvan kan het worden "ontsloten" uit bestaande grootschalige retrieval-representaties. Door in te grijpen vóór de laatste aggregatiefase van een retrieval-backbone, bieden de auteurs een verenigd pad voor zowel retrieval- als lokalisatietaken.

Het werk benadrukt dat hoewel retrieval-modellen ruimtelijke informatie comprimeren, de intermediaire lagen voldoende structuur bevatten om te worden hersteld via een audio-geïnformeerd pooling-mechanisme. Deze aanpak biedt een praktisch regime voor AV-SSL dat de kosten van dichte annotatie vermijdt terwijl het profiteert van de semantische rijkdom van massale pretraining.

Beperkingen: De auteurs merken een beperking op met betrekking tot schaalbare retrieval. Omdat de visuele features in LAIP geconditioneerd zijn op de input-audio, kunnen video-representaties niet onafhankelijk van de query worden vooraf berekend. Hoewel het oorspronkelijke PE-AV model nog steeds gebruikt kan worden voor standaard retrieval, vereist de LAIP-verbeterde pipeline het opnieuw berekenen van de video-encoder voor elk audio-video paar, wat computationeel onpraktisch is voor grootschalige retrieval-systemen. Toekomstig werk wordt gesuggereerd om schaalbare retrieval te herstellen terwijl de voordelen van lokalisatie behouden blijven.