AV-Unified: A Unified Framework for Audio-visual Scene Understanding

Deze paper introduceert AV-Unified, een unificerend framework dat diverse audio-visuele taken zoals gebeurtenislocalisatie en vraagbeantwoording combineert door inputs en outputs te standaardiseren als discrete tokens en gebruik te maken van multi-schaal ruimtetijdbewaking en kruismodale begeleiding voor een alomvattend begrip van complexe scènes.

De kern

AV-Unified: De "Zesde Zintuig" voor Computers

Stel je voor dat je naar een drukke markt luistert terwijl je rondkijkt. Je hoort de visser die schreeuwt, ziet de vis die springt, en je hoort de muziek van een straatorkest. Je hersenen doen dit allemaal tegelijk: ze koppelen het geluid van de visser aan zijn mond, weten dat de muziek van het orkest komt en niet van de vis, en begrijpen dat de muziek begint op het moment dat de dirigent zwaait.

Voor computers is dit echter een nachtmerrie. Tot nu toe waren computerprogramma's gespecialiseerd in één ding. Er was een programma dat alleen kon zeggen wanneer er geluid was (tijdslokaliseren), een ander dat alleen kon zeggen waar het geluid vandaan kwam (ruimtelijke lokalisatie), en weer een ander dat alleen vragen kon beantwoorden over wat er gebeurde. Het was alsof je drie verschillende mensen nodig had om één scène te begrijpen: één die alleen naar de klok kijkt, één die alleen naar de kaart kijkt, en één die alleen luistert. Ze werkten niet samen.

De Oplossing: AV-Unified

De auteurs van dit paper (Guangyao Li, Xin Wang en Wenwu Zhu) hebben een nieuwe manier bedacht: AV-Unified. Dit is als het creëren van een "Zesde Zintuig" voor computers. In plaats van drie aparte mensen, hebben ze één super-intelligente assistent gebouwd die alles tegelijk kan doen.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Universele Vertaler (Sequentie-naar-Sequentie)

Stel je voor dat elke taak (zoals "vind het geluid" of "vraag een vraag") een eigen taal spreekt. De ene spreekt "tijdscode", de andere "kaartcoördinaten". AV-Unified is als een meestervertaler die alle talen naar één universele taal omzet: tekst en symbolen.

Of je nu vraagt "Wanneer begint de muziek?" of "Waar zit de trompet?", het computermodel zet alles om in een rijtje woorden en symbolen (tokens). Hierdoor hoeft het maar één brein te hebben om alle vragen te beantwoorden, in plaats van twintig verschillende hersenen.

2. De Tijd- en Ruimte-Bril (MS-STPM)

Het grootste probleem voor computers is dat geluid en beeld niet altijd op hetzelfde moment of dezelfde schaal gebeuren.

• Tijdsprobleem: Soms duurt een geluid een fractie van een seconde (een knal), soms minuten (een symfonie).
• Ruimtelijk probleem: Soms is het moeilijk om te weten welk beeld bij welk geluid hoort (bijvoorbeeld: is dat geluid van de trompet links of rechts?).

AV-Unified gebruikt twee speciale brillen om dit op te lossen:

• De Meerdere-Schaal Tijd-Bril: Deze bril kijkt niet alleen naar één seconde, maar kan zowel naar een snelle flits als naar een langdurige gebeurtenis kijken. Het is alsof je een camera hebt die zowel in slow-motion als in time-lapse kan filmen, zodat je niets mist.
• De Kruis-Modale Gids: Deze bril helpt het beeld en het geluid om elkaar te vinden. Als de computer een geluid hoort, helpt deze bril het beeld te scannen om te zien welk object dat geluid maakt. Het is alsof een detective die zegt: "Ik hoor een hoorn, dus ik zoek in het beeld naar een hoorn, niet naar een auto."

3. De Slimme Vraagsteller (Task-Prompts)

Soms is het lastig voor een computer om te weten wat je precies wilt. Wil je een lijst met tijden, of een tekening van waar het geluid vandaan komt?
AV-Unified gebruikt speciale aanwijzingen (prompts). Dit zijn als het ware instructies die je aan de computer geeft, zoals: "Kijk nu vooral naar de tijd" of "Kijk nu vooral naar de locatie".
Dit zorgt ervoor dat de computer zijn aandacht richt op het juiste deel van de informatie, net zoals jij je aandacht richt op de tekst als je een vraag beantwoordt, en op de muziek als je een liedje zingt.

Waarom is dit zo belangrijk?

Vroeger moest je voor elke nieuwe taak een nieuw model trainen. Dat kostte veel tijd, rekenkracht en data. Met AV-Unified kun je één model trainen dat alles kan:

• Het kan zeggen wanneer iets gebeurt (Tijdslokaliseren).
• Het kan zeggen waar iets gebeurt (Ruimtelijke lokalisatie).
• Het kan vragen beantwoorden over wat er gebeurt (Redeneren).
• Het kan zelfs schilderen (segmentatie) van het object dat geluid maakt.

Het Resultaat:
In tests op verschillende datasets (zoals films met muziek, dieren en voertuigen) bleek dat AV-Unified beter presteerde dan de oude, gespecialiseerde modellen. Het begrijpt de wereld niet als losse puzzelstukjes, maar als één samenhangend verhaal, precies zoals wij mensen dat doen.

Kortom:
AV-Unified is de eerste stap naar een computer die niet alleen "luistert" of "kijkt", maar echt ervaart wat er in een video gebeurt, door geluid en beeld naadloos met elkaar te verbinden. Het is alsof we aan de computer eindelijk de natuurlijke menselijke vaardigheid hebben gegeven om een scène in één oogopslag te doorgronden.

Technische samenvatting

Probleemstelling

Bestaande systemen voor het begrijpen van audio-visuele scènes worden momenteel voornamelijk ontwikkeld voor individuele taken, zoals het lokaliseren van gebeurtenissen (event localization), het parseren van video's, het segmenteren van geluidsbronnen (sound source segmentation) en het beantwoorden van vragen (question answering). Deze aanpak heeft twee belangrijke beperkingen:

1. Gebrek aan integratie: Mensen waarnemen de wereld niet door scènes op te splitsen in losse subtaken, maar vormen een geïntegreerd begrip. Huidige modellen missen de mogelijkheid om inter-taken relaties te leren en te benutten.
2. Complexiteit van multimodale data: Het unificeren van taken is uitdagend vanwege de diverse input/output-formaten (tijdsreeksen, pixel-masks, tekst) en de variërende temporele granulariteit van gebeurtenissen. Bovendien ontbreekt er vaak toezicht (supervisie) om visuele objecten direct te koppelen aan geluid, wat het leren van ruimtelijke associaties bemoeilijkt.

Methodologie: AV-Unified

De auteurs stellen AV-Unified voor, een unificerend raamwerk dat een breed scala aan audio-visuele taken leert via een gedeelde architectuur. Het systeem werkt volgens een sequence-to-sequence paradigma, waarbij alle inputs en outputs worden omgezet in sequenties van discrete tokens.

De kernarchitectuur bestaat uit de volgende componenten:

1. Unificatie van Representaties:

   • Video en audio worden opgesplitst in segmenten (bijv. per seconde).
   • Visuele frames worden verwerkt via een pre-getrainde CLIP-modell (ViT), en audio via VGGish.
   • Tekst-prompts (taalspecifiek) worden getokeniseerd.
   • Alle modaliteiten worden omgezet in een uniforme token-sequentie, waardoor één enkel model alle taken kan verwerken zonder taalspecifieke takken.

2. Multi-Scale Spatio-Temporal Perception Model (MS-STPM):
   Dit is het centrale module om de complexe relaties tussen audio en visie te modelleren:

   • Temporele Perceptie Module (TPM): Ontworpen om gebeurtenissen met verschillende duur en schaal te vangen. Het gebruikt een multi-scale venster-attentie-mechanisme (zoals een gestapelde shifted-window Transformer) om zowel fijne als grove temporele afhankelijkheden te leren.
   • Ruimtelijke Perceptie Module (SPM): Lost het probleem op van het ontbreken van toezicht voor ruimtelijke audio-visuele koppelingen. Deze module gebruikt cross-modal guided attention: audio-features sturen de verfijning van visuele patch-features en vice versa. Dit helpt het model om te begrijpen welk visueel object het geluid produceert, zelfs zonder expliciete bounding box-labels voor elke stap.

3. Task-Prompt Guided Learning Module (TPGL):
   Omdat verschillende taken (bijv. tijdslokaliseren vs. pixel-segmentatie) verschillende kenmerken nodig hebben, worden taalspecifieke tekst-prompten gebruikt. Deze prompts fungeren als query's in een attention-mechanisme om het model te sturen naar de meest relevante features (temporeel of ruimtelijk) voor de specifieke taak.

4. Trainingsstrategie:
   Het model wordt getraind op een mix van benchmark datasets (AVE, LLP, VGG-SS, AVS, MUSIC-AVQA) via een batch-wise sampling strategie om "catastrophic forgetting" te voorkomen. De loss wordt berekend op basis van de specifieke taak van de batch.

Belangrijkste Bijdragen

• Unificatie van Taken: De eerste framework die klassieke audio-visuele taken (temporele lokaliseren, ruimtelijke lokaliseren, pixel-level segmentatie en spatiotemporele redenering) unificeert in één sequence-to-sequence model met gedeelde parameters.
• MS-STPM Architectuur: Een nieuw module dat effectief multi-scale temporele gebeurtenissen vastlegt en sterke ruimtelijke audio-visuele associaties modelleert zonder afhankelijkheid van externe object-detectoren die vaak falen bij zeldzame objecten.
• Prompt-Gedreven Adaptiviteit: Een mechanisme dat het model toelaat om dynamisch te schakelen tussen verschillende taak-specifieke representaties via tekst-prompten.
• Uitgebreide Validatie: Het framework is getest op vijf verschillende benchmark datasets, wat bewijst dat het effectief is voor temporele, ruimtelijke en spatiotemporele taken.

Resultaten

Uitgebreide experimenten tonen aan dat AV-Unified presteert op of boven het niveau van state-of-the-art methoden op meerdere datasets:

• Temporele Taken (AVE & LLP): Verbetering van 1.3% op de AVE-taken en consistente verbeteringen op de LLP-dataset voor zowel segment- als event-niveau.
• Ruimtelijke Taken (VGG-SS & AVS): Het model bereikte de beste resultaten voor Sound Source Localization (VGG-SS) en verbeterde de mIoU en F-score voor Audio-Visual Segmentation (AVS), zelfs in multi-task settings.
• Spatiotemporele Redenering (MUSIC-AVQA): Het model toonde aanzienlijke verbeteringen in complexe redeneertaken (zoals tellen, lokaliseren en vergelijken), wat aantoont dat gezamenlijk leren helpt bij het begrijpen van complexe relaties.
• Ablatie Studies: Verwijdering van de MS-STPM-modules of de task-prompt leidde tot significante prestatiedalingen, wat de noodzaak van deze componenten bevestigt.

Betekenis en Impact

AV-Unified markeert een belangrijke stap in de evolutie van multimodale AI. In plaats van gespecialiseerde modellen voor elke subtaak te bouwen, biedt het een schaalbare, generieke architectuur die de menselijke manier van waarnemen (geïntegreerd en contextueel) nabootst.

• Efficiëntie: Het elimineert de noodzaak om aparte modellen te trainen voor elke taak, wat rekenkracht en opslag bespaart.
• Generalisatie: Door expliciet de intrinsieke relaties tussen audio en visie te modelleren, kan het model beter omgaan met complexe, real-world scènes waar geluid en beeld onlosmakelijk verbonden zijn.
• Toekomstperspectief: Hoewel er nog ruimte is voor verbetering bij zeer specifieke, moeilijke subtaken (voornamelijk door beperkingen in data-sampling en de complexiteit van cross-task optimalisatie), legt dit werk de basis voor toekomstige, nog bredere unificatie van multimodale taken.