AV-Master: Dual-Path Comprehensive Perception Makes Better Audio-Visual Question Answering

1. Probleemstelling

Audio-Visual Question Answering (AVQA) vereist dat modellen redeneren over complexe audio-visuele scènes om diverse vragen te beantwoorden. Bestaande methoden kampen met twee fundamentele beperkingen:

1. Temporele redundantie en fragmentatie: Huidige bemonsteringsmethoden gebruiken óf discrete selectie (bijv. uniform of top-k), wat het risico met zich meebrengt om subtiele temporele aanwijzingen te verliezen en hallucinaties te veroorzaken, óf continue dichte bemonstering, wat aanzienlijke redundantie introduceert en de redeneer-efficiëntie belemmert.
2. Ondynamische modale afhankelijkheid: De meeste modellen behandelen audio en visuele modaliteiten als complementair of fuseren ze voordat ze hun belangrijkheid beoordelen. Ze falen in het dynamisch identificeren welke modale (audio, visueel of gecombineerd) dominant is voor een specifieke vraag. Bestaande strategieën voor modale weging vinden vaak na multimodale verstrengeling plaats, waardoor het moeilijk is om vraag-relevante unimodale bewijslast expliciet te versterken.

2. Methodologie: AV-Master

De auteurs stellen AV-Master voor, een nieuw kader met een architectuur voor Dual-Path Collaborative Learning. Het bestaat uit twee parallelle paden die interageren om het uiteindelijke antwoord te produceren:

A. Temporal Dynamic Perception Path (TDPP)

Dit pad richt zich op het extraheren van fijnmazige, vraag-relevante temporele bewijslast uit redundante streams.

• Dynamic Adaptive Focus Sampling: In plaats van vaste bemonstering, gebruikt het model vooraf gedefinieerde templates ($A_{cls}, V_{cls}$) die iteratief worden bijgewerkt van tijdstap $0$ tot $T$.
  • Het maakt gebruik van Self-Attention Blocks (SAB) met leerbare biases om belangrijke regio's met significante variaties te benadrukken.
  • Het gebruikt Cross-Attention Blocks (CAB) om te interageren tussen de kenmerken van het huidige frame en de geaccumuleerde template-kenmerken.
  • Dit proces verfijnt grove kenmerken progressief tot fijnmazige "focus-kenmerken" ($\tilde{F}_v, \tilde{F}_a$) die de meest relevante segmenten vastleggen.
• Audio-Visual Key Fusion: De verfijnde focus-kenmerken worden gefuseerd met woordniveau-vraagkenmerken via een multimodale decoder om een verfijnd semantisch anker ($F_{fu}$) te creëren.

B. Global Preference Activation Path (GPAP)

Dit pad adresseert de vraag-geconditioneerde modale afhankelijkheid door modaliteiten voor fusie te ontkoppelen.

• Independent Preference Modeling: Het verwerkt visuele en audio-kenmerken onafhankelijk met Self-Attention en Cross-Attention (geleid door de vraag) om Visual Preference Features ($F^p_v$) en Audio Preference Features ($F^p_a$) te genereren.
• Global Activation: Deze kenmerken vertegenwoordigen de globale bias van het model naar een specifieke modale voor de gegeven vraag, en bieden een aanvullend perspectief dat de fijnmazige temporele aanwijzingen van de TDPP aanvult.

C. Optimalisatiestrategie

Het model wordt getraind met een Dual-Path Contrastive Loss naast standaard voorspellingsverliezen:

1. Answer Loss ($L_{qa}$): Standaard cross-entropy verlies voor de uiteindelijke antwoordvoorspelling vanuit het gefuseerde pad.
2. Preference Losses ($L^p_v, L^p_a$): Verliezen berekend vanuit de onafhankelijke audio- en visuele decoders om ervoor te zorgen dat elke modale zijn specifieke voorspellingscapaciteit leert.
3. Contrastive Loss ($L_c$): Een nieuw verlies dat de gelijkenis maximaliseert tussen het gefuseerde kenmerk ($F_{fu}$) en de preferentiekenmerken ($F^p_v, F^p_a$) van het positieve voorbeeld, terwijl de gelijkenis met negatieve voorbeelden wordt geminimaliseerd. Dit dwingt consistentie af tussen de temporele dynamische perceptie en de globale preferentie-activatie.

3. Belangrijkste Bijdragen

1. Dual-Path Architectuur: Een unificerend kader dat Temporal Dynamic Perception (voor fijnmazige lokalisatie) en Global Preference Activation (voor modale selectie) combineert, en tegelijkertijd zowel temporele redundantie als modale onbalans aanpakt.
2. Dynamic Adaptive Focus Sampling: Een mechanisme dat de voordelen van discrete en continue bemonstering combineert. Het gebruikt iteratieve template-updates met leerbare biases om kritieke informatie progressief te extraheren terwijl redundantie wordt onderdrukt.
3. Pre-Entanglement Modale Modellering: In tegenstelling tot eerdere methoden die modaliteiten wegen na fusie, modelleert AV-Master modale voorkeuren direct vanuit initiële unimodale representaties, wat zorgt voor explicietere en effectievere vraag-geconditioneerde begeleiding.
4. Dual-Path Contrastive Learning: Een trainingsdoel dat het fijnmazige temporele pad aligneert met het globale preferentiepad, waardoor het onderscheidend vermogen en de stabiliteit van het model worden versterkt.

4. Experimentele Resultaten

Het model werd geëvalueerd op vier grote benchmarks: MUSIC-AVQA, MUSIC-AVQA-R, MUSIC-AVQA-v2.0, en AVQA.

• State-of-the-Art Prestaties: AV-Master behaalde 78,51% nauwkeurigheid op MUSIC-AVQA, wat de vorige SOTA (QA-TIGER, 77,62%) overtreft. Het toonde bijzonder sterke winsten in complexe redeneertaken zoals tellen (bijv. +2,16% op A-Counting).
• Robuustheid: Op de op robuustheid gerichte MUSIC-AVQA-R dataset (met herschreven vragen en lange-staartverdelingen) behaalde AV-Master 71,19%, een verbetering van +3,20% ten opzichte van de vorige beste, wat superieure generalisatie aantoont voor diverse vraagformuleringen.
• Efficiëntie versus Prestaties:
  • AV-Master gebruikt 34M parameters, aanzienlijk minder dan QA-TIGER (63M) en grote voorgeïmplementeerde modellen (bijv. 7B-13B parameters).
  • Het bereikt een hogere nauwkeurigheid dan op pre-training gebaseerde methoden (zoals VideoLLaMa, AVicuna) in zero-shot settings en concurreert gunstig met fijngefineerde grote modellen, ondanks een veel kleiner footprint.
• Ablatiestudies:
  • Het verwijderen van de TDPP veroorzaakte de grootste prestatiedaling, wat de belangrijkheid van fijnmazige temporele perceptie bevestigt.
  • Het verwijderen van de GPAP verlaagde de prestaties aanzienlijk, wat de noodzaak van globale modale voorkeursmodellering valideert.
  • De dual-path contrastive loss bleek cruciaal voor het leren van onderscheidende cross-modale representaties.

5. Betekenis

• Architecturale Innovatie: AV-Master verschuift het paradigma van "aggregeer-then-redeneer" naar "perceptie-then-activeren", en bewijst dat expliciete modellering van temporele focus en modale voorkeur voor diepe fusie superieure redeneercapaciteiten oplevert.
• Ressource-efficiëntie: Het demonstreert dat zorgvuldig ontworpen inductieve biases (dual-path, adaptieve bemonstering) massaal voorgeïmplementeerde modellen kunnen overtreffen in specifieke domeinen (AVQA) zonder dat er miljarden parameters of massieve pre-training datasets nodig zijn.
• Praktische Toepassing: Het vermogen van het model om om te gaan met redundante data en zich aan te passen aan variërende modale belangrijkheid, maakt het zeer geschikt voor real-world scenario's met complexe, dynamische audio-visuele omgevingen waar precieze temporele lokalisatie en modale selectie cruciaal zijn.