Technische Samenvatting: UniMVU – Instructie-bewuste Gating voor Multimodaal Video-Verstehen

1. Probleemstelling

Vooraf getrainde Video Large Language Models (Video LLM's) hebben sterke capaciteiten aangetoond in visueel redeneren met RGB-frames en tekstinstructies. Ze staan echter voor aanzienlijke uitdagingen bij het verwerken van video's die worden begeleid door auxiliaire streams zoals audio, dieptekaarten of dichte temporele bewijzen.

Het kernprobleem dat is geïdentificeerd, is modale interferentie. In huidige benaderingen worden auxiliaire streams vaak uniform gefuseerd of toegevoegd als extra tokens. Deze statische fusiestrategie gaat uit van een vaste belangrijkheid voor elke modale, en houdt geen rekening met het feit dat de relevantie van een modale vraag-afhankelijk is. Zo is audio cruciaal voor vragen over spraak of instrumenten, maar fungeert het als ruis voor kleurenherskenning; dieptecues zijn essentieel voor ruimtelijke indeling maar overbodig voor vragen die draaien om uiterlijk. Uniforme fusie laat irrelevante kanalen toe om het model af te leiden, wat leidt tot suboptimale prestaties. Bestaande methoden vertrouwen vaak op impliciete decoder-attention of taakspecifieke interactiemodules die niet expliciet ingaan op de dubbele vragen welke tokens binnen een stream moeten worden benadrukt en welke stream prioriteit moet krijgen, gebaseerd op de specifieke instructie.

2. Methodologie: UniMVU

De auteurs stellen UniMVU voor, een unificerend multimodaal video-verstehkader dat is ontworpen om instructie-bewuste fusie uit te voeren over diverse modaliteiten (video, audio, diepte/3D, dichte temporele data) voordat de LLM-decodering plaatsvindt. Het kader maakt gebruik van een tweeledig dynamisch gatingmechanisme dat is gekoppeld aan de tekstinstructie.

Overzicht van de Architectuur

UniMVU integreert modale-specifieke encoders en projectoren met een Modale Gebalanceerde Fusie-blok, gevolgd door een bevroren of LoRA-geadaptede LLM. Het fusieblok bestaat uit drie hoofdbestanddelen:

1. Unificer Tokensequentie & Cross-Modale Zelf-Attention:

   • Alle invoer (video, audio, diepte, enz.) wordt geprojecteerd naar een gemeenschappelijke embeddingruimte en samengevoegd met tekstinstructietokens tot een unificer sequentie.
   • Een Cross-Modale Zelf-Attention-laag zorgt voor interacties tussen instructietokens en modale tokens. Cruciaal blijven instructietokens "onaangeraakt" (vervangen door originele embeddings na de laag) om te voorkomen dat ruisachtige modale kenmerken de instructierepresentatie verstoren. Dit zorgt voor een eenrichtingsinformatiestroom waarbij modaliteiten zijn gekoppeld aan de tekst.

2. Instructie-gedreven Inner-Modale Gating (Kenmerkniveau):

   • Deze module verfijnt de tokensequentie binnen elke modale.
   • Het maakt gebruik van de attentionkaart uit de cross-modale laag om de relevantie van elke token ten opzichte van de instructie te berekenen.
   • Attentionmassa van instructietokens naar contenttokens wordt geaggregeerd en genormaliseerd binnen elke modale om token-niveau gewichten ($w_{m,t}$) te produceren. Dit benadrukt saliente gebieden binnen een stream terwijl irrelevante worden onderdrukt.

3. Instructie-gedreven Modale-niveau Gating (Streamniveau):

   • Deze module kent een globale gewicht toe aan elke volledige modale stream.
   • Er wordt een Leerbaar Controletoken ($t_c$) geïntroduceerd voor elke modale om de inhoud van de stream te samenvatten.
   • De attention tussen instructietokens en deze controletokens genereert een scalair belangrijkheidsscore ($\eta_m$) voor elke modale.
   • Deze scores worden genormaliseerd om modale-niveau gatingcoëfficiënten ($\beta_m$) te produceren.

Fusiemechanisme:
De finale representatie voor een modale $m$ wordt berekend als een residuale verfijning:
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
Waar $O_m$ de output is van de zelf-attentionlaag. Dit ontwerp zorgt ervoor dat het originele bewijs behouden blijft (via het residu $O_m$), terwijl instructie-relevante tokens en streams worden versterkt. De gating fungeert als een zacht herkwalificerend signaal in plaats van een harde schakelaar, wat het risico verkleint dat potentieel bruikbaar bewijs wordt weggegooid.

Training & Schaalbaarheid:

• Modale encoders blijven bevroren; alleen projectoren, het fusieblok en LoRA-adapters in de LLM worden getraind.
• Het kader ondersteunt Unificer Multi-Taak Training, waarbij één checkpoint wordt getraind over diverse datasets (Audio-Visueel, 3D en Video QA) zonder taakspecifieke connectoren. Ontbrekende modaliteiten worden gemaskeerd en de gates worden opnieuw genormaliseerd over beschikbare streams.

3. Belangrijkste Bijdragen

• Unificer Kader: Eén enkel model dat in staat is om gemengde modale invoer te verwerken (video, audio, diepte/3D, dichte temporele data) en te generaliseren over diverse modale configuraties zonder handgemaakte fusieregels.
• Tweeledig Dynamisch Gating: Een instructie-gedreven mechanisme dat werkt op zowel het token-niveau (inner-modale) als het stream-niveau (modale-niveau) om de modale belangrijkheid adaptief te balanceren op basis van de vraag.
• Interpreteerbaarheid: Het gatingmechanisme sluit aan bij menselijk interpreteerbare modale relevantie (bijvoorbeeld audio opwaarderen voor akoestische vragen), waardoor een transparante beslissingsoppervlakte wordt geboden.
• Schaalbaarheid: De aanpak schaalt naar verschillende modelgroottes (0,5B en 7B) en ondersteunt unificer training over meerdere taakfamilies, waardoor de noodzaak voor aparte connectoren voor Audio-Visuele, 3D- of dichte-videotaken wordt geëlimineerd.

4. Experimentele Resultaten

De auteurs hebben UniMVU geëvalueerd op zes benchmarks: AVQA, AVSD, Music-AVQA (Audio-Visueel), ScanQA, SQA3D (3D) en MVBench (Video).

• Prestatiewinst: UniMVU presteert consequent beter dan statische-fusie-baselines (specifiek PAVE en LLaVA-OV varianten).
  • Op Music-AVQA behaalde UniMVU een verbetering van +4,6% in algehele nauwkeurigheid (0,5B) en +1,8% (7B) ten opzichte van PAVE.
  • Op AVSD behaalde het een winst van +12,2 punten in CIDEr (0,5B) en +13,5 (7B).
  • Op SQA3D verbeterde UniMVU EM@1 met +6,7 (0,5B) en toonde aanzienlijke winsten op "Wat"- en "Hoe"-vragen.
  • Op MVBench behaalde het unificer model (UniMVU†) de beste gemiddelde score, met name grote winsten op temporeel veeleisende subtaken zoals Actievoorspelling (+21,0) en Actiesequentie (+16,5) op de 0,5B-schaal.
• Unificer Training: Een enkele checkpoint die gezamenlijk over alle taken is getraind (UniMVU†) behield sterke prestaties, wat aantoont dat de gating-interface modale-selectiegedrag succesvol overdraagt over verschillende taakfamilies.
• Ablatiestudies:
  • Het verwijderen van inner-modale of modale-niveau gating resulteerde in prestatiedalingen, wat de noodzaak van beide niveaus bevestigt.
  • Het gebruik van één enkel unificer controletoken presteerde beter dan modale-specifieke tokens.
  • De residuale verbinding in de gatingformule was cruciaal; het verwijderen ervan verslechterde de prestaties.
  • Parameter-vrije gating (met attention-scores direct gebruikt) presteerde beter dan geleerde MLP- of cross-attention scoring heads, wat suggereert dat attention-afgeleide scores een sterke inductieve bias bieden.

5. Betekenis en Claims

Het artikel claimt dat UniMVU een eenvoudig, unificer recept biedt voor instructie-bewust multimodaal video-verstehen. De primaire betekenis ligt in het aanpakken van modale interferentie door informatie expliciet te routeren op basis van de instructie voordat de LLM een antwoord genereert.

• Mitigatie van Interferentie: Door streams en tokens dynamisch te herkwalificeren, voorkomt het model dat irrelevante modaliteiten de decoder afleiden, een beperking van uniforme fusie.
• Generalisatie: Het kader bewijst dat één enkele gating-interface heterogene invoer (audio, 3D, dichte video) kan verwerken zonder dat er aparte, taakspecifieke architecturen nodig zijn.
• Efficiëntie en Transparantie: De methode is lichtgewicht (voegt minimale parameters toe) en biedt interpreteerbaarheid, aangezien de gatinggewichten direct de focus van het model op specifieke bewijstypes weerspiegelen die door de vraag worden vereist.

De auteurs concluderen dat UniMVU Video LLM's in staat stelt om gesynchroniseerde auxiliaire streams beter te benutten, wat leidt tot state-of-the-art resultaten over diverse benchmarks, terwijl het een schaalbaar pad biedt voor toekomstige multimodale integratie.