SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

Technische Samenvatting: Shot-Aware Multimodal Audio-enhanced Retrieval of Temporal Segments (SMART)

Probleemstelling
Video Moment Retrieval (VMR) heeft als doel een specifiek temporeel segment te lokaliseren binnen een niet-ingekorte video die overeenkomt met een natuurlijke taalquery. Hoewel Multimodale Large Language Models (MLLM's) de semantische begrip voor deze taak hebben geavanceerd, kampen bestaande benaderingen met twee primaire beperkingen:

1. Unimodale Afhankelijkheid: De meeste huidige MLLM-gebaseerde methoden vertrouwen zwaar op visuele aanwijzingen en verwaarlozen de audio-modaliteit. Dit beperkt de prestaties bij queries waarbij geluid (bijv. spraak, sirenes) cruciale bewijslast levert of temporele ambiguïteit oplost.
2. Inefficiëntie bij Lange Sequenties: Het verwerken van lange video's met MLLM's brengt hoge computationele kosten met zich mee door de kwadratische zelf-aandachtcomplexiteit (self-attention complexity). Bestaande compressiestrategieën verwijderen vaak fijnmazige temporele details of slagen er niet in de inherente structuur van video-shots te benutten, wat leidt tot redundantie of verlies van semantische rijkdom.

Methodologie: Het SMART-framework
De auteurs stellen SMART voor (Shot-aware Multimodal Audio-enhanced Retrieval of Temporal Segments), een MLLM-gebaseerd framework dat is ontworpen om audio-aanwijzingen en shot-niveau temporele structuur gezamenlijk te benutten. De architectuur bestaat uit drie kerncomponenten:

1. Dual-Branch Multimodale Encoding:

   • Visuele Branch: Gebruikt een vooraf getrainde EVA-CLIP encoder om frame-embeddings te extraheren, die worden verfijnd door een Q-Former om frame-niveau features te genereren.
   • Audio Branch: Maakt gebruik van BEATs, een akoestische tokenizer, om ruwe audio te coderen in discrete, semantisch rijke embeddings.
   • Integratie: Het model construeert een uniforme multimodale prompt. Visuele features worden gekoppeld aan expliciete tijd-tokens. Audio-features worden temporeel gepooled in een compacte representatie en geconcateneerd als complementaire context, in plaats van strikt frame-voor-frame uitgelijnd te worden met visuele tokens. Speciale scheidingstokens onderscheiden tussen visuele en audio-modaliteiten.

2. Shot-Aware Token Compressie (STC):
   Om de computationele last van lange sequenties aan te pakken, introduceert SMART een tweestaps compressiestrategie die de temporele getrouwheid behoudt terwijl redundantie wordt verminderd:

   • Fase 1: Keyframe Identificatie: De video wordt in shots verdeeld met behulp van TransNetV2. Binnen elke shot worden frames geclassificeerd als "keyframes" of "non-keyframes" op basis van de inter-frame bewegingsgrootte (L2-norm van patch-gewijze verschillen). Keyframes, die dynamische inhoud vastleggen, worden volledig behouden.
   • Fase 2: Intra-Shot Token Filtering: Voor non-keyframes analyseert het model de token-niveau variantie binnen de Q-Former outputs. Tokens die dynamische inhoud vertegenwoordigen (hoge variantie) worden behouden, terwijl tokens die statische achtergronden of redundante inhoud vertegenwoordigen (lage variantie) worden verwijderd. Deze selectieve compressie vermindert de sequentielengte zonder essentiële temporele aanwijzingen te elimineren.

3. Prompting en Output:
   De gecomprimeerde multimodale sequentie wordt ingevoerd in een lichtgewicht, via LoRA getunede LLM. Het model wordt gepromptt om temporele segmenten te genereren als een geneste lijst van start- en eindtijdstempels (bijv. [[s1, e1], [s2, e2]]), wat de voorspelling van meerdere disjuncte momenten mogelijk maakt indien nodig.

Belangrijkste Bijdragen

• Audio-Enhanced MLLM voor VMR: Het paper introduceert een framework dat effectief audio integreert als complementaire context binnen een MLLM-pipeline, waarmee wordt aangetoond dat akoestische aanwijzingen de temporele gronding verbeteren, met name voor geluidsafhankelijke queries.
• Shot-Aware Token Compressie: Een innovatieve compressiestrategie die onderscheid maakt tussen keyframes en non-keyframes. Het behoudt representatieve keyframes volledig, terwijl het alleen non-keyframes comprimeert op basis van token-variantie, waardoor een balans wordt gevonden tussen efficiëntie en het behoud van fijnmazige temporele bewijslast.
• Efficiëntie-Effectiviteit Afweging: Het ontwerp vermindert visuele redundantie en de computationele belasting (geheugen en latentie) terwijl het de retrieval-nauwkeurigheid handhaaft of zelfs verbetert ten opzichte van baselines die volledige sequenties verwerken.

Experimentele Resultaten
SMART werd geëvalueerd op twee benchmark-datasets: Charades-STA (kortere video's) en QVHighlights (langere video's).

• Prestatiewinsten: SMART presteerde consistent beter dan sterke baselines, waaronder LLaVA-MR en Mr. BLIP.
  • Op Charades-STA behaalde het een verbetering van 1,61% in R1@0,5 en een verbetering van 2,59% in R1@0,7 ten opzichte van LLaVA-MR, samen met een nieuwe beste mIoU van 61,09.
  • Op QVHighlights (Test Set) behaalde het een R1@0,5 van 78,15 en een R1@0,7 van 63,16, waarmee het LLaVA-MR met respectievelijk 1,56% en 1,68% overtrof.
• Kwalitatieve Analyse: Casestudies toonden aan dat SMART succesvol momenten kan ophalen die door visuele-alleen modellen gemist worden door gebruik te maken van audio-aanwijzingen (bijv. het detecteren van de afwezigheid van spraak of specifieke locatiemeningen in achtergrondgeluid) en door shot-niveau consistentie te behouden via token-compressie.
• Ablatie-studies: Experimenten bevestigden dat zowel de audio-integratie als de tweestaps STC-strategie positief bijdragen aan de prestaties. De combinatie van keyframe-selectie en token-filtering leverde de beste resultaten op, terwijl agressieve token-filtering alleen leidde tot prestatievermindering.

Betekenis en Claims
Het paper claimt dat SMART een robuuste oplossing biedt voor lange-video moment retrieval door de dubbele uitdagingen van multimodale volledigheid en computationele efficiëntie aan te pakken. Door audio-aanwijzingen te integreren, vangt het model bewijs op dat visuele-alleen systemen missen, vooral voor temporeel ambigue queries. Tegelijkertijd stelt de Shot-aware Token Compression strategie het mogelijk om langere video-sequenties te verwerken zonder de prohibitieve geheugenkosten die gepaard gaan met dichte token-inputs. De auteurs positioneren SMART als een framework dat een gunstige balans bereikt tussen retrieval-nauwkeurigheid en computationele kosten, wat het geschikt maakt voor real-world toepassingen met langdurige en complexe video-inhoud.

Erkende Beperkingen
De auteurs merken op dat de huidige audio-branch vertrouwt op gecomprimeerde globale context in plaats van fijnmazige audio-visuele uitlijning, wat de prestaties op subtiele audio-event timing kan beperken. Daarnaast, hoewel de compressiestrategie effectief is, zou agressieve compressie potentieel subtiele visuele details in zeer dynamische scènes kunnen verzwakken. Het gedrag van het model onder significante distributieverschuivingen of in open-world settings blijft een gebied voor toekomstig onderzoek.