Technische Samenvatting: Aggregatie van Spatio-Temporale Similariteitsvolumes voor Open-Vocabulary Actierecognitie

1. Probleemstelling

Recente methoden voor Open-Vocabulary Actierecognitie (OVAR) vertrouwen doorgaans op het aggregeren van visuele kenmerken tot een globale representatie (bijvoorbeeld met behulp van [CLS]-tokens) voordat er een afstemming wordt berekend met tekst-embeddings. Hoewel dit effectief is voor zero-shot generalisatie, gooit dit paradigma inherent rijke lokale patch-informatie binnen elke frame weg. Bijgevolg worden fijnmazige spatio-temporale aanwijzingen—zoals bewegingstrajecten, gelokaliseerde interacties en de evolutie van visuele patronen in de tijd—verduisterd. Bestaande pogingen om lokale tokens te benutten (bijvoorbeeld TC-CLIP, BDC-CLIP) collapseert vaak nog steeds gestructureerde spatio-temporale interacties tot een enkele globale vector voorafgaand aan de tekstafstemming, waardoor ze falen om expliciet de correspondentie te modelleren tussen tijdelijk evoluerende lokale visuele patronen en tekstuele actiesemantiek.

2. Methodologie: Aggregatie van Similariteitsvolumes (SimVA)

De auteurs stellen SimVA voor, een raamwerk dat het paradigma verschuift van kenmerkenaggregatie naar similariteitsaggregatie. In plaats van visuele kenmerken eerst te samenvoegen, construeert SimVA een dicht 4D spatio-temporaal similariteitsvolume tussen patch-niveau visuele tokens en tekst-embeddings, waarbij lokale bewijslast gedurende het hele verwerkingsproces behouden blijft.

2.1 Constructie van het Similariteitsvolume

Gegeven een invoervideo $V$ en actietekstprompts, gebruikt het raamwerk een vooraf getraind CLIP-model om het volgende te extraheren:

• Visuele Embeddings: Patch-niveau embeddings $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ voor $T$ frames.
• Tekst-Embeddings: Class-embeddings $F_{text} \in \mathbb{R}^{N_C \times D}$ voor $N_C$ actiecategorieën.

Een 4D similariteitsvolume $S \in \mathbb{R}^{T \times H \times W \times N_C}$ wordt geconstrueerd door cosinus-similariteiten te berekenen tussen elke spatio-temporale patch $(t, i, j)$ en elke klasse $c$. Dit volume vertegenwoordigt gelokaliseerde visueel-tekstuele correspondentie over ruimte en tijd.

2.2 Sampling van Actieklassen

Het direct aggregeren van het volledige volume is computationeel onhaalbaar wanneer $N_C$ groot is. SimVA introduceert een strategie voor klassensampling:

1. Bereken een globale video-representatie $\bar{V}$ door frame-niveau [CLS]-tokens te middelen.
2. Bereken globale similariteitsscores $S_{global} = \bar{V}^\top F_{text}$.
3. Selecteer de top-$M$ klassen. Tijdens training wordt uniforme ruis toegevoegd om exploratie te stimuleren, en wordt de ground-truth-klasse geforceerd in de subset.
   Dit reduceert de klassendimensie van $N_C$ naar een hanteerbare grootte $M$, waardoor het volume wordt verkleind tot $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.3 Gestructureerde Spatio-Temporale Aggregatie

Het raamwerk verwerkt het gesamplede similariteitsvolume via een gestructureerde pijplijn die $N_L$ lagen wordt herhaald:

• Ruimtelijke Aggregatie: Met behulp van Swin Transformer-blokken verfijnt het model intra-frame similariteitspatronen. Dit dwingt lokale consistentie af tussen patches die tot hetzelfde object behoren en onderdrukt achtergrondruis, waardoor lokale similariteiten binnen het frame worden gecontextualiseerd.
• Bewegingsbewuste Modulatie: Om cues voor inter-frame variatie in te brengen, schat het model bewegingsoffsets tussen opeenvolgende frames met behulp van CLIP-afbeeldingskenmerken. Deze offsets worden genormaliseerd om globale camerabeweging te verwijderen en geprojecteerd naar een modulatiesignaal $\gamma_t$. Dit signaal schaalt de ruimtelijk verfijnde kenmerken adaptief, waarbij regio's met significante dynamische veranderingen (bijvoorbeeld bewegende objecten) worden benadrukt voordat de temporele modellering plaatsvindt.
• Temporele Aggregatie: Een Mamba-blok (State-Space Model) verwerkt de bewegingsbewuste similariteitssequenties. In tegenstelling tot Transformers die globaal attenderen, stemt het voorwaarts scannende mechanisme van Mamba overeen met de natuurlijke temporele progressie van video's. Het acumuleert sequentieel transitiebewuste similariteitspatronen, modellerend de evolutie van actiespecifieke bewijslast in de tijd, terwijl spatio-temporale afstemming behouden blijft.

2.4 Trainingsdoel

De uiteindelijke video-niveau scores worden verkregen via lineaire projectie en spatio-temporale gemiddelde pooling. Het trainingsdoel combineert:

1. Aggregatieverlies ($L_{agg}$): Cross-entropy-verlies op de gesamplede class-logits.
2. Classificatieverlies ($L_{cls}$): Een auxiliair verlies berekend uit de globale video-tekstafstemming (met behulp van [CLS]-tokens) om catastrofaal vergeten te voorkomen en de vooraf getrainde prior te behouden.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: Introduceert een raamwerk voor CLIP-gebaseerde OVAR dat direct opereert in de similariteitsruimte, verschuivend van kenmerkenaggregatie naar similariteitsaggregatie om dichte spatio-temporale correspondenties te behouden.
2. Schalbare Architectuur: Stelt een geheugenefficiënte strategie voor klassensampling voor die similariteitsaggregatie schaalbaar maakt voor grote open-vocabulary scenario's zonder prohibitieve computationele kosten.
3. Gestructureerde Aggregatie: Ontwerpt een pijplijn die ruimtelijke aggregatie (voor intra-frame consistentie), bewegingsbewuste modulatie (voor inter-frame dynamiek) en Mamba-gebaseerde temporele aggregatie (voor modellering van sequentiële evolutie) integreert.
4. Empirische Validatie: Demonstreert effectiviteit over zero-shot, few-shot en base-to-novel generalisatie-benchmarks.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf standaard benchmarks (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) met een ViT-B/16 CLIP-ruggengraat.

• Zero-Shot Prestaties: SimVA presteerde beter dan sterke baselines (bijvoorbeeld ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) over alle datasets. Op HMDB-51, UCF-101 en K600 behaalde het state-of-the-art of zeer concurrerende resultaten (bijvoorbeeld 76,5% Top-1 op K600, 86,2% op UCF-101).
• Few-Shot Learning: In settings met $K \in \{2, 4, 8, 16\}$ shots per klasse presteerde SimVA consistent beter dan bestaande methoden, wat wijst op robuuste adaptatie aan videotaken met beperkte supervisie.
• Base-to-Novel Generalisatie: Het model behaalde de beste base-accuraatheid over alle datasets en de hoogste harmonische mean (HM) op UCF-101 en SSv2, wat sterke generalisatie naar ongezette categorieën aantoont terwijl prestaties op basisklassen behouden blijven.
• Efficiëntie: Ondanks de constructie van een dicht volume, behoudt SimVA een computationeel budget dat vergelijkbaar is met andere CLIP-gebaseerde methoden (124,6M parameters, 315 GFLOPs), wat een gunstige afweging tussen efficiëntie en prestatie aantoont.

5. Betekenis en Claims

Het artikel beweert dat SimVA de krachtige afbeelding-tekst-afstemmingscapaciteiten van CLIP effectief overdraagt naar het spatio-temporale domein door expliciet te modelleren hoe gelokaliseerde visuele patronen evolueren in interactie met tekstuele semantiek. Door dichte visueel-tekstuele correspondentie te behouden en vroege globale pooling te vermijden, stelt het raamwerk precieze discriminatie van fijnmazige acties mogelijk die afhankelijk zijn van subtiele temporele variaties.

De auteurs stellen dat aggregatie in de similariteitsruimte een veelbelovende richting is voor het aanpassen van vision-language modellen aan video-actierecognitie. Zij erkennen een beperking met betrekking tot het vaste budget voor klassensampling, noteren dat adaptieve strategieën de schaalbaarheid verder kunnen verbeteren, maar handhaven dat de huidige aanpak een robuuste balans biedt tussen prestatie en computationele haalbaarheid.