Technische Samenvatting: VidPrism

Probleemstelling

De snelle vooruitgang van Vision-Language Models (VLM's) heeft beeld-naar-video (I2V) transfer learning gevestigd als een dominante paradigma voor video-interpretatie. Het aanpassen van statische, vooraf getrainde beeldmodellen aan dynamische videodata vormt echter een aanzienlijke uitdaging: het ontbreken van inherente temporele modellering. Hoewel recente benaderingen hebben geprobeerd dit aan te pakken door Mixture-of-Experts (MoE) architecturen te integreren om temporele modellering te verbeteren, lijden conventionele MoE-ontwerpen aan expert-homogenisatie. In standaard MoE-frameworks ontvangen alle experts identieke, niet-gedifferentieerde inputstromen, waardoor ze worden gedwongen te fungeren als redundante generalisten in plaats van gespecialiseerde agenten. Deze inefficiëntie verhindert dat het model effectief onderscheid maakt tussen statische ruimtelijke inhoud en dynamische temporele evolutie, wat leidt tot vlakke attentieverdelingen die kritieke actie-momenten niet kunnen identificeren.

Methodologie: VidPrism

Om expert-homogenisatie te overwinnen, stellen de auteurs VidPrism voor, een nieuw heterogeen temporeel MoE-framework. Geïnspireerd door de "twee-stroom hypothese" in de neurowetenschappen (het scheiden van "wat" en "hoe" paden), implementeert VidPrism een functionele arbeidsverdeling onder experts. De architectuur bestaat uit vier kerncomponenten:

1. Inhoudsbewuste Multi-rate Sampling (RgSTA)

In plaats van identieke frames aan alle experts te voeren, hanteert VidPrism een Rate-guided Spatio-Temporal Aggregation (RgSTA) module. Deze module splitst de inputvideo dynamisch op in meerdere parallelle stromen met verschillende ruimtelijk-temporele resoluties:

• Langzame stromen: Vangen sleutelframes met rijke semantische context op, die worden doorgestuurd naar experts die verantwoordelijk zijn voor ruimtelijke redenering.
• Snelle stromen: Focus op hoogfrequente temporele variaties, die worden doorgestuurd naar experts die verantwoordelijk zijn voor bewegingsmodellering.
• Mechanisme: De module gebruikt een hybride scoremechanisme dat combineert van leerbare importantiescores en intrinsieke feature-normen (L2-norm) om kritieke frames te selecteren. Cruciaal is dat niet-geselecteerde frames niet worden weggegooid; in plaats daarvan wordt hun informatie via similariteits-gewogen attentie gefuseerd met de geselecteerde sleutelframes, zodat geen waardevolle informatie verloren gaat terwijl de efficiëntie behouden blijft.

2. Dynamische Bidirectionele Interactie (DBI)

Om geïsoleerde verwerking te voorkomen, introduceert VidPrism een Dynamic Bidirectional Interaction (DBI) module. Dit faciliteert een synergetische informatie-uitwisseling tussen de verschillende temporele paden:

• Langzaam-naar-Snel: Hoge semantische context uit langzame paden wordt ge-upsampled en geïnjecteerd in snelle paden om globale context te bieden.
• Snel-naar-Langzaam: Gedetailleerde bewegingsdynamiek uit snelle paden wordt ge-downsampled en geïnjecteerd in langzame paden om structureel begrip te verfijnen.
• Gating: Een lichtgewicht filternetwerk genereert dynamisch interactiescores op basis van globale context, fungerend als een poort om informatieflow te reguleren en spaarzame connectiviteit te bevorderen.

3. Heterogene Mixture-of-Experts (HMoE)

De kerninnovatie ligt in het Heterogene MoE ontwerp. Elke gespecialiseerde stroom wordt verwerkt door een dedicated expertnetwerk (een standaard Transformer-laag) dat uitsluitend is getraind op een specifieke temporele rate. Dit zorgt voor functionele heterogeniteit, waarbij experts interne temporele afhankelijkheden leren die uniek zijn voor hun toegewezen schaal.

• Combinatiemechanisme: Een leerbare globale query-vector traverseert de outputs van alle experts met multi-headed cross-attention om de meest taakrelevante informatie te extraheren, en aggregeert diverse features tot een unificerende video-niveau representatie.

4. Trainingsdoelen

Het model wordt geoptimaliseerd met een samengestelde verliesfunctie:

• Classificatieverlies ($L_{cls}$): Standaard cross-entropy voor de uiteindelijke voorspelling.
• Ranking-verlies ($L_{rank}$): Een auxiliair verlies om de RgSTA-module te leiden bij het leren van betrouwbare frame-importantie-rangschikkingen.
• Diversiteitsverlies ($L_{div}$): Moedigt experts aan om complementaire features te leren door de afstand tussen hun output-featureverdelingen te maximaliseren.
• Gate Balancing-verlies ($L_{gate}$): Voorkomt dat het readout-module zich te sterk verlaat op een minderheid van experts, en zorgt voor een gebalanceerd gebruik over de batch heen.

Belangrijkste Bijdragen

1. Heterogene MoE Architectuur: Het eerste voorstel van een heterogeen MoE-framework voor I2V transfer, waarbij gespecialiseerde expertnetwerken expliciet worden gekoppeld aan verschillende temporele schalen om expert-homogenisatie te elimineren.
2. Inhoudsbewuste Multi-rate Generatie: Een nieuwe module die dynamisch semantisch rijke langzame stromen en bewegingsdichte snelle stromen genereert, waardoor gespecialiseerde inputs worden geboden die zijn toegesneden op specifieke expertfuncties.
3. Bidirectionele Fusie Mechanisme: Een dynamisch interactieschema dat synergetische informatie-uitwisseling tussen ruimtelijke en temporele paden mogelijk maakt, waardoor een holistische video-representatie ontstaat.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op vier benchmarks: Kinetics-400, UCF-101, HMDB-51 en SomethingSomething V2 (SSv2), met CLIP (ViT-B/16 en ViT-L/14) en VideoMAEv2 als backbones.

• State-of-the-Art Prestaties: VidPrism behaalde superieure prestaties over alle datasets. Op Kinetics-400 overtrof het de MoTE-baseline met 1,0% (ViT-B/16) en 0,6% (ViT-L/14) bij vergelijkbare rekenkosten.
• Efficiëntie: VidPrism demonstreerde een sterk evenwicht tussen prestaties en efficiëntie, met 84,0% Top-1 nauwkeurigheid op K400 met slechts 162 GFLOPs, significant lager dan concurrerende methoden zoals FocusVideo (204 GFLOPs).
• Few-Shot Learning: Het framework toonde uitzonderlijke aanpasbaarheid in few-shot scenario's. Op UCF-101 bereikte de VidPrism-M variant (met VideoMAEv2) een nieuwe state-of-the-art van 96,6% nauwkeurigheid met 16 shots.
• Ablatie Studies: Experimenten bevestigden dat de combinatie van vier experts (rates 2, 4, 8, 16), bidirectionele interactie en globale attentiefusie de beste resultaten opleverde. Visualisatie van expertgebruik onthulde duidelijke functionele arbeidsverdelingen, waarbij verschillende actiecategorieën specifieke experts activeerden, wat de heterogeniteit van het ontwerp valideert.

Betekenis

Het artikel stelt dat VidPrism een fundamentele beperking in huidige video-interpretatiemodellen aanpakt: de inefficiëntie van het uniform behandelen van alle temporele informatie. Door een functionele arbeidsverdeling tussen heterogene experts te pionieren, stelt VidPrism modellen in staat zich te focussen op kritieke actie-momenten en zowel statische semantiek als dynamische beweging effectief te vangen. Het werk toont aan dat het overstijgen van homogene MoE-ontwerpen ten gunste van inhoudsbewuste, multi-rate gespecialiseerde architecturen een levensvatbare en effectieve strategie is voor het bevorderen van beeld-naar-video transfer learning, waarbij state-of-the-art resultaten worden behaald terwijl echte expert-specialisatie wordt gestimuleerd.