💻 computer science

Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

Dit artikel stelt een data-efficiënt paradigma voor video-pretraining voor dat een krachtig beeldfundamenteel model bevriest om ruimtelijke kenmerken te verwerken, terwijl alleen een lichtgewicht recurrente module wordt getraind voor temporele redenering, en toont aan dat concurrerend video-begrip kan worden bereikt zonder de aanzienlijke data- en rekentkosten van end-to-end video-pretraining.

Oorspronkelijke auteurs: Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Wiel niet opnieuw uitvinden

Stel je voor dat je een robot wilt bouwen die een film kan kijken en het verhaal begrijpen. Traditioneel moet je, om deze robot dit te leren, hem miljoenen uren aan films laten zien vanaf nul. Hij moet tegelijkertijd leren hoe hij een "gezicht" herkent (ruimtelijk) en hoe een gezicht beweegt wanneer iemand glimlacht (tijdelijk). Dit is ongelooflijk duur en vereist enorme hoeveelheden data en rekenkracht.

Dit paper stelt een simpele vraag: Moeten we de robot echt vanaf nul leren hoe hij gezichten moet zien?

De auteurs suggereren een slimmere manier: Gebruik een robot die al een expert is in het bekijken van stilstaande foto's, en leer hem gewoon hoe hij naar de film moet kijken.

De Analogie: De Expertfotograaf en de Nieuwe Regisseur

Stel je het probleem voor als het maken van een film:

Het Bevroren Beeldmodel (De Expertfotograaf):
Stel je voor dat je een wereldberoemde fotograaf inhuurt die jarenlang miljoenen foto's heeft bestudeerd. Hij is een absolute meester in het herkennen van objecten, belichting en texturen in één enkel stilstaand beeld. In dit paper "bevriezen" de onderzoekers deze fotograaf. Ze laten hem niets nieuws leren; ze gebruiken gewoon zijn bestaande, perfecte kennis van hoe dingen er uitzien.
De Tijdelijke Module (De Nieuwe Regisseur):
Nu heb je iemand nodig om uit te zoeken wat er gebeurt in de video. Je huurt een nieuwe, lichtgewicht "Regisseur" in. De enige taak van deze Regisseur is om de reeks foto's die de Fotograaf maakt te bekijken en het verhaal te achterhalen (bijvoorbeeld: "De persoon loopt", "De bal stuitert").

Het Experiment:
De onderzoekers probeerden een video-AI te bouwen door een "bevroren" expertfotograaf (een vooraf getraind beeldmodel zoals DINOv3) te nemen en er een gloednieuwe Regisseur (een tijdelijke module) aan te koppelen. Ze trainden alleen de Regisseur op videodata, terwijl ze de Fotograaf volledig onaangeroerd lieten.

Wat Ze Vonden

1. De Fotograaf is Al Perfect
Ze vergeleken hun team van "Bevroren Fotograaf + Nieuwe Regisseur" met traditionele video-AI-modellen die proberen zowel zien als bewegen vanaf nul te leren.

Resultaat: Het team met de bevroren expertfotograaf presteerde zelfs beter in het herkennen van objecten en scènes dan de modellen die probeerden alles vanaf nul te leren.
Conclusie: De "ruimtelijke" kennis (herkennen wat er in de foto staat) is in moderne beeldmodellen al zo goed dat je geen tijd hoeft te verspillen aan het opnieuw leren ervan voor video.

2. De Regisseur Moet Getraind Worden (Maar Minder Data)
Zelfs met de perfecte Fotograaf moest de Regisseur nog leren hoe hij de punten tussen de frames moest verbinden.

Resultaat: Toen ze de Regisseur vanaf nul trainden met de output van de Fotograaf, werd het systeem zeer goed in het begrijpen van beweging en actie.
Conclusie: Je hoeft het hele systeem niet opnieuw te trainen. Je hoeft alleen het "Regisseur"-gedeelte te trainen.

3. Data-efficiëntie: Meer doen met Minder
Dit is het meest spannende deel. Omdat de Fotograaf al alles over de wereld weet, hoeft de Regisseur niet miljoenen video's te zien om te leren.

Resultaat: Hun systeem, dat een bevroren beeldmodel gebruikte, presteerde beter dan een enorm video-model, zelfs toen het getraind werd op minder dan 25% van de gebruikelijke data.
Analogie: Het is alsof je een nieuwe regisseur leert die al een script heeft van een genie. Hij hoeft niet 1.000 films te kijken om het plot te begrijpen; hij kan het uitzoeken door er slechts 250 te bekijken.

De "Streaming"-test

De onderzoekers testten dit in een "streaming"-modus, wat betekent dat de AI de video moest begrijpen terwijl deze gebeurde, frame voor frame, zonder vooruit te kijken (zoals het kijken naar een livestream).

Resultaat: Zelfs in deze strenge, real-time test was hun aanpak van "Bevroren Fotograaf + Nieuwe Regisseur" concurrerend met, en versloeg vaak, de state-of-the-art video-modellen die getraind waren op miljarden videoclips.

De Conclusie

Het paper concludeert dat we waarschijnlijk geld en energie verspillen door video-modellen vanaf nul te trainen. In plaats daarvan zouden we het volgende moeten doen:

Bevriezen van een krachtig beeldmodel (de Fotograaf).
Trainen van een kleine, lichtgewicht module om de beweging te verwerken (de Regisseur).

Deze aanpak bespaart een enorme hoeveelheid rekenkracht en data. De auteurs merken op dat ze de Regisseur nog niet volledig vooraf hebben getraind op enorme videodatasets (dat is de volgende stap), maar hun eerste tests bewijzen dat deze "ontkoppelde" methode een veelbelovende weg is voor het bouwen van efficiënte video-AI.

Kortom: Leer de AI niet hoe ze moet zien; leer haar gewoon hoe ze moet kijken.

Technische Samenvatting: Op weg naar data-efficiënte video-pretraining met bevroren beeld-fundatiemodellen

Probleemstelling
Video-fundatiemodellen bereiken momenteel state-of-the-art (SotA) prestaties op diverse video-interpretatietaken, maar vertrouwen op end-to-end pretraining op enorme videodatasets (vaak miljoenen tot miljarden clips). Deze aanpak brengt aanzienlijke kosten met zich mee voor datacollectie, opslag en rekenkracht. Daarentegen hebben moderne beeld-fundatiemodellen ongekende capaciteit bereikt en bieden krachtige ruimtelijke representaties die zijn getraind op miljarden afbeeldingen. De centrale onderzoeksvraag van dit werk is of er concurrerende videomodellen kunnen worden gebouwd door deze bestaande ruimtelijke representaties opnieuw te gebruiken en de pretraining uitsluitend te beperken tot temporele redenering. De auteurs beogen een lichtgewicht trainingsparadigma te verkennen waarbij een voorgetraind beeld-fundatiemodel wordt bevroren en uitsluitend een recurrente temporele module wordt getraind om streaming video te verwerken, waardoor de data- en rekenvereisten voor videopretraining mogelijk kunnen worden verminderd.

Methodologie
Het voorgestelde raamwerk ontkoppelt ruimtelijk en temporeel leren voor video-interpretatie en bestaat uit drie hoofdbestanddelen:

Bevroren Beeldencoder: Het model maakt gebruik van een voorgetraind beeld-fundatiemodel (voornamelijk DINOv3, hoewel ook DINOv2, SigLIP2 en supervised ViT's worden geëvalueerd) als ruimtelijke kenmerkextractor. Deze encoder blijft volledig bevroren tijdens het trainen, zonder dat er gradiënten doorheen stromen.
- Meerdere diepten voor kenmerkextractie: Om informatie te benutten die over de diepte van de bevroren encoder is verdeeld, extrahert het raamwerk patch-tokens uit vier gelijkmatig verdeelde ViT-dieptes (1/4, 1/2, 3/4 en 1). Deze kenmerken worden aangepast via trainbare per-laag MLP's met residuale verbindingen en gemiddeld om de inputrepresentatie te vormen, aangevuld met CLS- en register-tokens.
Recurrente Temporele Module: Een lichtgewicht temporele module verwerkt de per-frame kenmerken sequentieel en causaal (zonder toegang tot toekomstige frames). De module onderhoudt een verborgen staat over frames heen. De auteurs evalueren vier verschillende architecturen:
- RVMRNN: Een GRU-gedreven recurrente kern met cross-attention, overgenomen van de RVM-baseline.
- Mamba: Een selectief state space model (SSM) dat onafhankelijk werkt op ruimtelijke tokens.
- MambaMix: Mamba afgewisseld met ruimtelijke self-attention-blokken om interactie tussen patches binnen frames mogelijk te maken.
- GatedMambaMix (GMMix): Een uitbreiding van MambaMix met een geleerde gating-mechanisme om de stroom van temporele informatie te controleren, analoog aan GRU-gating.
Attentieve Readout: Een taakspecifieke kop produceert voorspellingen. De auteurs hanteren een "streaming"-protocol waarbij de readout uitsluitend de output van het huidige frame ( $h_t$ ) ontvangt, zodat temporele context strikt wordt opgebouwd binnen de recurrente staat en niet wordt gecompenseerd door de readout.

Belangrijkste Bijdragen

Empirische Studie van Temporeel Leren met Bevroren Ruimtelijke Representaties: De auteurs tonen aan dat effectief temporeel redeneren ontstaat over meerdere beeldencoders, temporele architecturen en diverse videotaken (actieherkenning, object/punt-tracking, diepteschatting, camerapositieschatting), zelfs wanneer de beeldbackbone vaststaat.
Bewijs voor Data-efficiënte Videopretraining: De resultaten suggereren dat moderne beeld-fundatiemodellen al voldoende ruimtelijke capaciteit bevatten voor video-interpretatie. Dit ondersteunt een toekomstig paradigma waarbij uitsluitend de temporele module videopretraining vereist, waardoor ruimtelijk en temporeel leren aanzienlijk worden ontkoppeld.

Experimentele Resultaten
De studie evalueert het raamwerk op benchmarks waaronder Something-Something v2 (SSv2), Waymo Open, Perception Test (PT), ScanNet en NuScenes.

Concurrentiekracht van Ruimtelijke Encoders: Bevroren, voorgetrainde beeldencoders (specifiek DINOv3 en DINOv2) komen consistent overeen met of overtreffen de voor video getrainde RVM-encoder. Zo behaalde DINOv3 op SSv2 een nauwkeurigheid van 66,9% vergeleken met de 62,7% van de voor video getrainde RVM-encoder. Op Waymo overtroffen beeldencoders de RVM-encoder (85,0–85,5 mIoU versus 83,4 mIoU).
Prestaties van Temporele Modules: Wanneer gekoppeld aan een bevroren DINOv3-encoder, presteerden alle geteste temporele architecturen aanzienlijk beter dan een bevroren RVM-baseline (die een voor video getrainde encoder en temporele kern heeft). Bijvoorbeeld, DINOv3 + GMMix behaalde een genormaliseerd gemiddelde van 99,4, tegenover 77,7 voor de bevroren RVM-L.
Strategie voor Kenmerkextractie: Het gebruik van multi-depth-kenmerken uit de bevroren encoder verbeterde consistent de prestaties over alle temporele architecturen in vergelijking met het gebruik van alleen tokens van de laatste laag.
Overdraagbaarheid van Temporele Dynamiek: Het initialiseren van de temporele module met gewichten die zijn voorgetraind op video (van RVM) leverde prestatiewinst op, zelfs wanneer gekoppeld aan een andere bevroren encoder (DINOv3). Dit geeft aan dat geleerde temporele dynamiek gedeeltelijk encoder-onafhankelijk is.
Data-efficiëntie: Het trainen van DINOv3 + GMMix op slechts 25% van de SSv2-trainingsset leverde prestaties op (56,5%) die de bevroren RVM, getraind op 100% van de data (46,9%), overtroffen.
Vergelijking met SotA: Op ViT-L-schaal behaalde het voorgestelde model (DINOv3 + GMMix) een genormaliseerd gemiddelde van 99,1, wat hoger ligt dan video-fundatiemodellen zoals RVM-L (89,3), V-JEPA-L (88,5) en VideoMAE-L (88,9), ondanks dat het voorgestelde model geen grootschalige videopretraining heeft voor zijn temporele module.

Betekenis en Claims
De auteurs positioneren dit werk als "werk in uitvoering" naar een nieuw pretraining-paradigma voor recurrente videomodellen. Zij claimen dat hun bevindingen aanvankelijk empirisch bewijs leveren dat:

Grootschalige videopretraining voor de ruimtelijke encoder niet strikt noodzakelijk is als er sterke beeld-fundatiemodellen beschikbaar zijn.
Sterke video-interpretatie haalbaar is zonder grootschalige videopretraining wanneer de ruimtelijke encoder voldoende krachtig is.
Een modulaire aanpak, waarbij een enkele bevroren beeldencoder dient als gedeelde backbone voor lichtgewicht, taakspecifieke temporele koppen, een meer data- en rekenkracht-efficiënt alternatief biedt voor end-to-end videopretraining.

Het artikel merkt expliciet op dat er nog geen grootschalige videopretraining van de temporele module zelf wordt uitgevoerd; eerder valideert het de haalbaarheid van de ontkoppelde aanpak om de investering in dergelijk toekomstig werk te rechtvaardigen. De auteurs concluderen dat, hoewel de huidige resultaten veelbelovend zijn, toekomstig werk pretraining van de temporele module op videodata moet omvatten om het potentieel van dit ontkoppelde paradigma volledig te verwezenlijken.