🤖 AI

Video Generation Models are General-Purpose Vision Learners

Dit artikel stelt GenCeption voor, een feed-forward perceptiemodel gebouwd op een vooraf getrainde text-to-video diffusie-backbone, waarmee wordt aangetoond dat grootschalige videogeneratie dient als een superieur pre-training paradigma voor het bereiken van state-of-the-art, data-efficiënte en algemene visuele intelligentie over diverse computer vision-taken heen.

Oorspronkelijke auteurs: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Gepubliceerd 2026-07-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je jarenlang hebt gewerkt aan het bouwen van een superintelligente robotkok. Deze chef is ongelooflijk goed in het volgen van recepten om een perfect biefstuk, een luchtige omelet of een pittige curry te maken. Maar hier komt de adder onder het gras: als je de chef vraagt om "de temperatuur van de keuken te vertellen" of "het aantal eieren in de koelkast te tellen", staart hij alleen maar glazig voor zich uit. Hij is een meester in het maken van dingen, maar niet in het begrijpen van de wereld waarin hij dingen maakt.

Lange tijd was computer vision (het vakgebied van het aanleren van visuele vaardigheden aan computers) precies zoals die chef. We bouwden aparte, gespecialiseerde robots voor elke specifieke taak: één robot om diepte te meten, een andere om gezichten te volgen, een derde om randen te vinden. Ze waren geweldig in hun specifieke taken, maar ze konden niet met elkaar communiceren of nieuwe trucjes leren zonder volledig opnieuw te worden gebouwd.

Toen stelde een team onderzoekers van Google DeepMind en andere universiteiten een wilde vraag: Wat als we die robotkok, die leert door te proberen perfecte video's te genereren, vragen om een algemene detective te worden?

Hun paper, getiteld "Video Generation Models are General-Purpose Vision Learners," suggereert dat het antwoord een overtuigend "ja" is. Ze introduceren een nieuw model genaamd GenCeption.

De Magische Truc: Van "Maken" naar "Weten"

Denk aan de oude manier van het trainen van visiemodellen als het onderwijzen van een student door hem flashcards te laten zien. Je laat een kaart met een boom zien en zegt "boom", en dan een kaart met een auto en zegt "auto". Het werkt, maar het is traag en rigide.

De nieuwe methode, die de auteurs GenCeption noemen, is als het onderwijzen van diezelfde student door hem miljoenen verschillende verhalen over de wereld te laten schrijven. Om een verhaal te schrijven over een gorilla die zwaait naar een camera, moet de student begrijpen hoe een gorilla eruitziet, hoe een hand beweegt, hoe licht op vacht valt en hoe de camerahoek in de loop van de tijd verandert. Ze moeten de fysica van de wereld internaliseren om het verhaal logisch te laten zijn.

De paper betoogt dat dit proces van text-to-video generatie eigenlijk de ultieme trainingsgrond is voor visie. Door een model te trainen om hoogwaardige video's te creëren vanuit tekstuele prompts (zoals "Een gorilla nadert en zwaait met een hand"), leert het model per ongeluk een enorme hoeveelheid "wereldkennis"—hoe 3D-ruimte werkt, hoe objecten bewegen en hoe licht zich gedraagt.

De Grote Verschuiving: Eén Model om Alles te Regeren

De onderzoekers namen een enorm video-generatiemodel (gebaseerd op een technologie genaamd een "diffusiemodel", wat een soort ruisonderdrukker is die langzaam statische ruis verandert in een helder beeld) en gaven het een make-over.

In plaats van het model langzaam frame voor frame te laten "dromen" (wat eeuwig duurt), hebben ze het aangepast om een feed-forward model te zijn. Denk er zo over: in plaats van dat het model 50 stappen neemt om langzaam te raden wat het antwoord is, hebben ze het getraind om naar de input te kijken en het antwoord in één enkele, razendsnelle stap uit te spugen.

Vervolgens hebben ze dit ene model geleerd om alles te doen, simpelweg door de tekstprompt te veranderen.

Prompt: "Depth" (Diepte) → Het model geeft een dieptekart (hoe ver weg dingen zijn).
Prompt: "Surface Normal" (Oppervlaktenormaal) → Het model geeft de richting aan waarin oppervlakken wijzen.
Prompt: "Segmentation" (Segmentatie) → Het model omlijnt objecten.
Prompt: "3D Keypoints" (3D-sleutelpunten) → Het model vindt de gewrichten van een menselijk lichaam.

Het is alsof je een Zwitsers zakmes hebt waarbij het gereedschap dat je nodig hebt automatisch verschijnt op basis van wat je vraagt, in plaats van dat je een apart mes, schroevendraaier en schaar in je zak moet dragen.

De Resultaten: De Specialisten Verslaan

Het team heeft GenCeption getest op een enorme lijst met taken, van het meten van de diepte van een scène tot het volgen van de houding van een skiër. De resultaten waren verrassend.

Het verslaat de experts: In veel gevallen presteerde dit enkele "generalist"-model net zo goed als, of zelfs beter dan, de gespecialiseerde modellen die specifiek voor die taken zijn gebouwd. Zo kwam het bijvoorbeeld overeen met of versloeg het modellen zoals DepthAnything3 (een diepte-expert) en SAM3 (een segmentatie-expert).
Het is een data-wizard: Een van de meest verbazingwekkende delen is hoe weinig data het nodig had. De auteurs ontdekten dat GenCeption een prestatie kon leveren die vergelijkbaar is met topmodellen zoals D4RT en VGGT-Ω, terwijl het 7 tot 500 keer minder trainingsdata nodig had. Het is alsof het model de regels van het spel zo goed heeft geleerd van zijn video-generatietraining, dat het niet elke individuele zet uit het hoofd hoefde te leren.
Het is een generalist: Het model werd bijna volledig getraind op synthetische data (computergegenereerde video's van mensen). Toch, toen ze het echte video's lieten zien van dieren, robots of mensen die dingen deden die het nog nooit had gezien, werkte het nog steeds. Het kon zelfs de snorharen van een kat volgen of haar segmenteren in een video die het nog nooit had gezien. Dit suggereert dat het model het concept van "vacht" of "haar" heeft geleerd, in plaats van alleen specifieke plaatjes te onthouden.

Wat deze Paper NIET beweert

Het is belangrijk om te weten wat deze paper niet claimt. De auteurs benadrukken dat dit nog geen toverstaf is die alle problemen in de wereld oplost.

Ze argumenteren expliciet tegen het idee dat we voor elke visuele taak een nieuwe, aangepaste architectuur moeten bouwen. Ze laten zien dat de oude manier van "gespecialiseerde modellen" minder efficiënt is dan deze verenigde aanpak.
Ze merken ook op dat, hoewel het model geweldig is, het niet perfect is. Toen ze probeerden alle taken in één trainingssessie te combineren, raakte het model een beetje in de war bij 3D human keypoint estimation (het volgen van lichaamsgewrichten). De prestaties daalden iets in vergelft met wanneer het alleen voor die specifieke taak werd getraind. Dit suggereert dat hoewel de "generalist"-aanpak krachtig is, er nog steeds wat kinderziektes zijn bij het mixen van zeer verschillende soorten taken.
Ze verduidelijken ook dat het vermogen van het model om met echte video's om te gaan na training op nepbeelden een emergent gedrag is — een gelukkig bijeffect van de trainingsmethode, en niet iets wat ze expliciet hebben geprogrammeerd.

De Kern van het Verhaal

De paper suggereert dat de toekomst van computer vision misschien niet ligt in het bouwen van meer gespecialiseerde robots, maar in het leren aan één superrobot om de wereld zo levendig te "verbeelden" dat hij deze perfect begrijpt.

Door de kracht van video-generatie te gebruiken als een pre-training instrument, laat GenCeption zien dat een model kan leren om te zien, te meten en de fysieke wereld te begrijpen, simpelweg door te proberen deze te creëren. Het is een verschuiving van "een oplossing ontwerpen voor elk probleem" naar "het creëren van een slim fundament dat ze allemaal kan oplossen."

De auteurs suggereren dat deze weg — het gebruik van generatieve modellen als de basis voor perceptie — de sleutel kan zijn tot het bouwen van echt algemene visuele intelligentie, vergelijkbaar met hoe Large Language Models (LLM's) tekst hebben gerevolutioneerd. Het is een veelbelovende stap, maar zoals de paper opmerkt, staan we nog maar aan het begin van het ontdekken van hoe we zo'n generalistische hersenpan voor elke specifieke taak perfect kunnen maken.

Technische Samenvatting: GenCeption – Videogeneratiemodellen als General-Purpose Vision Learners

1. Probleemstelling

Computer vision opereert momenteel in een tijdperk van "gespecialiseerde modellen", waarbij voor specifieke taken (bijv. diepteschatting, segmentatie of pose-estimatie) afzonderlijke architecturen vereist zijn. Dit staat in contrast met Natural Language Processing (NLP), waar Large Language Models (LLM's) zijn geëvolueerd tot verenigde foundation models die in staat zijn om diverse taken aan te pakken via een enkele architectuur die wordt gedreven door next-token prediction.

Het paper stelt dat computer vision een universeel pre-training doel mist dat analoog is aan next-token prediction. Bestaande paradigma's voor vision pre-training (bijv. contrastief leren, masked autoencoders zoals MAE/VideoMAE) missen vaak een inherente spatio-temporele verstand, natuurlijke visie-taal alignment, of het vermogen om effectief te schalen naar algemene intelligentie. De auteurs betogen dat het veld een paradigmaverschuiving nodig heeft van taakspecifieke engineering naar een verenigde, taak-agnostische architectuur die de 4D-fysica van de wereld kan internaliseren en natuurlijke taalinstructies kan volgen.

2. Methodologie: GenCeption

De auteurs introduceren GenCeption, een generalistisch video-perceptiemodel dat grootschalige text-to-video generatieve diffusiemodellen hergebruikt als pre-training basis voor perceptietaken. De methodologie is gebouwd op drie kernprincipes:

A. Multimodale Generatieve Pre-training als Representatie-leren

In plaats van een model vanaf nul te trainen voor perceptie, gebruikt GenCeption een vooraf getrainde text-to-video diffusie-backbone (specifiek WAN 2.1). Het generatieve doel van het creëren van hoogwaardige videosequenties geconditioneerd op tekst dwingt het model om het volgende te internaliseren:

Spatio-temporele priors: 3D-geometrie, objectpermanentie en fysieke wetten.
Visie-taal alignment: Een natuurlijk begrip van visuele concepten gekoppeld aan linguïstische semantiek.

B. Taak-agnostische Verenigde Architectuur

GenCeption behandelt diverse visietaken als een verenigd sequence-to-sequence mapping probleem.

Verenigde Representatie: Alle dense perceptietaken (diepte, oppervlaktenormalen, segmentatie, dense pose, camera raymaps) worden in kaart gebracht naar een standaard 3-kanaals RGB-ruimte binnen het bereik $[0, 1]$ . Bijvoorbeeld: dieptekaarten worden genormaliseerd en in kaart gebracht naar RGB-kanalen; cameraposes worden gerepresenteerd als "Raymaps" (ruimtelijk gepartitioneerde rotatie- en translatiecomponenten).
Sparse Taken: Voor gestructureerde outputs zoals 2D/3D keypoints voegt het model leerbare tokens toe aan de video-latents. Een MLP decodeert deze tokens om coördinaten per frame te voorspellen.
Instruction Steering: De specifieke doeltaak wordt uitsluitend gedefinieerd door een tekstprompt (bijv. "Depth," "Segmentation," "Pose"), wat de noodzaak voor taakspecifieke heads of architecturale modificaties elimineert.

C. Feed-Forward Herformulering

Hoewel diffusiemodellen doorgaans vertrouwen op trage, iteratieve denoising, vereist perceptie efficiëntie. GenCeption transformeert het multi-step diffusieproces in een single-step, feed-forward model:

De input voor de Diffusion Transformer (DiT) is de schone latent van de invoervideo (in plaats van ruisige latents).
De conditioning timestep is vastgesteld op $t=0$ (het einde van het generatieve proces).
Het model voorspelt de snelheid $v = \epsilon - x_0$ (gebaseerd op Rectified Flow objectives). De output wordt genegeerd ( $-v = x_0 - \epsilon$ ) om uit te lijnen met de doel-latent, waardoor directe, single-pass inferentie mogelijk is.

D. Trainingsstrategie

Data: Het model wordt primair getraind op synthetische data (7.500 video's gegenereerd van RenderPeople assets en CMU motion capture) om ground truth voor alle modaliteiten (diepte, normalen, maskers, poses) te garanderen. Real-world datasets worden alleen gebruikt voor expression-referring segmentation.
Loss Functie: Een verenigde $L_2$ loss wordt toegepast over alle taken in de latent space (voor dense taken) of output space (voor sparse taken). Taakspecifieke beperkingen (zoals schaalinvariantie voor diepte) worden afgehandeld via data preprocessing (bijv. het normaliseren van dieptekaarten door de mediaan van de scène) in plaats van aangepaste loss functies.

3. Belangrijkste Bijdragen

Paradigmaverschuiving: Het paper stelt dat grootschalige text-to-video generatie een superieur pre-training paradigma is voor computer vision vergeleken met traditionele self-supervised methoden (bijv. V-JEPA, VideoMAE), omdat het voldoet aan de vereisten voor spatio-temporele evolutie, visie-taal alignment en schaalbaarheid.
Verenigde Architectuur: GenCeption demonstreert een enkel model dat in staat is tot heterogene taken (dense en sparse) met behulp van een verenigde backbone, head en loss functie, gestuurd door enkel tekstprompts.
Efficiëntie: Door het iteratieve diffusieproces om te zetten in een single feed-forward pass, bereikt GenCeption real-time inferentie-snelheden (bijv. 13,6 FPS voor het 1.3B model) zonder in te boeten op nauwkeurigheid.
Emergent Gedrag: Het model vertoont zero-shot generalisatiecapaciteiten, inclus_ief sim-to-real transfer en generalisatie naar out-of-distribution (OOD) objectcategorieën (bijv. dieren en robots), ondanks dat het uitsluitend op synthetische menselijke data is getraind.

4. Experimentele Resultaten

De auteurs evalueren GenCeption op een diverse suite van benchmarks, waarbij ze het vergelijken met gespecialiseerde state-of-the-art (SOTA) modellen.

Prestaties vs. Specialisten: GenCeption evenaart of overtreft gespecialiseerde modellen over meerdere taken:
- Diepteschatting: Presteert beter dan of is gelijk aan DepthAnything V3, D4RT en VGGT- $\Omega$ .
- Oppervlaktenormalen: Overtreft NormalCrafter en Lotus-2.
- Segmentatie: Behaalt competitieve resultaten in foreground en expression-referring segmentation (waarbij het SAM3 overtreft in het begrijpen van complexe zinnen).
- 3D Pose: Levert sterkere 3D keypoint voorspellingen dan Genmo en TRAM.
Pre-training Vergelijking: Onder vergelijkbare instellingen presteert de video generatieve pre-trained backbone (WAN 2.1) aanzienlijk beter dan alternatieve pre-training paradigma's zoals V-JEPA en VideoMAE V2.
Data Efficiëntie: Het model bereikt prestaties vergelijkbaar met leidende modellen (D4RT, VGGT- $\Omega$ ) met 7× tot 500× minder trainingsdata.
Schaalbaarheid: Voorlopige resultaten laten zien dat de prestaties verbeteren met toenemende modelgrootte (1.3B naar 14B) en datavolume.

5. Betekenis en Claims

Het paper claimt dat video generatie niet louter een synthesetool is, maar een fundamenteel pad naar algemene visuele intelligentie.

De "World Model" Hypothese: De auteurs suggereren dat de rijke spatio-temporele priors die geleerd worden tijdens grootschalige video generatie effectief fungeren als een "wereldmodel" dat direct kan worden ingezet voor perceptie.
Schaalbaarheid: Door taakspecificaties te verschuiven van architecturale wijzigingen naar dataformaat ontwerpen (analoog aan hoe LLM's diverse taken afhandelen via tekst), maakt dit paradigma een naadloze schaling mogelijk naar een steeds groter wordend spectrum van visuele taken.
Emergente Generalisatie: Het vermogen van een model dat getraind is op synthetische menselijke data om te generaliseren naar real-world footage en ongeziene objectcategorieën (dieren, robots) zonder expliciete training, suggereert dat generatieve pre-training fundamentele fysieke en semantische regelmatigheden van de wereld vastlegt.

De auteurs concluderen dat deze aanpak de weg vrijmaakt voor een werkelijk verenigde visuele intelligentie voor de fysieke wereld, bewegend voorbij de beperkingen van gespecialiseerde, taakspecifieke computer vision modellen.