💻 computer science

Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator

Uni-ViGU is een nieuw framework dat videogenereatie en -begrip verenigt door een generatieve basis te gebruiken met een unificatieflow-methode en een bidirectionele trainingsstrategie, waardoor het een schaalbare route biedt naar uniforme multimodale intelligentie.

Oorspronkelijke auteurs: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meester-kok bent die fantastische gerechten kan maken (dat is video-generatie), maar die eigenlijk niet goed kan uitleggen wat er precies in die gerechten zit of waarom ze zo lekker smaken (dat is video-begrip).

Meestal proberen onderzoekers het andere kantje op: ze nemen een kok die heel goed kan praten en proberen hem te leren koken. Maar dat is lastig, want het koken (het maken van video's) is enorm veel werk en kost veel meer energie dan het praten. Het is alsof je probeert een snelle prater te trainen om een marathon te lopen; hij valt snel uit.

De auteurs van dit paper, Uni-ViGU, hebben een slimme ommezwaai bedacht: "Waarom proberen we niet de meester-kok (de video-maker) te leren praten?"

Hier is hoe ze dat doen, vertaald in alledaags taal:

1. De Grote Ommezwaai: Van "Praten naar Koken" naar "Koken naar Praten"

Normaal gesproken bouwen AI-modellen die eerst goed zijn in begrijpen (zoals een chatbot) en proberen die dan ook video's te laten maken. Maar het maken van een video is als het bouwen van een hele stad: het kost miljoenen stappen en veel rekenkracht. Het begrijpen van een video is meer als het lezen van een krant: veel sneller.

Uni-ViGU draait dit om. Ze nemen een bestaande, superkrachtige video-generator (die al weet hoe je een film maakt) en bouwen daarop een systeem dat ook kan begrijpen en beschrijven wat er te zien is. Het is alsof je een ervaren architect (die gebouwen kan ontwerpen) vraagt om ook een gids te zijn die het gebouw kan uitleggen. Omdat de architect al weet hoe het gebouw is opgebouwd, is het voor hem makkelijker om het te beschrijven dan voor een gids om het gebouw te bouwen.

2. De "Twee-Wegs Straat" (Uni-Flow)

Het grootste probleem is dat video en tekst heel verschillend zijn.

Video is als een stromende rivier: het is continu en vloeiend.
Tekst is als een rij steenblokjes: het bestaat uit losse woorden.

Meestal moet je twee verschillende machines gebruiken: één voor de rivier en één voor de steenblokjes. Uni-ViGU heeft een slimme truc bedacht, genaamd "Uni-Flow".
Stel je voor dat je een brug bouwt die zowel voor auto's (video) als voor fietsers (tekst) werkt.

Voor de video gebruiken ze een techniek die de rivier geleidelijk van troebel water (ruis) naar helder water (de film) laat stromen.
Voor de tekst gebruiken ze een vergelijkbare techniek, maar dan voor de steenblokjes: ze beginnen met een hoop losse, willekeurige blokjes en ordenen die langzaam tot een zin.

Door dit in één proces te doen, kunnen de twee systemen met elkaar praten terwijl ze werken. De tekst helpt de video te vormen, en de video helpt de tekst te verfijnen.

3. De "Slimme Chef" met Twee Keukens (MoE)

De onderliggende AI is een enorm brein (een Transformer). De auteurs zeggen: "Laten we dit brein niet volledig vervangen, maar er een paar extra keukens aan toevoegen."

Ze houden de hoofdkeuken (de video-generator) intact. Die weet al precies hoe je een film maakt.
Ze voegen een speciale tekst-keuken toe. Dit is een lichtgewicht toevoeging die alleen zorgt voor het maken van woorden.

Het brein deelt de "kennis over relaties" (hoe dingen met elkaar verbonden zijn) tussen beide keukens, maar gebruikt aparte "specialisten" voor het daadwerkelijke werk. Zo blijft de video-kwaliteit hoog, maar leert het systeem ook snel tekst te produceren.

4. De Twee Trainingsfasen: Eerst Herinneren, Dan Verdiepen

Om dit brein te trainen, gebruiken ze een slimme tweestapsmethode:

Fase 1: Het Herinneren (Knowledge Recall)
Stel je voor dat je iemand een film laat zien en vraagt: "Wat was de opdracht die je kreeg om deze film te maken?" Omdat de AI de film zelf heeft gemaakt, weet hij het antwoord al. Maar om te voorkomen dat hij gewoon de opdracht letterlijk overneemt, maken ze de opdracht even onzichtbaar. De AI moet dan echt uit de film zelf halen wat er aan de hand was. Dit traint het brein om de link tussen beeld en woord te gebruiken.
Fase 2: Het Verdiepen (Capability Refinement)
Nu de AI de basis heeft, geven we hem een moeilijker doel. In plaats van een korte opdracht ("een hond"), vragen we hem om een heel gedetailleerd verslag te schrijven ("een bruine hond die op een rood tapijt springt terwijl de zon ondergaat"). Omdat de korte opdracht niet genoeg informatie bevat, moet de AI echt naar de film kijken om die details te vinden. Hierdoor leert hij echt begrijpen wat er in de video gebeurt, in plaats van alleen te raden.

Waarom is dit belangrijk?

Vroeger dachten we dat we eerst een slimme "begrijper" moesten bouwen en die dan moesten leren "maken". Dit paper zegt: "Nee, laten we de 'maker' leren begrijpen."
Omdat het maken van video's al zo veel rekenkracht kost, is het veel efficiënter om die krachtige maker als basis te nemen. Het is alsof je een Formule 1-auto gebruikt om een ritje door de stad te maken, in plaats van een fiets te proberen om de Formule 1 te laten rijden.

Kortom: Uni-ViGU is een slimme manier om een AI die al heel goed films kan maken, ook te leren die films te beschrijven en te begrijpen, door de kracht van het maken te gebruiken als fundament voor het begrijpen.

Probleemstelling

Huidige geünificeerde multimodale modellen die visueel begrip (understanding) en generatie (generation) combineren, staan voor een fundamenteel probleem: computatiekosten.

Onbalans: Visuele generatie (vooral video) is computatief veel intensiever dan visueel begrip. Diffusiemodellen vereisen duizenden iteratieve denoising-stappen, wat leidt tot een enorm token-verbruik (miljoenen tokens per video-sample).
Bestaande aanpak: De meeste onderzoeken proberen bestaande "begrip-gerichte" Multimodale Large Language Models (MLLMs) uit te breiden om generatie te ondersteunen. Dit is echter inefficiënt en schaalt slecht naar video, omdat de rekenlast van de generatie de architectuur overweldigt.
De uitdaging: Hoe kan men een model bouwen dat zowel hoogwaardige video's kan genereren als deze begrijpt, zonder dat de rekenkosten onbeheersbaar worden?

Methodologie: Uni-ViGU

De auteurs introduceren Uni-ViGU, een raamwerk dat de paradigma omkeert: in plaats van een begripsmodel uit te breiden, wordt een pre-getrainde video-generator (gebaseerd op WAN2.1) gebruikt als de fundamentele architectuur.

1. Uni-Flow: Unificatie van Continu en Discreet

De grootste technische uitdaging is de mismatch tussen video (continu latentruimte, geschikt voor diffusie) en tekst (discrete tokens, traditioneel autoregressief). Uni-ViGU lost dit op met een Unificatie-Flow (Uni-Flow) methode:

Video: Wordt gemodelleerd via continu flow matching in de latentruimte van een VAE (variational autoencoder).
Tekst: Wordt gemodelleerd via discrete flow matching over token-embeddings binnen hetzelfde diffusie-raamwerk.
Gecombineerd proces: Het model leert simultaan twee snelheidsvelden (velocity fields) te voorspellen: één voor het denoisen van video en één voor het denoisen van tekst. Dit gebeurt binnen één enkele generatieve cyclus waarbij de tijdstappen ( $\tau$ ) voor beide modaliteiten onafhankelijk kunnen variëren, waardoor cross-modale afhankelijkheden op alle ruisniveaus kunnen worden geleerd.

2. Modality-Driven MoE Architectuur

Om de kennis van de video-generator te behouden terwijl tekstgeneratie wordt toegevoegd, gebruiken de auteurs een Modality-Driven Mixture-of-Experts (MoE) ontwerp:

Gedeelde Attention: De Self-Attention en Cross-Attention lagen worden gedeeld tussen video en tekst tokens. Dit behoudt de sterke visueel-semantische uitlijning die al in de pre-training van de video-generator is geleerd.
Gescheiden FFN (Feed-Forward Networks): De Feed-Forward lagen worden gesplitst in twee experts:
- $FFN_v$ : Behoudt de gewichten van de pre-getrainde video-generator (behoudt generatieve priors).
- $FFN_t$ : Wordt nieuw geïnitieerd voor tekstgeneratie.
Dit zorgt voor een efficiënte architectuur met minimale extra parameters, waarbij de sterke visuele basis intact blijft.

3. Bidirectionele Trainingsstrategie

Het trainingsproces bestaat uit twee fasen om kennisoverdracht van generatie naar begrip te faciliteren:

Fase 1: Knowledge Recall (Kennisherroeping):
- Doel: Het model leren om de prompt te reconstrueren uit de video.
- Methode: De doeltekst is identiek aan de invoer-prompt. Er wordt condition dropout toegepast (de prompt wordt soms verwijderd), waardoor het model gedwongen wordt de tekst te herleiden uit de video-latent. Dit activeert de bestaande text-to-video mapping in omgekeerde richting.
Fase 2: Capability Refinement (Capaciteitsverfijning):
- Doel: Feitelijke video-begrip vaardigheden ontwikkelen.
- Methode: De doeltekst wordt vervangen door gedetailleerde video-omschrijvingen (die veel rijker zijn dan de korte prompt). Het model moet nu via de gedeelde attention mechanismen fijne visuele details, objectattributen en ruimtelijke relaties uit de video halen om de gedetailleerde tekst te genereren. Dit dwingt het model tot echte semantische begrip.

Belangrijkste Bijdragen

Paradigmaverschuiving: Het bewijs dat het uitbreiden van een video-generator een schaalbaarder en principieel betere route is voor unificatie dan het uitbreiden van een begripsmodel.
Uni-Flow Methode: Een innovatieve techniek die continu flow matching (video) en discrete flow matching (tekst) combineert in één enkel generatief proces, waardoor een coherent multimodaal model ontstaat.
Efficiënte Architectuur: Een MoE-ontwerp dat gedeelde attention-lagen gebruikt voor uitlijning en gespecialiseerde FFN-lagen voor modaliteit-specifieke taken, waardoor de pre-getrainde visuele kennis optimaal wordt benut.
Bidirectionele Training: Een tweestapsstrategie die eerst de bestaande generatieve kennis "herroept" en deze vervolgens verfijnt tot gedetailleerd visueel begrip.

Resultaten

Prestaties: Uni-ViGU bereikt concurrerende prestaties op zowel video-generatie als video-begrip taken.
Kwaliteit: Het model kan niet alleen video's genereren op basis van prompts, maar ook gedetailleerde, semantisch nauwkeurige beschrijvingen genereren van video's (video captioning).
Gecombineerde Generatie: Het model kan video en tekst simultaan genereren vanuit ruis, waarbij de twee modaliteiten elkaar wederzijds verfijnen (de tekst geeft semantische richting aan de video, en de video geeft visuele context aan de tekst).
Efficiëntie: Door gebruik te maken van een pre-getrainde generator, wordt de trainingskost en rekenlast aanzienlijk verlaagd ten opzichte van het trainen van een unificatie-model van nul af aan.

Betekenis en Impact

Uni-ViGU biedt een nieuwe richting voor universele multimodale intelligentie. Het paper onderstreept dat visuele generatie de dominante kost in multimodale systemen is en dat het benutten van de rijke visueel-semantische priors van diffusie-modellen een meer natuurlijke en schaalbare basis biedt dan het proberen om taalmodellen visueel te maken.

De aanpak lost het probleem van de "rekenkundige onbalans" op en demonstreert dat begrip en generatie twee kanten van dezelfde munt zijn: als een model weet hoe het een video uit tekst maakt, kan het (met de juiste training) ook de tekst uit de video afleiden. Dit opent de deur naar toekomstige modellen die naadloos kunnen schakelen tussen het zien, begrijpen en creëren van visuele content.