Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction" (Re2Pix), geschreven in het Nederlands.

1. Het Probleem

Videovoorspelling, vooral in complexe dynamische omgevingen zoals autonoom rijden, vereist zowel hoge visuele kwaliteit als consistente scenesemantiek. Bestaande moderne benaderingen (vaak end-to-end diffusion-modellen in de latent space van een VAE) hebben een fundamentele beperking: semantische structuur en visuele details zijn diep verweven in dezelfde latent representatie.

Dit leidt tot de volgende problemen:

• Semantische inconsistentie: Objecten kunnen van identiteit veranderen, structuren kunnen vervormen of er kunnen flitsende artefacten optreden.
• Onderlinge afhankelijkheid: Het model moet tegelijkertijd scene-dynamica infereren en fotorealistische details renderen, wat de convergentie vertraagt en de data-eisen verhoogt.
• Train-Test Mismatch: Bij hiërarchische modellen die eerst semantiek voorspellen en dan pixels genereren, treedt er een discrepantie op. Tijdens het trainen gebruikt het generatieve model "perfecte" ground-truth semantische features, maar tijdens inferentie moet het werken met "ruis" bevattende, autoregressief voorspelde features. Dit zorgt ervoor dat modellen overfitten op ideale signalen en bij inferentie wazige of oncoherente output produceren.

2. Methodologie: Re2Pix Framework

De auteurs stellen Re2Pix voor, een hiërarchisch raamwerk dat videovoorspelling ontbindt in twee distincte, maar interactieve stadia. In plaats van direct RGB-frames te voorspellen, wordt eerst de scene-structuur voorspeld in de feature-space van een Vision Foundation Model (VFM).

Stadium 1: Semantische Representatie Voorspelling

• Doel: Voorspellen van de toekomstige scene-structuur zonder zich te bekommeren om lage-niveau visuele details.
• Implementatie:
  • Een bevroren Vision Foundation Model (in dit geval DINOv2) extrahert semantische features ($h_t$) uit de contextframes.
  • Een Masked Feature Transformer (gebaseerd op DINO-Foresight) voorspelt autoregressief de toekomstige features ($\hat{h}_{M+1:K}$) in deze feature-space.
  • Dit stadium focust puur op het modelleren van temporele dynamiek en objectinteracties.

Stadium 2: Semantiek-Gestuurde Video Generatie

• Doel: Het renderen van fotorealistische toekomstige frames gebaseerd op de voorspelde semantiek.
• Implementatie:
  • Een Latent Video Diffusion Model (met een DiT-backbone, gebaseerd op Cosmos-Predict) genereert toekomstige latent codes ($\hat{z}$) in de ruimte van een VAE (WAN2.1).
  • Early Fusion: De voorspelde semantische features ($\hat{h}$) en de context-VAE latents ($z$) worden op het input-niveau samengevoegd via kanaalsommatie (channel-wise summation). Dit zorgt voor directe conditionering zonder de token-aantal te verhogen.
  • De decoder reconstrueert de RGB-frames uit de gegenereerde latents.

Oplossing voor de Train-Test Mismatch

Om het probleem van het overfitten op perfecte ground-truth features tijdens training op te lossen, introduceert Re2Pix twee cruciale strategieën:

1. Nested Dropout: Tijdens het trainen worden willekeurig kanalen van de semantische features uitgezet (truncatie). Het model leert zo om robuust te zijn en zich te baseren op de meest informatieve (coarse) semantische subruimtes, in plaats van te vertrouwen op fijne details die bij inferentie niet beschikbaar zijn.
2. Mixed Supervision: Het generatieve model wordt getraind met een mix van ground-truth features (90%) en voorspelde features (10%). Dit regulariseert het model zodat het niet alleen werkt met ideale signalen, maar ook goed presteert met de ruis van autoregressieve voorspellingen.

3. Belangrijkste Bijdragen

• Hiërarchisch "Semantics-to-Pixels" Raamwerk: Re2Pix is de eerste die aantoont dat het voorspellen van VFM-features een effectieve gids kan zijn voor hiërarchische video-diffusie, waardoor semantische coherentie en visuele kwaliteit gescheiden maar gecombineerd worden.
• Robuuste Conditionering: De introductie van nested dropout en mixed supervision sluit de kloof tussen training en inferentie, wat essentieel is voor betrouwbare autoregressieve video-generatie.
• Efficiëntie en Kwaliteit: Het model bereikt aanzienlijke verbeteringen in trainingssnelheid en eindkwaliteit ten opzichte van state-of-the-art baselines.

4. Resultaten

De experimenten zijn uitgevoerd op uitdagende driving benchmarks (Cityscapes, nuScenes, CoVLA, KITTI).

• Semantische Consistentie: Re2Pix toont een significante verbetering in temporele semantische consistentie (gemeten via mIoU voor segmentatie en diepteschatting) vergeleken met sterke baselines zoals REPA en VideoREPA.
• Generatiekwaliteit: Het model behaalt de beste scores voor FID (Fréchet Inception Distance) en FVD (Fréchet Video Distance), wat aangeeft dat de gegenereerde frames zowel ruimtelijk realistisch als temporeel coherent zijn.
• Trainingssnelheid: Een opvallend resultaat is de versnelde convergentie. Re2Pix bereikt dezelfde FID/FVD scores in 7x minder iteraties dan de baseline, en de semantische metrics convergeren zelfs 14x sneller.
• Generalisatie: Zelfs bij zero-shot evaluatie op KITTI (waar het model niet op is getraind) presteert Re2Pix beter dan gefinetuned grote modellen zoals Vista en Cosmos-Predict 2, ondanks het gebruik van minder trainingsdata en rekenkracht.
• Ablatie Studies: De studies bevestigen dat nested dropout essentieel is voor het verbeteren van de visuele kwaliteit zonder semantische consistentie te verliezen, en dat de keuze van de VFM (DINOv2 vs. SigLIP-2) het raamwerk robuust maakt.

5. Betekenis en Impact

Re2Pix markeert een paradigmaverschuiving in videovoorspelling. Door de taak te ontleden in "wat gebeurt er?" (semantiek) en "hoe ziet het eruit?" (pixels), lost het model het fundamentele probleem van verweven latent spaces op.

• Voor Autonoom Rijden: De verbeterde temporele consistentie en objectidentiteit zijn cruciaal voor veilige planning en besluitvorming in dynamische omgevingen.
• Efficiëntie: De snellere trainingstijden maken het haalbaarder om complexe wereldmodellen te trainen zonder de enorme rekenkosten van end-to-end pixel-generatie.
• Schalbaarheid: De aanpak is schaalbaar en toont aan dat het gebruik van voorgeprogrammeerde visuele foundation modellen als tussenlaag een krachtige strategie is voor generatieve AI, die zowel kwaliteit als efficiëntie verbetert.

Kortom, Re2Pix bewijst dat het expliciet modelleren van hiërarchische semantische structuren een effectieve en schaalbare strategie is voor het genereren van realistische toekomstige videoframes in complexe scenario's.