Technische Samenvatting: Adaptive 1D Video Diffusion Autoencoder (One-DVA)

1. Probleemstelling

Recente video-generatiemodellen vertrouwen zwaar op video-autoencoders om pixelruimte-video's te comprimeren naar latente representaties. Echter, bestaande video-autoencoders lijden onder drie kritieke beperkingen:

1. Fixed-Rate Compressie: Huidige modellen gebruiken een vast aantal tokens, ongeacht de complexiteit van de video. Dit verspilt tokens aan eenvoudige video's en faalt in het optimaliseren van efficiëntie, aangezien eenvoudige scènes minder tokens vereisen dan scènes met complexe texturen en beweging.
2. Inflexibele CNN-architecturen: Traditionele Convolutional Neural Networks (CNN's) vertrouwen op vaste kernelgroottes en door mensen ontworpen priors, wat ze minder geschikt maakt voor het verwerken van variabel gevormde inputs of het decoderen van variabellengte latents.
3. Deterministische Decoders: Standaard decoders zijn deterministisch en hebben moeite met het herstellen van passende details uit sterk gecomprimeerde latents. Wanneer het aantal tokens laag is, dwingt verlieslatende compressie de decoder om ontbrekende details te infereren, wat vaak leidt tot reconstructiefouten.

2. Methodologie

De auteurs stellen de One-Dimensional Diffusion Video Autoencoder (One-DVA) voor, een transformer-gebaseerd framework ontworpen voor adaptieve 1D-codering en diffusie-gebaseerde decodering.

Architectuur

• Encoder (Query-based Vision Transformer): De encoder maakt gebruik van een Vision Transformer (ViT) backbone om spatiotemporele kenmerken uit videoframes te extraheren. Het gebruikt leerbare 1D-queries die interageren met deze kenmerken via self-attention om essentiële visuele inhoud te extraheren. Dit produceert een hybride latente representatie bestaande uit:
  • Structurele Latents: Afgeleid van de ViT-backbone, die de ruimtelijke structuur vastleggen.
  • 1D Latent Sequentie: Geëxtraheerd via het query-mechanisme.
• Variabele-lengte Dropout: Een "matryoshka" trainingsstrategie wordt toegepast waarbij een variabele-lengte dropout-mechanisme de 1D-latente sequentie dynamisch inkort vanaf de staart naar de kop toe. De dropout-ratio wordt gesampled op basis van een motion score berekend uit pixelverschillen, waardoor het model de latente grootte kan aanpassen aan de complexiteit van de video.
• Decoder (Pixel-Space Diffusion Transformer): De decoder is een Diffusion Transformer (DiT) die opereert in de pixelruimte. Het behandelt de latente representaties (structureel en 1D) als conditionele inputs en voert een diffusieproces uit om de video te reconstrueren. Deze generatieve aanpak stelt de decoder in staat om de datasetdistributie te leren en ontbrekende details te compenseren.

Trainingsstrategie

One-DVA hanteert een tweefasige trainingsstrategie om een hoge reconstructiefailliteit en generatief vermogen te garanderen:

1. Fase 1: Deterministische Pretraining: De encoder wordt geoptimaliseerd om kritieke kenmerken te extraheren. De decoder ontvangt pure willekeurige ruis (waarbij het diffusieproces wordt omzeild) en de volledige latente input. Dit dwingt de encoder om alle noodzakelijke informatie vast te leggen zonder te vertrouwen op de generatieve priors van de decoder.
2. Fase 2: Stochastische Post-Training: Diffusie-timestep sampling en variabele-lengte dropout worden geïntroduceerd. Het model wordt getraind met een samengestelde loss-functie inclusief diffusie loss (flow-matching), perceptuele loss, KL-divergentie (om de latente distributie te regulariseren) en REPA loss.

Adaptatie voor Downstream Generatie

Om downstream latent diffusion modellen (LDM) te ondersteunen:

• Latente Ruimte Uitlijning: Een regularisatieterm lijnt de 1D-latents uit met de structurele latents via het minimaliseren van de cosinusafstand en het maximaliseren van zelfgelijkenis, waardoor structurele priors in de flexibele 1D-queries worden geïnjecteerd.
• Decoder Fine-tuning: De decoder wordt gefinetuned met latents gesampled uit de getrainde LDM (in plaats van gecodeerde ground-truth latents). Dit overbrugt de kloof tussen training en inferentie, waardoor artefacten veroorzaakt door voorspellingsfouten in het generatieve proces worden gemitigeerd.

3. Belangrijkste Bijdragen

• Adaptieve 1D-Codering: Introductie van een transformer-gebaseerde encoder met query-gebaseerde mechanismen en variabele-lengte dropout, wat dynamische compressieratio's mogelijk maakt die zijn afgestemd op de video-inhoud.
• Generatieve Decodering: Implementatie van een pixel-space diffusion transformer als decoder, wat het reconstructieparadigma verschuift van deterministische mapping naar conditionele generatie om verloren gegane details te herstellen.
• Tweefasige Training & Regularisatie: Een nieuw trainingspipeline dat de optimalisatie van feature extractie scheidt van generatieve decodering, gekoppeld aan specifieke uitlijning en fine-tuning technieken om de latente ruimte te optimaliseren voor downstream video-generatie.

4. Experimentele Resultaten

Het model werd geëvalueerd op video-reconstructie en generatietaken (class-to-video en text-to-video).

• Reconstructie Prestaties: Bij standaard compressieratio's (4×16×16) bereikt One-DVA reconstructiemetrieken (PSNR, SSIM, rFVD) die vergelijkbaar zijn met of beter zijn dan state-of-the-art 3D-CNN VAE's (bijv. CogVideoX, HunyuanVideo, Wanx2.1/2.2).
  • PSNR: 36.48 (vs. 35.54 voor HunyuanVideo).
  • rFVD: 56.96 (lager is beter).
• Adaptieve Compressie: Experimenten tonen aan dat adaptieve latente lengtes (gebaseerd op motion scores) beter presteren dan fixed-length baselines. Video's met veel beweging vereisen langere latents om de kwaliteit te behouden, terwijl eenvoudige video's agressiever gecomprimeerd kunnen worden.
• Generatie Kwaliteit: Wanneer gebruikt als backbone voor Latent Diffusion Models, bereikt One-DVA een class-to-video gFVD van 210.9, wat overeenkomt met de prestaties van Hi-VAE + DiT.
  • Ablatie-studies bevestigen dat de decoder fine-tuning stap cruciaal is; het weglaten hiervan resulteert in een significante prestatiedaling (gFVD 274.2).
  • Het gebruik van enkel structurele latents (0% 1D) levert redelijke resultaten op, maar is beperkt door een gebrek aan hoogfrequente informatie.

5. Betekenis en Claims

Het artikel claimt dat One-DVA succesvol adaptieve video-tokenisatie en diffusie-gebaseerde generatieve decodering verenigt binnen een enkel transformer-framework. De primaire betekenis ligt in:

1. Efficiëntie: Door variabele-lengte codering te ondersteunen, optimaliseert het tokengebruik en voorkomt het verspilling bij eenvoudige content.
2. Flexibiliteit: Het overwint de architecturale rigiditeit van CNN's, waardoor het inputs en outputs van willekeurige vormen kan verwerken via attention-mechanismen.
3. Generatieve Reconstructie: Het herformuleert video-reconstructie als een generatieve subtaak, waardoor het model details kan herstellen die verloren zijn gegaan tijdens agressieve compressie door de datadistributie te leren.
4. Downstream Compatibiliteit: Het framework biedt een latente ruimte en decoder die specifiek geregulariseerd en gefinetuned zijn om hoogwaardige downstream latent diffusion modellen voor video-generatie te ondersteunen.

De auteurs concluderen dat One-DVA een reconstructiekwaliteit bereikt die vergelijkbaar is met geavanceerde 3D-CNN VAE's, terwijl het de flexibiliteit en generatieve capaciteiten biedt die vereist zijn voor de volgende generatie videosynthese.