Next-Frame Decoding for Ultra-Low-Bitrate Image Compression with Video Diffusion Priors

Probleemstelling

Ultra-low-bitrate image compression (ULB-IC) is een kritiek gebied vanwege de explosieve groei van beelddata. Bestaande methoden, vooral die gebaseerd op generatieve modellen zoals Diffusiemodellen (Diffusion Models), kampen met drie centrale uitdagingen:

1. Semantische drift en onzekerheid: Traditionele generatieve codecs gebruiken vaak een Gaussische initialisatie en conditionele signalen die onduidelijk invloed hebben op het denoising-proces. Dit kan leiden tot afwijkingen van de broninhoud (semantische drift) en een gebrek aan trouw aan de originele afbeelding.
2. Berekeningskosten: Het iteratieve denoising-proces van diffusiemodellen vereist veel stappen (vaak 50+), wat resulteert in hoge latentie en een onpraktisch decodeerproces voor real-time toepassingen.
3. Dilemma tussen realisme en trouw: Het is moeilijk om tegelijkertijd fotorealistische texturen te genereren en de exacte geometrie en semantiek van de bronafbeelding te behouden.

Methodologie: NeFIC

De auteurs stellen NeFIC (Next-Frame Image Compression) voor, een nieuw paradigma dat beeldcompressie herschrijft als een virtueel temporair proces. In plaats van een statische reconstructie, wordt het decoderen gezien als een evolutie van een compacte "anker"-afbeelding naar de uiteindelijke hoge-kwaliteit reconstructie.

De methode maakt gebruik van een Pretrained Video Diffusion Model (VDM) (specifiek CogVideoX-1.5) als prior, in plaats van een standaard Image Diffusion Model (IDM).

Kernconcepten:

1. Compacte Ankerframe (Anchor Frame):

   • Tijdens het coderen wordt een tussenliggende staat gedefinieerd: een zichtbare, compacte ankerframe.
   • Deze frame behoudt de scene-geometrie, semantische lay-out en ruwe verschijning, maar verwijdert hoogfrequente details.
   • Dit dient als de "eerste frame" in een virtueel tweeframe-video.

2. Next-Frame Predictie (Virtual Temporal Transition):

   • Het decoderen wordt geherformuleerd als een "next-frame prediction" taak. De VDM moet de overgang van het ankerframe (vaag/laag detail) naar het doelbeeld (scherp/hoge detail) modelleren.
   • Dit benut de ingebouwde "defocus-to-focus" transitie prior van VDM's, die zijn getraind op grote video-datasets waar objecten vaak van onscherp naar scherp gaan.

3. Twee-staps Trainingspipeline:
   Om de kloof tussen videogenereer en beelddecoding te overbruggen en de snelheid te verhogen, wordt een tweestaps trainingsstrategie gebruikt:

   • Fase I: Next-Frame Decoding Adaptation:

     • Het VDM wordt fijngefineerd (via LoRA) om details te synthetiseren vanuit het ankerframe, terwijl ongewenste temporale artefacten (zoals objectbeweging of flicker) worden onderdrukt.
     • Het model leert de overgang van een compacte latent naar een gedetailleerde latent in een multi-step diffusion proces.
     • Er wordt een Auxiliary Anchor Loss toegevoegd om ervoor te zorgen dat het ankerframe binnen de trainingsdistributie van de Video-VAE blijft.

   • Fase II: One-Step Generative Bypass:

     • Om de hoge latentie van multi-step denoising te elimineren, wordt het proces gereduceerd tot één stap.
     • Conditionele Anker-codering: De anker-encoder wordt gekoppeld aan de latents van de Video-VAE om de semantische uitlijning te verbeteren.
     • Bypass Refinement: Een Transformer-module leert een "bypass latent" te genereren vanuit het decodeerpad van het anker. Deze bypass latent fungeert als een informatieve startpunt (in plaats van ruis) voor de één-staps generatie.
     • Het model voert één enkele denoising-stap uit (bij $t^* = 500$) om de finale reconstructie te verkrijgen.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Herschrijving van generatieve beelddecoding als een virtuele temporale evolutie van een anker naar een realistische reconstructie, gebruikmakend van VDM-priors.
2. Efficiënte Generatieve Decoding: Een tweestaps trainingspijplijn die VDM's aanpast aan compressiebewuste next-frame predictie en multi-step diffusion omzet in één-staps generatie.
3. Superieure Prestaties: Het model bereikt state-of-the-art resultaten in zowel objectieve als subjectieve metingen, met een aanzienlijke snelheidswinst.

Resultaten

De methode is getest op datasets zoals CLIC2020, Kodak en DIV2K en vergeleken met recente SOTA-methoden (zoals DiffC, PerCo, StableCodec).

• Bitrate-besparingen: Op de CLIC2020 testset behaalt NeFIC meer dan 50% bitrate-besparing ten opzichte van DiffC over alle perceptuele metrics (LPIPS, DISTS, FID, KID).
• Kwaliteit: Het model behoudt zowel fotorealistische texturen als een hoge trouw aan de broninhoud (geometrie en semantiek). Bijvoorbeeld, het kan fijne details zoals rillingen op glaswerk of corrosiepatronen op muren nauwkeurig reconstrueren waar andere modellen falen.
• Snelheid: Door de overgang naar één-staps generatie, bereikt NeFIC een decodeer-snelheidswinst van tot 5x (en tot 32x op hoge resolutie) vergeleken met multi-step diffusion codecs, terwijl het sneller is dan veel VAE-gebaseerde codecs.
• Ablatie Studies: Experimenten tonen aan dat beide trainingsfasen (Fase I en II) essentieel zijn. Het verwijderen van de "Bypass Refinement" of "Conditional Encoding" leidt tot significante kwaliteitsdalingen en semantische drift.

Betekenis en Impact

Dit werk markeert een verschuiving in het veld van beeldcompressie door de kracht van Video Diffusion Models te benutten voor statische beeldherstel. Door het probleem te herformuleren als een temporale evolutie (van vaag naar scherp) in plaats van een statische reconstructie, lost NeFIC het fundamentele compromis op tussen compressie-efficiëntie, perceptuele realisme en bron-trouw.

De introductie van een one-step generative bypass maakt generatieve compressie voor het eerst praktisch toepasbaar in scenario's waar lage latentie vereist is. Dit opent de deur voor toekomstige toepassingen in ultra-low-bitrate communicatie, waarbij hoge kwaliteit en snelheid hand in hand gaan. De code zal later openbaar worden gemaakt, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap zal stimuleren.