Turbo-DDCM: Fast and Flexible Zero-Shot Diffusion-Based Image Compression

Probleemstelling

Hoewel zero-shot compressiemethoden op basis van diffusiemodellen (die geen specifieke training vereisen voor compressie) aanzienlijke vooruitgang hebben geboekt in kwaliteit, blijven ze onpraktisch voor de dagelijkse toepassing vanwege hun extreme traagheid en hoge rekenkosten. Bestaande methoden, zoals DDCM (Denoising Diffusion Codebook Models) en DiffC, vereisen vaak honderden of zelfs duizenden denoising-stappen om een afbeelding te comprimeren en decomprimeren. Dit resulteert in inferentietijden van enkele seconden tot minuten per afbeelding, zelfs met geoptimaliseerde hardware. Er is een dringende behoefte aan een methode die de hoge kwaliteit van zero-shot diffusie behoudt, maar de snelheid drastisch verhoogt zonder afhankelijk te zijn van aangepaste hardware-acceleratie.

Methodologie: Turbo-DDCM

Turbo-DDCM bouwt voort op het DDCM-ramwerk, waarbij een afbeelding wordt gereconstrueerd door een reeks ruisvectoren te selecteren uit reproduceerbare Gaussische codeboeken. Het paper introduceert echter twee fundamentele innovaties om de snelheid te verhogen:

1. Efficiënte Multi-Atom Selectie (Gesloten Vorm Oplossing):

   • In plaats van de iteratieve, gretige "Matching Pursuit" (MP) strategie van DDCM te gebruiken (die zeer traag is), gebruikt Turbo-DDCM een gesloten-vorm oplossing voor een beperkt kleinste-kwadratenprobleem.
   • De methode benut het feit dat Gaussische codeboekvectoren in hoge dimensies bijna orthogonaal zijn. Hierdoor kan het algoritme in één keer een lineaire combinatie van een groot aantal ruisvectoren (atoms) selecteren om de residu (het verschil tussen de doelafbeelding en de schatting) zo goed mogelijk te benaderen.
   • Dit stelt de methode in staat om het aantal benodigde diffusiestappen drastisch te verminderen (van honderden naar slechts een paar dozijn, bijvoorbeeld $T=30$), terwijl de kwaliteit behouden blijft.

2. Efficiënt Bit-Protocol:

   • Wanneer men een groot aantal atoms ($M$) combineert, creëert de volgorde van selectie redundante informatie. Het oude protocol van DDCM codeerde de volgorde, wat inefficiënt was.
   • Turbo-DDCM introduceert een nieuw protocol dat de lexicografische index van de geselecteerde combinatie van $M$ atoms codeert, in plaats van de individuele volgorde. Dit elimineert de factoriële redundantie ($M!$) en verlaagt de bits per pixel (BPP) met ongeveer 40% voor typische configuraties.

3. Varianten voor Flexibiliteit:

   • Priority-Aware: Een variant die het compressieproces aanpast aan een gebruikersgespecificeerde prioriteitsmasker. Dit zorgt voor hogere reconstructiekwaliteit in specifieke gebieden (bijv. gezichten in medische beelden) ten koste van minder belangrijke gebieden, zonder de totale bitrate te veranderen.
   • Distortion-Controlled: Een variant die in plaats van een vaste bitrate, een doel-PSNR (Peak Signal-to-Noise Ratio) nastreeft. Dit lost het probleem op dat zero-shot methoden bij een vaste bitrate zeer variabele vervorming per afbeelding kunnen vertonen.

Belangrijkste Bijdragen

• Snelheid: Turbo-DDCM is de snelste zero-shot compressiemethode tot nu toe. Het bereikt een rondreis-tijd (compressie + decompressie) van ongeveer 1,8 seconden per afbeelding op een standaard GPU (NVIDIA A40), zonder aangepaste CUDA-kernen. Dit is een snelheidswinst van bijna een orde van grootte (10x tot 34x sneller) ten opzichte van de snelste bestaande methoden.
• Kwaliteit: De methode behoudt een concurrentievermogen met state-of-the-art methoden op het gebied van rate-distortion-perception trade-off, zowel in PSNR als in perceptuele kwaliteit (LPIPS, FID).
• Voorspelbaarheid: In tegenstelling tot methoden zoals DiffC, biedt Turbo-DDCM een constante bitrate over verschillende afbeeldingen voor een gegeven instelling, wat essentieel is voor praktische toepassingen.
• Zero-Shot Flexibiliteit: Het maakt gebruik van een vooraf getraind latent diffusion model (Stable Diffusion 2.1 Base) zonder verdere training of fine-tuning, waardoor het model makkelijk vervangbaar is voor toekomstige verbeteringen.

Resultaten

• Benchmarking: Experimenten op de Kodak24 en DIV2K datasets tonen aan dat Turbo-DDCM superieur is aan andere zero-shot methoden (PSC, DDCM, DiffC) in zowel snelheid als kwaliteit.
• Vergelijking met getrainde methoden: Hoewel getrainde methoden (zoals BPG of StableCodec) soms betere distortion-waarden halen, presteert Turbo-DDCM opvallend goed, vooral bij lage bitrates, en verslaat het diverse getrainde perceptuele methoden.
• Efficiëntie: De gesloten-vorm oplossing voor het combineren van atoms is orders van grootte sneller dan de iteratieve zoektocht van DDCM, wat de reductie in het aantal diffusiestappen mogelijk maakt.
• Prioriteit: De priority-aware variant slaagt erin om specifieke regio's met hoge fideliteit te reconstrueren op extreem lage bitrates, waar andere methoden deze regio's volledig missen.

Betekenis en Impact

Turbo-DDCM is een doorbraak omdat het de "praktijkbaarheid" van zero-shot diffusiecompressie oplost. Het bewijst dat diffusiemodellen niet noodzakelijkerwijs traag hoeven te zijn voor compressie. Door de rekenkosten drastisch te verlagen en de flexibiliteit te vergroten (via prioriteit en vervormingscontrole), opent deze methode de deur voor real-time toepassingen van zero-shot compressie in scenario's zoals medische beeldvorming, videoconferenties en contentcreatie, waar zowel snelheid als kwaliteit cruciaal zijn. Het paper legt ook een brug tussen theoretische optimalisatie (gesloten vorm oplossingen voor sparse least squares) en praktische deep learning-toepassingen.