Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models

Dit artikel introduceert een nieuw raamwerk voor visuele representatie waarbij video's worden gecodeerd als functies met lage-rang aanpassingen op een bevroren generatief model, waardoor compressie met uiterst lage bitrates mogelijk is en een brug wordt geslagen tussen beeldcompressie en generatie.

De kern

Stel je voor dat je een hele film wilt opslaan op je telefoon, maar je hebt maar een heel klein stukje ruimte over. Normaal gesproken zou je de film in stukjes hakken, elk frame comprimeren en duizenden getallen opslaan. Maar wat als je in plaats daarvan de film niet als een reeks beelden opslaat, maar als een recept?

Dat is precies wat dit nieuwe onderzoek doet. Het noemen het "Compressie als Aanpassing". Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blanco" Muur

Stel je een gigantische, superintelligente kunstenaar voor (een AI-model) die duizenden films en foto's heeft gezien. Deze kunstenaar weet precies hoe een zonsondergang eruitziet, hoe een hond rent of hoe regen op een raam valt. Hij heeft dit allemaal in zijn hoofd.

Maar tot nu toe, als je een video wilde opslaan, moest je die video als een stapel losse foto's (pixels) geven aan de kunstenaar. De kunstenaar keek er naar, maar wist niet dat hij die specifieke video al "kende" via zijn ervaring. Het was alsof je een recept voor een taart opschrijft op een los vel papier, terwijl de bakker het recept al uit zijn hoofd kent. Dat is inefficiënt en neemt veel ruimte in beslag.

2. De Oplossing: Het "Recept" (De Adaptatie)

In plaats van de hele video op te slaan, vragen de onderzoekers: "Kunnen we de kunstenaar niet gewoon een klein notitieje geven dat zegt: 'Pas je kennis een beetje aan om deze specifieke video te maken'?"

Ze gebruiken een techniek die LoRA (Low-Rank Adaptation) heet.

• De Analogie: Stel je voor dat de AI een enorme, zware machine is die elke denkbare video kan maken. Om een specifieke video (bijvoorbeeld een clip van een kat die springt) te maken, hoef je de hele machine niet te vervangen. Je hoeft alleen maar een paar kleine schroefjes aan te draaien of een paar knoppen iets anders te zetten.
• Dit "aanpassen" is het recept. In plaats van de video zelf op te slaan, slaan we alleen deze kleine aanpassing op.

3. De Magie: Van Recept naar Één Getal

Het meest verrassende is dat ze deze "aanpassing" (het recept) kunnen samenvouwen tot één enkele, compacte vector (een reeks getallen).

• Vergelijkbaar met: Een hele film van 81 seconden comprimeren tot één klein USB-stickje dat kleiner is dan een postzegel.
• Als je dit "stickje" later teruggeeft aan de AI, kan de AI het recept lezen, zijn kennis activeren en de video opnieuw "afbakken". Het resultaat ziet er bijna perfect uit, maar het kostte maar een fractie van de ruimte.

4. Waarom is dit zo slim? (De Voordelen)

• Het is een levend recept: Normale videobestanden zijn dood; ze zijn vastgezet. Maar omdat dit een "recept" is voor een AI, kun je het recept nog steeds gebruiken om dingen te veranderen.

  • Voorbeeld: Je slaat een video op van een meisje met blond haar. Later kun je het recept gebruiken om de AI te vragen: "Maak hetzelfde meisje, maar nu met zwart haar." De AI "onthoudt" het meisje dankzij het recept, maar past de kleur aan. Het is alsof je een foto hebt die je kunt herschrijven zonder de originele foto te hoeven bewaren.

• Betere kwaliteit door "nadenken": Als je de video afspeelt, kan de AI extra tijd nemen om na te denken over de beste manier om het beeld te maken (in het Engels: inference-time scaling).

  • Vergelijking: Stel je voor dat je een tekening maakt. Normaal doe je dat in één keer. Met deze methode kun je zeggen: "Wacht even, ik maak 100 schetsen en kies de allerbeste." Dit kost de computer even meer rekenkracht, maar het resultaat is veel mooier en scherper, zonder dat je meer opslagruimte nodig hebt.

Samenvatting in één zin

In plaats van een video als een stapel foto's op te slaan, slaan we op hoe een slimme AI die video moet maken, en dat "hoe" is zo klein dat het in één klein getal past, maar toch een prachtige, bewerkbare video oplevert.

Het is alsof je niet de hele taart opslaat, maar alleen het perfecte recept dat je kunt gebruiken om de taart altijd weer opnieuw te bakken, en zelfs de smaak kunt veranderen terwijl je hem bakt.

Technische samenvatting

1. Het Probleem

Moderne visuele generatieve modellen (zoals diffusion-modellen) hebben door middel van training op grote schaal rijke visuele kennis verworven. Echter, bestaande visuele representaties voor compressie (zoals pixels, latente variabelen of tokens) blijven extern aan het model. Ze moeten apart worden gecodeerd en vervolgens als input aan het model worden gegeven. Deze scheiding tussen de interne kennis van het model en de externe signaalrepresentatie leidt tot:

• Redundantie en inefficiëntie: Het model moet de basisvisuele kennis opnieuw "leren" of verwerken voor elk specifiek signaal.
• Beperkte opslag: Het is moeilijk om visuele informatie compact op te slaan en direct te hergebruiken binnen het generatieve proces.
• Gebrek aan flexibiliteit: Traditionele codecs bieden weinig controle over de reconstructie tijdens de inferentie (tijdens het decoderen).

2. Methodologie

De auteurs introduceren een nieuw raamwerk waarbij een visueel signaal niet wordt gecodeerd als een array van data, maar als een functie die het generatieproces beschrijft. Deze functie wordt geïmplementeerd via parameter-efficiële fine-tuning (PEFT) op een bevroren, groot visueel generatief model.

De kerncomponenten van de methode zijn:

• Implicit Representatie via Adaptatie: In plaats van het signaal zelf te comprimeren, comprimeren de auteurs hoe het signaal gegenereerd wordt. Ze gebruiken Low-Rank Adaptation (LoRA) om de gewichten van een gefixeerde diffusion- of flow-matching basis (bijv. Wan-2.1 of Qwen) aan te passen aan een specifiek beeld of video. De aangepaste parameters vormen de "impliciete representatie".
• One-Vector Adaptatie: Om de LoRA-parameters extreem compact te maken, worden ze niet individueel opgeslagen. In plaats daarvan worden alle LoRA-matrices via een vast, willekeurig gegenereerd projectiepad (hashing) gemapt naar een enkel compact vector $v$. Dit reduceert de representatie van een video (bijv. 81 frames) tot één enkele vector.
• Entropy-constraints: Deze vector wordt vervolgens gekwantiseerd en gecodeerd met een entropy-model om de bitrate te minimaliseren. Het resultaat is een compressieframework genaamd VOV (Vision/Video in One Vector).
• Inference-Time Scaling: Een uniek kenmerk is dat de representatie een functie blijft. Tijdens het decoderen kan de generatie worden verfijnd zonder de opgeslagen vector te veranderen. De auteurs gebruiken een Sequential Monte Carlo (SMC) strategie: de encoder genereert meerdere de-noising trajecten, selecteert de beste kandidaat op basis van een optimaliteitscriterium (importance sampling), en stuurt alleen de index van deze keuze door. De decoder reproduceert dit exact met dezelfde willekeurige getallengenerator (PRNG).

3. Belangrijkste Bijdragen

1. Nieuw Representatiekader: Een framework dat visuele signalen representeert als functies die het generatieproces definiëren, gebruikmakend van de ingebouwde kennis van grote generatieve modellen.
2. Extreme Compressie: Een methode om deze functies te comprimeren tot één enkele adaptatievector, wat leidt tot sterke perceptuele compressieprestaties op video's met extreem lage bitrates.
3. Inference-Time Controle: Het identificeren en demonstreren dat functionele representaties flexibel bestuurd kunnen worden tijdens de inferentie. Dit stelt hen in staat om een distortion-perception trade-off te beheren en reconstructiekwaliteit te verbeteren via inference-time scaling, iets wat traditionele codecs niet kunnen.
4. Unificatie van Compressie en Generatie: Het voorstellen van een unificerend raamwerk waarbij compressie en adaptieve generatie samenkomen; de gecomprimeerde data fungeert als "visueel geheugen" dat direct kan worden gebruikt voor personalisatie en bewerking.

4. Resultaten

De methode is getest op benchmarks zoals UVG en HEVC datasets, met het Wan-2.1 (1.3B) model als basis.

• Perceptuele Kwaliteit: VOV presteert aanzienlijk beter dan bestaande neurale codecs (zoals DCVC-RT, GLC-Video) en traditionele codecs (H.265/H.266) op perceptuele metrics zoals DISTS en FVD, zelfs bij bitrates rond de 0.01 bpp.
• Visuele Structuur: Hoewel de PSNR-waarden (pixel-accuraatheid) lager kunnen zijn dan bij traditionele methoden, herstelt VOV visueel plausibele structuren en fijne details die bij concurrenten ontbreken.
• Temporele Consistentie: Dankzij de tijdsvoorkeuren van de diffusion-basis vertonen de gegenereerde video's minder flickering en betere temporele coherentie.
• Impact van Scaling: Het toepassen van inference-time scaling (meerdere samples per stap tijdens het coderen) levert aanzienlijke kwaliteitswinst op met een verwaarloosbare toename in bitrate.
• Bewerkbaarheid: De gecomprimeerde vector kan worden gebruikt voor personalisatie, zoals het wijzigen van kleuren, het samenvoegen van beelden of het aanpassen van resolutie, zonder het model opnieuw te hoeven trainen.

5. Betekenis en Toekomst

Dit werk markeert een verschuiving in visuele compressie: van het coderen van data naar het coderen van kennis en generatieprocessen.

• Efficiëntie: Het benut de reeds bestaande kennis van foundation modellen, waardoor er minder informatie hoeft te worden opgeslagen voor specifieke content.
• Flexibiliteit: Het doorbreekt de starheid van traditionele codecs. Gecomprimeerde content kan worden "hergebruikt" als een visueel geheugen voor generatieve taken (bijv. video-editing op basis van tekst).
• Toekomstige Richting: De auteurs wijzen op beperkingen, zoals de afhankelijkheid van de capaciteit van het basismodel (wat kan leiden tot semantische mismatches) en de lange encode-tijd. Toekomstig werk richt zich op het leren van een "amortized encoder" om de encode-tijd te verkorten en de correlaties in de adaptatieparameters beter te benutten.

Kortom, deze paper stelt dat compressie niet langer een losstaand proces hoeft te zijn, maar een integraal onderdeel kan zijn van het generatieve proces zelf, wat leidt tot efficiëntere opslag en nieuwe mogelijkheden voor creatieve manipulatie.