Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models

Diese Arbeit stellt ein neues Framework vor, das visuelle Signale als Funktionen parametrisiert, die auf einem eingefrorenen Diffusions-Grundmodell basieren, um durch Hashing in kompakte Vektoren eine extrem effiziente Videokompression zu ermöglichen und gleichzeitig die Brücke zwischen Kompression und Generierung zu schlagen.

Das Wesentliche

Stellen Sie sich vor, Sie wollen ein ganzes Video speichern. Normalerweise tun Sie das, indem Sie jeden einzelnen Pixel des Bildes eins nach dem anderen auf eine Festplatte schreiben. Das ist wie das Abschreiben eines ganzen Buches Wort für Wort – es dauert lange und braucht viel Platz.

Dieses Papier schlägt einen völlig neuen, fast magischen Weg vor. Statt das Video zu speichern, speichern wir die Rezeptur, wie man es backt.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Der große Koch (Das KI-Modell)

Stellen Sie sich eine riesige, ultra-tolle KI vor, die schon Millionen von Videos gesehen hat. Sie ist wie ein Weltmeister-Koch, der genau weiß, wie ein Sonnenuntergang aussieht, wie sich Wasser bewegt oder wie ein Hund rennt. Dieser Koch hat dieses Wissen bereits in seinem Kopf (in seinen neuronalen Gewichten). Er braucht keine Anleitung mehr, um zu wissen, wie ein "Hund" aussieht.

2. Das Problem: Der externe Zettel

Bisher mussten wir dem Koch einen Zettel geben, auf dem genau stand: "Hier ist der Hund, hier ist der Baum, hier ist die Farbe." Das ist wie das Speichern des Videos selbst – riesig und ineffizient.

3. Die Lösung: Ein winziger "Zettel" (Die Anpassung)

Die Autoren sagen: "Warum geben wir dem Koch den ganzen Zettel? Wir geben ihm nur eine kleine Notiz."

Statt das Video zu speichern, fragen wir: "Was muss der Koch leicht ändern, damit er aus seinem Standardwissen genau dieses eine Video backt?"

• Vielleicht muss er nur die Farbe des Himmels etwas rötlicher machen.
• Vielleicht muss er die Bewegung des Hundes etwas schneller drehen.

Diese winzige Notiz nennen sie "Low-Rank Adaptation" (LoRA). Es ist wie ein kleiner Klebezettel, den man auf das Kochbuch des Weltmeisters klebt. Dieser Zettel ist extrem klein, enthält aber den genauen "Schlüssel", um das spezifische Video wiederherzustellen.

4. Der magische Trick: Alles in einen einzigen Vektor

Normalerweise wäre auch dieser kleine Zettel noch zu groß. Die Forscher haben einen genialen Trick angewendet: Sie haben diesen Zettel in einen einzigen, winzigen Code (einen Vektor) verwandelt.

• Vorher: Ein riesiges Video (z. B. 81 Bilder).
• Nachher: Ein einziger, winziger Zahlenblock (wie ein Passwort), der so klein ist, dass er in eine Textnachricht passt.

Wenn Sie dieses "Passwort" dem Koch geben, denkt er: "Ah, ich erinnere mich! Ich ändere meinen Standard-Backprozess leicht ab, und bumm – da ist Ihr Video!"

5. Warum ist das besser als alles andere?

• Extrem kleine Größe: Weil wir nur die "Änderung" speichern und nicht das ganze Bild, ist die Datei winzig. Man kann ein Video komprimieren, das sonst Gigabytes groß wäre, auf eine Größe, die man kaum messen kann.
• Der "Super-Koch"-Effekt: Da der Koch (die KI) schon alles über die Welt weiß, muss er nicht raten. Er nutzt sein riesiges Wissen, um die fehlenden Details perfekt zu ergänzen. Das Ergebnis sieht oft besser aus als bei herkömmlichen Methoden, besonders bei sehr kleinen Dateigrößen.
• Flexibilität am Ende: Das ist das Coolste: Da wir die "Rezeptur" gespeichert haben, können wir das Video später noch ändern, ohne die Datei neu zu speichern!
  • Beispiel: Sie speichern ein Video eines Mädchens mit blonden Haaren. Später sagen Sie dem Koch: "Mach die Haare schwarz." Da die Rezeptur flexibel ist, kann er das tun, ohne dass Sie das Video neu herunterladen müssen. Es ist wie ein lebendiges Gedächtnis.

Zusammenfassung in einer Analogie

Stellen Sie sich vor, Sie wollen ein Lied speichern.

• Der alte Weg: Sie speichern die gesamte MP3-Datei (alle Töne, alle Sekunden).
• Der neue Weg: Sie schreiben nur einen kleinen Zettel auf: "Spiele das Lied von Beethoven, aber mach es langsamer und füge eine Geige hinzu."
• Der "Musiker" (die KI) kennt das Lied von Beethoven schon auswendig. Er liest Ihren Zettel, passt es an und spielt das perfekte Lied ab. Der Zettel ist winzig, aber das Ergebnis ist großartig.

Fazit: Diese Methode verwandelt Videos von riesigen Datenbergen in winzige "Rezepte", die eine super-intelligente KI nutzt, um die Bilder neu zu erschaffen. Es ist eine Revolution, die Videos so klein macht, dass man sie fast überallhin schicken kann, ohne an Qualität zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Moderne visuelle generative Modelle (z. B. Diffusionsmodelle) besitzen durch das Training mit großen Datenmengen ein reichhaltiges visuelles Wissen. Dennoch bleiben die herkömmlichen visuellen Repräsentationen (Pixel, Latents oder Tokens) extern zu diesen Modellen.

• Ineffizienz: Um ein Bild oder Video zu speichern oder zu übertragen, muss es zunächst in ein explizites Format kodiert und dann in das Modell eingespeist werden, um es zu verarbeiten oder zu bearbeiten. Dies führt zu Redundanz, da das Modell sein internes Wissen nicht direkt zur kompakten Speicherung nutzen kann.
• Fehlende Wiederverwendbarkeit: Die Trennung zwischen dem internen Wissen des Modells und den externen Signalen erschwert die effiziente Speicherung und Wiederverwendung visueller Informationen über die Zeit.
• Limitationen bestehender Ansätze: Herkömmliche neuronale Kompressionsmethoden (z. B. basierend auf VAEs) oder implizite neuronale Repräsentationen (INRs) werden oft von Grund auf neu trainiert und nutzen das vortrainierte Wissen großer Foundation-Modelle nicht aus.

2. Methodik

Die Autoren schlagen ein neues Framework vor, das visuelle Signale nicht als Datenarrays, sondern als Funktionen darstellt, die den Generierungsprozess beschreiben. Diese Funktion wird durch Low-Rank Adaptations (LoRA) parametrisiert, die auf ein gefrorenes, großes visuelles generatives Diffusionsmodell aufgesetzt werden.

Der Prozess gliedert sich in folgende Schritte:

• Implizite Darstellung als Anpassung: Anstatt das Signal selbst zu komprimieren, wird gelernt, wie das Signal generiert wird. Ein gefrorenes Diffusions- oder Flow-Matching-Modell dient als Prior für „natürliche" Bilder/Videos. Das Ziel ist es, eine Anpassung (Adaptation) zu finden, die das Modell so wenig wie möglich von seiner ursprünglichen Verteilung abweichen lässt, während es dennoch das spezifische Zielbild/Video rekonstruiert.
• One-Vector Adaptation (Hashing): Um die Anzahl der Parameter drastisch zu reduzieren, werden die LoRA-Parameter (die normalerweise über viele Schichten verteilt sind) nicht separat gespeichert. Stattdessen werden alle LoRA-Matrizen über eine feste Projektion (basierend auf einem Pseudo-Zufallszahlengenerator, PRNG) in einen einzelnen kompakten Vektor $v$ gemappt. Dies entspricht einer Hashing-Strategie, die Parameter-Sharing über die Schichten hinweg erzwingt.
• Entropie-Kodierung: Der resultierende Vektor wird quantisiert und mit einem Entropiemodell kodiert, um eine extrem niedrige Bitrate zu erreichen.
• Inference-Time Scaling (Skalierung zur Laufzeit): Ein entscheidender Vorteil der funktionalen Darstellung ist die Kontrolle zur Laufzeit. Da die Repräsentation als Funktion existiert, kann der Encoder während des Kodierprozesses mehrere Partikel (Kandidaten) generieren und den besten auswählen (Importance Sampling), ohne die gespeicherten Daten zu ändern. Der Decoder kann diesen Pfad deterministisch reproduzieren, da er den gleichen PRNG und die gleichen Adaptionsparameter nutzt. Dies verbessert die Rekonstruktionsqualität bei minimaler zusätzlicher Bitrate.

3. Wichtige Beiträge

1. Neues Repräsentationsparadigma: Einführung eines Frameworks, das visuelle Signale als Funktionen darstellt, die auf großen generativen Modellen aufbauen. Dies nutzt das vortrainierte Wissen direkt für die Kompression.
2. Kompression in einen einzigen Vektor: Entwicklung einer Methode, um die gesamte Information eines Bildes oder Videos (z. B. 81 Frames) in einen einzigen adaptiven Vektor zu komprimieren, der durch Hashing und Entropiekodierung extrem klein ist.
3. Inference-Time Scaling für Kompression: Demonstration, dass funktionale Repräsentationen eine flexible Steuerung zur Laufzeit ermöglichen. Durch Importance Sampling während der Kodierung kann die Rekonstruktionsfidelität signifikant gesteigert werden, ohne die Bitrate nennenswert zu erhöhen.
4. Brücke zwischen Kompression und Generierung: Das Framework zeigt, dass Kompression und adaptive Generierung (z. B. für Personalisierung oder Editing) in einem einheitlichen System vereint werden können. Die Adaptionsvektoren dienen als „visuelles Gedächtnis".

4. Ergebnisse

Die Methode, die als VOV (Video in One Vector) bezeichnet wird, wurde auf Standard-Datensätzen wie UVG und HEVC getestet und mit state-of-the-art neuronalen sowie traditionellen Codecs (H.265, H.266) verglichen.

• Perzeptive Qualität: VOV erzielt bei extrem niedrigen Bitraten (z. B. < 0,01 bpp) überlegene Ergebnisse in perzeptiven Metriken wie DISTS und FVD (Fréchet Video Distance) im Vergleich zu bestehenden neuronalen Codecs.
• Visuelle Details: Auch wenn metrische Werte wie PSNR (Pixel-zu-Pixel) aufgrund der stochastischen Natur der Generierung oft niedriger ausfallen, liefert VOV visuell plausiblere Strukturen und feinere Details, die bei anderen Methoden verloren gehen.
• Zeitliche Kohärenz: Durch die Nutzung der zeitlichen Priors des Diffusionsmodells zeigen die rekonstruierten Videos eine bessere zeitliche Konsistenz und weniger Flackern als konkurrierende Methoden.
• Skalierungseffekt: Die Anwendung von Inference-Time Scaling führt zu erheblichen Qualitätsgewinnen bei nur marginaler Erhöhung der Bitrate.
• Editing-Fähigkeit: Die adaptiven Vektoren können als visuelle Speicher genutzt werden, um das Modell für personalisierte Aufgaben (z. B. Farbänderungen, Zusammenführen von Bildern) zu steuern, ohne das Basis-Modell neu zu trainieren.

5. Bedeutung und Ausblick

Dieses Paper stellt einen Paradigmenwechsel in der visuellen Kompression dar. Statt Daten explizit zu kodieren, wird die Anpassung des Generators selbst kodiert.

• Effizienz: Es zeigt, dass das Wissen großer Foundation-Modelle genutzt werden kann, um Daten um Größenordnungen effizienter zu speichern als traditionelle Methoden.
• Flexibilität: Die Darstellung als Funktion ermöglicht es, Kompression und Generierung zu vereinen. Ein komprimierter Vektor ist nicht nur ein statisches Archiv, sondern ein aktiver Baustein, der zur Laufzeit manipuliert, skaliert oder für neue Generierungsaufgaben (Personalisierung) wiederverwendet werden kann.
• Zukunft: Die Arbeit legt den Grundstein für ein einheitliches Ökosystem, in dem visuelle Daten nicht nur gespeichert, sondern als dynamische, anpassbare Einheiten innerhalb von generativen Modellen gehandhabt werden.

Einschränkungen: Die Qualität ist durch die Kapazität des Basis-Modells begrenzt (z. B. bei Text in Videos). Zudem ist der Kodierungsprozess (Overfitting) derzeit noch rechenintensiv, was zukünftige Arbeiten auf amortisierte Encoder abzielt.