Compression as Adaptation: Implicit Visual Representation with Diffusion Foundation Models

Ce papier propose un nouveau cadre de représentation visuelle implicite qui encode les signaux comme des fonctions paramétrées par des adaptations à faible rang sur un modèle génératif gelé, permettant ainsi une compression vidéo perceptuelle extrêmement efficace et unifiée avec la génération.

L'essentiel

Imaginez que vous voulez envoyer une vidéo à un ami, mais votre connexion internet est très lente. Habituellement, pour compresser une vidéo, on utilise des méthodes qui réduisent la taille du fichier en supprimant des détails, un peu comme si on prenait une photo et qu'on la rendait floue ou pixelisée pour qu'elle prenne moins de place.

Mais dans cet article, les chercheurs proposent une idée totalement différente et fascinante : au lieu d'envoyer la vidéo elle-même, on envoie la "recette" pour la cuisiner.

Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : La Vidéo vs La Recette

Imaginez que vous avez un gâteau magnifique.

• L'ancienne méthode (Compression classique) : Vous envoyez une photo du gâteau à votre ami. Si la photo est trop petite, on ne voit plus les détails. C'est comme envoyer les ingrédients séparés et espérer qu'ils s'assemblent bien.
• La nouvelle méthode (Cet article) : Votre ami possède déjà un four très sophistiqué et un livre de recettes universel (c'est le modèle de diffusion, une intelligence artificielle très puissante qui connaît déjà à quoi ressemblent les gâteaux, les paysages, les visages, etc.). Au lieu d'envoyer la photo du gâteau, vous envoyez juste une petite note qui dit : "Pour ce gâteau spécifique, modifiez légèrement la recette standard en ajoutant un peu plus de vanille et en réduisant le sucre".

2. La Solution : La "Note" (Adaptation)

Les chercheurs appellent cela une représentation implicite.

• Le modèle de base (le four) est déjà là, il est énorme et intelligent. Il ne change pas.
• La vidéo (le gâteau) est transformée en une petite adaptation (la note). C'est comme si on ajustait les boutons de votre four pour qu'il produise exactement votre vidéo.
• Cette "note" est si petite qu'elle tient dans un seul vecteur mathématique (une liste de chiffres). C'est incroyablement compact ! Une vidéo de 81 images peut être résumée en une seule "clé" numérique.

3. L'Analogie du "Chef Cuisinier"

Pensez au modèle de diffusion comme à un Chef Cuisinier de génie qui a vu des millions de vidéos. Il sait par cœur à quoi ressemble une plage, un chat ou une voiture.

• Si vous voulez qu'il recrée une vidéo spécifique (par exemple, votre chat qui dort), vous ne lui donnez pas la vidéo. Vous lui donnez juste un ajustement de personnalité (via une technique appelée LoRA).
• Vous dites au Chef : "Aujourd'hui, joue le rôle de 'Mon Chat qui dort'".
• Le Chef utilise ses connaissances générales + votre petite note pour recréer la vidéo à partir de zéro, pixel par pixel.

4. Pourquoi c'est génial ? (Les Super-Pouvoirs)

Cette méthode a deux avantages magiques :

• Qualité incroyable à très petite taille : Comme le Chef connaît déjà la physique du monde (comment la lumière tombe, comment les cheveux bougent), il n'a pas besoin que vous lui envoyiez chaque détail. Il devine le reste. Résultat : on obtient une vidéo très belle avec une taille de fichier minuscule (beaucoup plus petite que les standards actuels comme H.265).
• Le contrôle à la volée (Scaling) : C'est la partie la plus cool. Une fois que vous avez envoyé la "note", vous pouvez dire au Chef : "Attends, je veux que ce soit encore plus net !" ou "Change la couleur du chat en bleu".
  • Dans les méthodes classiques, une fois le fichier envoyé, c'est fini.
  • Ici, comme on envoie une recette, on peut ajuster la cuisson en cours de route. On peut demander au Chef de "réfléchir plus longtemps" ou de "choisir la meilleure version" pendant qu'il génère la vidéo, pour améliorer la qualité sans avoir besoin de renvoyer plus de données.

En résumé

Au lieu d'envoyer un fichier vidéo (une image statique compressée), cet article propose d'envoyer un petit ajustement qui dit à une intelligence artificielle puissante comment recréer la vidéo.

C'est comme si, au lieu d'envoyer une copie d'un livre à votre ami, vous lui envoyiez juste une petite note disant : "Ouvre le livre que tu as déjà, tourne à la page 42, et change le mot 'chien' en 'chat'". Votre ami a déjà le livre (le modèle), il a juste besoin de la petite modification pour avoir exactement ce que vous voulez.

C'est une façon de compresser la vidéo en compressant l'intention de la vidéo, en s'appuyant sur la connaissance immense que l'IA a déjà acquise.

Résumé technique

Titre : Compression par Adaptation : Représentation Visuelle Implicite avec des Modèles de Fondation Diffusion

1. Problématique

Les modèles génératifs visuels modernes (comme les modèles de diffusion) acquièrent une connaissance visuelle riche grâce à un entraînement à grande échelle. Cependant, les représentations visuelles traditionnelles (pixels, variables latentes, tokens) restent externes au modèle. Elles doivent être encodées séparément et injectées dans le modèle pour des tâches comme l'édition ou la reconstruction.
Cette séparation entraîne plusieurs limitations :

• Redondance et inefficacité : Le modèle ne peut pas directement exploiter sa connaissance interne pour stocker ou réutiliser l'information visuelle de manière compacte.
• Limites de la compression : Les méthodes de compression actuelles ne tirent pas pleinement parti des "priors" visuels appris par les grands modèles génératifs.
• Manque de flexibilité : Les représentations explicites sont figées ; elles ne permettent pas facilement de raffiner la génération ou de contrôler le processus après l'encodage.

L'objectif de ce travail est de combler ce fossé en transformant la compression visuelle en un problème d'adaptation de modèle, où le signal visuel est représenté non pas par des données brutes, mais par la fonction qui le génère.

2. Méthodologie

Les auteurs proposent un cadre unifié où un signal visuel (image ou vidéo) est encodé comme une fonction implicite paramétrée par des adaptations à faible rang (LoRA) appliquées à un modèle génératif de diffusion gelé.

A. Représentation Implicite par Adaptation (LoRA)
Au lieu d'encoder l'image en pixels, le modèle apprend à générer l'image en ajustant légèrement les poids d'un modèle de diffusion pré-entraîné (ex: Wan-2.1, Qwen-Image).

• Objectif d'entraînement : Le modèle est affiné (fine-tuned) pour minimiser la distance entre la trajectoire de génération du modèle adapté et le signal cible $x$. Cela équivaut à trouver la fonction de génération la plus simple (selon le principe de la Longueur de Description Minimale - MDL) qui reproduit le signal.
• Formulation : L'adaptation est réalisée via des matrices de faible rang ($\Delta W = AB$) ajoutées aux poids gelés du modèle de base.

B. Compression en "Un Seul Vecteur" (One-Vector Adaptation)
Pour atteindre des taux de compression extrêmes, les paramètres d'adaptation LoRA (qui peuvent être volumineux) sont compressés en un vecteur unique et compact :

• Hachage (Hashing) : Tous les paramètres LoRA des différentes couches sont projetés via une fonction de hachage fixe (générée par un PRNG) vers un vecteur partagé unique $v \in \mathbb{R}^{1 \times k}$.
• Contrainte d'Entropie : Ce vecteur est ensuite quantisé et encodé par entropie (modèle d'entropie factorisé), permettant de réduire la taille à environ 1-3 bits par paramètre.
• Résultat : Une vidéo de 81 images (480p) peut être représentée par un seul vecteur compact, agissant comme une "mémoire visuelle" pour le modèle.

C. Mise à l'échelle et Contrôle au Moment de l'Inférence (Inference-Time Scaling)
La nature fonctionnelle de cette représentation offre un avantage unique : le processus de génération reste contrôlable après l'encodage.

• Échantillonnage par Importance : L'encodeur peut exécuter un processus de sélection (basé sur Sequential Monte Carlo - SMC) pour choisir les meilleures trajectoires de débruitage. Il sélectionne les particules les plus prometteuses et encode uniquement leur index (peu de bits).
• Décodeur déterministe : Le décodeur, possédant le vecteur d'adaptation et le même générateur de nombres aléatoires (PRNG), peut reconstruire exactement la même trajectoire choisie.
• Avantage : Cela améliore considérablement la fidélité de la reconstruction sans augmenter significativement le débit binaire, car le coût computationnel est principalement du côté de l'encodage.

3. Contributions Clés

1. Nouveau Paradigme de Représentation : Définition d'un cadre où le signal visuel est représenté comme une fonction de génération (adaptation de modèle) plutôt que comme une séquence de symboles explicites.
2. Compression Ultra-Compacte : Proposition d'une méthode pour compresser cette fonction en un seul vecteur d'adaptation, permettant une compression vidéo perceptuelle très efficace (ex: 81 frames en un vecteur).
3. Avantage de l'Inférence : Identification et démonstration que les représentations fonctionnelles permettent un contrôle et un raffinement au moment de l'inférence (mise à l'échelle), améliorant la qualité de reconstruction au-delà des limites des codecs traditionnels.
4. Unification Compression/Génération : Le cadre sert de pont entre la compression et la génération adaptative, permettant d'utiliser les adaptations comme des "mémoires visuelles" pour l'édition et la réutilisation de contenus.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode (nommée VOV - Video in One Vector) sur des benchmarks standards (UVG, HEVC B/C/E) en comparaison avec des codecs neuronaux (DCVC, GLC-Video) et traditionnels (H.265/HEVC, H.266/VVC).

• Performance de Compression : VOV atteint des performances de compression perceptuelle supérieures à très bas débit (ex: < 0.015 bpp). Sur les métriques perceptuelles (DISTS, FVD), il surpasse nettement les codecs existants, même si les métriques pixeliques (PSNR) restent inférieures (ce qui est attendu pour une compression générative).
• Qualité Visuelle : Les reconstructions présentent une cohérence temporelle supérieure et moins d'artefacts de scintillement grâce aux priors temporels du modèle de diffusion.
• Impact de la Mise à l'Échelle : L'utilisation de l'échelle au moment de l'inférence (sélection de particules) améliore significativement la fidélité avec un surcoût de débit négligeable.
• Édition et Génération : Les adaptations LoRA servent de mémoire persistante. Les auteurs montrent qu'il est possible de modifier le contenu généré (couleurs, nombre d'objets, fusion d'images) en changeant simplement le prompt textuel, tout en conservant les caractéristiques visuelles apprises.

5. Signification et Implications

Ce travail représente une avancée majeure dans la convergence entre la compression de données et la génération de contenu.

• Efficacité : Il démontre que les modèles génératifs pré-entraînés peuvent servir de "codecs universels" extrêmement efficaces, car la connaissance visuelle est déjà intégrée dans le modèle, et seul le "différentiel" (l'adaptation) doit être transmis.
• Flexibilité : Contrairement aux codecs traditionnels qui sont des boîtes noires fixes, cette approche offre un contrôle dynamique sur la qualité et le contenu au moment de la décompression.
• Avenir : Cela ouvre la voie à des systèmes de vision unifiés où la compression, le stockage et la génération de nouveaux contenus à partir de mémoires visuelles compressées sont traités dans un même cadre fonctionnel.

En résumé, ce papier propose de voir la compression non plus comme un codage de données, mais comme un apprentissage d'adaptation d'un modèle génératif, transformant ainsi chaque fichier compressé en une instruction de génération personnalisée et ultra-compacte.