Generative Neural Video Compression via Video Diffusion Prior

Le papier présente GNVC-VD, un cadre de compression vidéo neuronale génératif pionnier basé sur un modèle de fondation vidéo (DiT) qui unifie la compression latente spatio-temporelle et le raffinement génératif au niveau de la séquence pour éliminer les scintillements et améliorer la qualité perceptuelle, même à des débits extrêmement faibles.

L'essentiel

Imaginez que vous essayez d'envoyer une vidéo de vacances à un ami, mais votre connexion internet est si mauvaise que vous ne pouvez envoyer que quelques pixels par seconde. C'est le défi de la compression vidéo ultra-légère.

Jusqu'à présent, les méthodes existantes faisaient deux choses : soit elles rendaient l'image floue (comme une photo floue), soit elles ajoutaient des détails "imaginaires" qui bougeaient de manière erratique, créant un effet de scintillement désagréable (comme si la vidéo tremblait).

Voici comment l'équipe derrière GNVC-VD a résolu ce problème, expliqué simplement :

1. Le Problème : Le "Dessin" vs La "Vidéo"

Imaginez que vous devez décrire une vidéo à un artiste.

• Les anciennes méthodes (basées sur l'image) disent à l'artiste : "Voici une photo de chaque seconde. Dessine-la aussi bien que tu peux."
  • Le résultat : L'artiste dessine des détails super nets pour chaque photo, mais comme il ne regarde pas les photos entre elles, le visage de la personne change de forme d'une image à l'autre. C'est ce qu'on appelle le scintillement (ou flickering). C'est comme regarder un flipbook où chaque dessin est beau, mais le mouvement est saccadé.

2. La Solution : Le "Réalisateur de Film"

L'équipe a créé GNVC-VD. Au lieu de donner des photos isolées, ils donnent à l'IA un scénario complet et un réalisateur qui comprend le temps.

• L'Analogie du Réalisateur (Le Modèle de Diffusion Vidéo) :
  Imaginez un réalisateur de cinéma très expérimenté (appelé VideoDiT dans le papier). Ce réalisateur a vu des milliers de films. Il sait comment un visage bouge, comment les cheveux flottent dans le vent et comment la lumière change d'une seconde à l'autre.

  Quand vous lui donnez une vidéo compressée (très floue et abîmée), il ne se contente pas de "deviner" chaque image. Il regarde toute la séquence d'un coup et dit : "Attends, si la personne tourne la tête ici, ses cheveux doivent bouger comme ça, et la lumière doit changer ainsi."

3. Comment ça marche ? (La Magie en 3 Étapes)

1. L'Enveloppe (Compression) :
   D'abord, on prend la vidéo et on la met dans une boîte très petite (très peu de données). C'est comme plier un grand drap pour qu'il rentre dans une boîte à chaussures. À ce stade, le drap est froissé et on a perdu des détails.

2. La Réparation (Raffinement) :
   Au lieu de simplement déplier le drap (ce qui le rendrait flou), on utilise le "Réalisateur IA". Il prend la boîte froissée et dit : "Je sais à quoi ressemblait le drap avant qu'il ne soit froissé, et je sais comment il doit bouger."

   Il ajoute des détails réalistes (la texture de la peau, les reflets) en se basant sur la mémoire du mouvement. Il ne dessine pas au hasard ; il "répare" la vidéo en respectant la logique du temps.

3. La Cohérence (Stabilité) :
   C'est la grande innovation. Le réalisateur s'assure que si un objet bouge à gauche à la seconde 1, il continue logiquement à la seconde 2. Fini les tremblements ! La vidéo reste stable et fluide, même avec très peu de données.

Pourquoi c'est important ?

• Moins de données, plus de qualité : Vous pouvez envoyer une vidéo de haute qualité avec une connexion très lente (moins de 0,03 bits par pixel, c'est-à-dire presque rien !).
• Pas de scintillement : Contrairement aux anciennes méthodes "génératives" qui créaient des hallucinations (des détails qui apparaissent et disparaissent), cette méthode crée des détails qui restent stables dans le temps.
• Le futur : C'est comme passer d'un dessin animé saccadé à un film d'animation fluide, même avec un budget de données minuscule.

En résumé : GNVC-VD est comme un restaurateur de film intelligent qui ne se contente pas de nettoyer la poussière sur chaque image, mais qui comprend l'histoire entière pour réparer les mouvements et les textures de manière naturelle, même si la vidéo d'origine était presque illisible.

Résumé technique

Titre : Compression Vidéo Neuronale Générative via un Prior de Diffusion Vidéo (GNVC-VD)

1. Problématique

La compression vidéo neuronale (NVC) a connu des progrès rapides, surpassant les standards hybrides traditionnels (comme HEVC et VVC) en termes d'optimisation taux-distorsion (RD). Cependant, une limite fondamentale persiste dans le régime de très faible débit (ultra-low bitrate, < 0,03 bpp) :

• Perte de réalisme perceptuel : Les objectifs basés sur la distorsion (comme le MSE) tendent à lisser excessivement les textures et à effacer les structures fines, entraînant une chute brutale du réalisme visuel.
• Limites des approches génératives existantes : Les codecs perceptuels récents utilisent des priors génératifs (GANs ou modèles de diffusion) pré-entraînés sur des images. Bien qu'ils restaurent des textures nettes, leur nature « image par image » (frame-wise) manque de modélisation temporelle. Cela provoque un scintillement perceptuel (flickering) et une instabilité des détails dans le temps, car le prior ne capture pas les dépendances à long terme ni la cohérence du mouvement.

L'objectif est donc de concevoir un codec capable de restaurer des textures fines et réalistes tout en garantissant une cohérence temporelle stricte sous des contraintes de débit extrêmes.

2. Méthodologie : GNVC-VD

Les auteurs proposent GNVC-VD, le premier cadre de compression vidéo générative basé sur un Transformeur de Diffusion Vidéo (VideoDiT) natif. Contrairement aux méthodes précédentes qui traitent les images individuellement, GNVC-VD unifie la compression latente spatio-temporelle et le raffinement génératif au niveau de la séquence.

L'architecture repose sur trois piliers principaux :

A. Compression Latente Spatio-Temporelle (Contextual Latent Codec)

• Un encodeur VAE 3D causal (basé sur Wan2.1) transforme la vidéo en une séquence de latents spatio-temporels compacts.
• Un module de codage transformé contextuel compresse ces latents. Pour les trames prédictives (P-frames), le codage est conditionné par le latent décodé de la trame précédente, réduisant ainsi la redondance temporelle tout en préservant la structure à long terme.

B. Raffinement Latent par Flow-Matching (Flow-Matching Latent Refinement)

• C'est le cœur de l'innovation. Au lieu de partir d'un bruit gaussien pur (comme en génération vidéo classique), le modèle part des latents décodés et bruités issus de la compression.
• Le modèle apprend un terme de correction ($\Delta v_{fine}$) qui adapte le prior de diffusion pré-entraîné aux dégradations spécifiques induites par la compression (erreurs de quantification).
• Un adaptateur de conditionnement (Conditioning Adapter) injecte des caractéristiques contextuelles extraites du codec compressé dans les couches intermédiaires du VideoDiT. Cela permet au modèle génératif de guider la reconstruction vers des textures nettes tout en respectant la cohérence temporelle imposée par le contexte compressé.

C. Stratégie d'Entraînement en Deux Étapes
Pour stabiliser l'entraînement et combler l'écart entre l'espace latent du codec et la variété (manifold) du générateur :

1. Alignement au niveau latent : On aligne les latents raffinés avec les latents « vrais » (ground truth) du VAE, en utilisant une perte de flux conditionnel (Flow-Matching Loss).
2. Affinement au niveau pixel : On affine l'ensemble du pipeline dans le domaine pixel pour optimiser la qualité perceptuelle et la cohérence temporelle, en combinant des pertes de distorsion, perceptuelles (LPIPS) et de taux.

3. Contributions Clés

1. Premier cadre NVC génératif natif vidéo : Utilisation d'un modèle de diffusion vidéo (VideoDiT) pour permettre un raffinement latent au niveau de la séquence, surmontant les limitations des priors d'image statiques.
2. Mécanisme de raffinement adaptatif : Introduction d'un module de raffinement basé sur le Flow-Matching et des adaptateurs de conditionnement qui apprennent à corriger les artefacts de compression tout en maintenant la cohérence temporelle.
3. Performance supérieure en ultra-bas débit : Démonstration expérimentale que GNVC-VD surpasse les codecs traditionnels, les codecs neuronales (DCVC) et les approches génératives antérieures (GLC-Video) en termes de qualité perceptuelle et de stabilité temporelle, même en dessous de 0,01 bpp.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plusieurs benchmarks (HEVC-B, UVG, MCL-JCV) dans le régime de très faible débit (< 0,03 bpp).

• Qualité Perceptuelle : GNVC-VD obtient les meilleures performances sur les métriques LPIPS et DISTS. Par rapport à la base de référence DCVC-RT, il réduit le taux de bits (BD-Rate) de plus de 98% sur la métrique DISTS. Comparé à l'approche générative GLC-Video, il réduit le BD-Rate de 86% sur DISTS et 21% sur LPIPS.
• Stabilité Temporelle :
  • Contrairement à GLC-Video qui souffre d'un fort scintillement (flickering), GNVC-VD maintient une cohérence temporelle exceptionnelle.
  • Les métriques d'erreur de warpage ($E_{warp}$) et de continuité sémantique (CLIP-F) confirment que les mouvements sont plus stables et que les textures ne dérivent pas d'une frame à l'autre.
• Qualité Visuelle : Les comparaisons qualitatives montrent que GNVC-VD restaure des textures nettes et réalistes sans introduire d'hallucinations structurelles ou de scintillement, là où les autres méthodes produisent soit des images floues (DCVC), soit des textures instables (GLC-Video).

5. Signification et Impact

Ce travail marque une avancée significative pour la compression vidéo de nouvelle génération.

• Il démontre que l'intégration de priors génératifs natifs vidéo (entraînés sur des séquences temporelles) est cruciale pour résoudre le problème du scintillement dans les codecs génératifs.
• Il ouvre la voie à une compression ultra-efficace capable de préserver le réalisme visuel dans des scénarios où la bande passante est extrêmement limitée (ex: streaming mobile, réalité virtuelle à faible débit).
• L'approche suggère que le décodage vidéo ne doit plus être vu comme une reconstruction indépendante de trames, mais comme un processus de débruitage conditionnel au niveau de la séquence, guidé par des modèles de diffusion vidéo.

En résumé, GNVC-VD représente un changement de paradigme en combinant l'efficacité de la compression neuronale classique avec la puissance de la génération vidéo temporelle, offrant une solution robuste aux défis de la compression ultra-bas débit.