💻 computer science

DCVC-MB: Neural B-Frame Video Compression using State Space Models

Cet article introduit DCVC-MB, un cadre de compression vidéo neuronale pour les trames B qui exploite des modèles d'espace d'états pour la prédiction bidirectionnelle et un mécanisme de saut sensible à l'entropie afin d'obtenir des réductions de débit significatives par rapport aux codecs neuronaux existants et aux standards traditionnels comme VTM.

Auteurs originaux : Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

Publié 2026-07-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer un film massif en haute définition à un ami via une connexion internet lente. Si vous envoyez simplement chaque image comme une photo séparée, le fichier serait énorme et votre ami attendrait une éternité. C'est le combat quotidien de la compression vidéo : comment réduire la taille des fichiers vidéo pour les rendre gérables sans qu'ils ne deviennent un amas flou. Pendant des décennies, les ingénieurs ont résolu ce problème en envoyant une « image clé » (une image complète), puis en n'envoyant que les changements pour les images suivantes, comme une « image P » qui dirait : « Le décor est resté le même, mais l'homme a bougé le bras ».

Mais il existe une méthode plus intelligente utilisée par les lecteurs vidéo traditionnels appelée « image B ». Au lieu de simplement regarder le passé pour deviner le futur, une image B regarde à la fois le passé et le futur pour comprendre exactement ce qui se passe au milieu. C'est comme essayer de deviner l'intrigue d'une scène de film en lisant simultanément le chapitre précédent et le chapitre suivant. Bien que cela soit merveilleux pour économiser de l'espace, apprendre aux ordinateurs à faire cela a été incroyablement difficile. Les tentatives précédentes soit faisaient exploser le cerveau de l'ordinateur avec trop de calculs, soit échouaient à utiliser efficacement les informations du futur. Ce document plonge dans ce recoin spécifique de l'informatique — la compression vidéo neuronale — pour voir si nous pouvons enfin apprendre à l'IA à utiliser efficacement ces images « regardant vers le futur ».

La grande idée du papier : Apprendre à l'IA à regarder des deux côtés

Les chercheurs derrière le DCVC-MB (qui signifie DCVC-Mamba) ont construit un nouveau système de compression vidéo qui fait enfin bien fonctionner les « images B » avec l'IA moderne. Considérez leur approche comme la transformation d'une rue à sens unique en une autoroute à double sens pour les données vidéo.

Le problème de l'ancienne méthode
La plupart des codecs vidéo IA actuels sont comme un conducteur qui ne regarde que dans le rétroviseur. Ils n'utilisent que des « images P », qui font référence au passé pour prédire le présent. Ils ignorent les « images B » (qui font référence à la fois au passé et au futur) car les calculs requis pour regarder dans les deux directions en même temps sont généralement trop lourds pour les ordinateurs, surtout à des résolutions élevées comme le 1080p. Les tentatives précédentes d'utiliser l'IA pour cela reposaient sur les « Transformers », un type de modèle qui devient exponentiellement plus lent et gourmand en mémoire à mesure que la vidéo s'agrandit. C'est comme essayer d'organiser une bibliothèque en lisant chaque livre pour trouver un seul mot ; cela fonctionne pour une petite étagère, mais échoue pour une ville entière.

La solution : La magie du « Mamba »
Les auteurs ont introduit un nouveau moteur appelé Mamba (un type de modèle d'espace d'état). Si les Transformers sont comme un camion lourd et lent qui reste coincé dans le trafic à mesure que la route s'allonge, Mamba est un scooter électrique élégce qui file à une vitesse constante, quelle que soit la longueur de la route.

Comment ça marche : Le système prend une image du passé ( $t-1$ ) et une image du futur ( $t+1$ ) et les fusionne pour reconstruire parfaitement l'image du milieu ( $t$ ).
L'innovation : Ils ont utilisé Mamba pour effectuer cette fusion. Parce que Mamba est efficace, il peut gérer des vidéos haute résolution (720p et 1080p) sans épuiser la mémoire de l'ordinateur, ce que les méthodes « Transformer » précédentes ne pouvaient pas faire.

L'astuce du « Saut » (Skip)
Pour rendre le système encore plus rapide, ils ont ajouté une fonctionnalité astucieuse de « paresse » appelée Saut de Latence Adaptatif (Adaptive Latent Skipping).

L'analogie : Imaginez que vous décrivez une peinture à un ami. Si une partie de la peinture est juste un ciel bleu uni et ennuyeux, vous n'avez pas besoin de décrire chaque pixel. Vous dites simplement : « C'est bleu ».
La technique : L'IA examine les données qu'elle doit envoyer. Si un bloc de données est « ennuyeux » (statistiquement prévisible), elle saute l'envoi de ce bloc entièrement. Cela ne nuit pas beaucoup à la qualité de l'image, mais réduit le temps de compression de la vidéo d'environ 9 fois pour les images standards et de 5 fois pour les images B complexes.

La stratégie « Ouverte »
Ils ont également ajusté la façon dont la vidéo est découpée. Les méthodes traditionnelles verrouillent souvent la vidéo dans des blocs rigides (Groupes d'Images Fermés ou Closed GoP). Les auteurs ont testé une stratégie « GoP Ouvert » (Open GoP), où la dernière image d'un bloc peut jeter un coup d'œil à la première image du bloc suivant. C'est comme permettre à un lecteur de terminer une phrase qui déborde sur le paragraphe suivant, ce qui rend l'histoire plus fluide et économise plus d'espace.

Ce qu'ils ont trouvé

L'équipe a testé son nouveau système DCVC-MB contre les standards actuels : le codec traditionnel VTM-19.0 et les meilleurs codecs IA existants (DCVC-DC et DCVC-FM).

Les résultats : Le nouveau système est un vainqueur clair. Comparé aux meilleurs codecs IA précédents, le DCVC-MB a réduit la taille du fichier (mesurée en taux BD) de 8,98 % à 9,21 % en moyenne.
Battre les géants : Comparé au puissant codec traditionnel VTM-19.0, le nouveau système IA est encore plus impressionnant. Il a battu la version « Low Delay » du codec traditionnel de 30,45 % et la version « Random Access » de 1,81 %.
Qualité visuelle : Dans des comparaisons côte à côte, le nouveau système préserve bien mieux les détails infimes (comme les rides sur un maillot ou la texture d'un mur) que les anciennes méthodes d'IA, tout en utilisant nettement moins de bits.

Ce qu'il ne fait pas
Le papier note prudemment ce qui ne fonctionne pas parfaitement. Le système éprouve parfois des difficultés avec le contenu hautement animé ou les vidéos présentant un mouvement extrêmement rapide et chaotique qui ne ressemble en rien aux vidéos naturelles sur lesquelles l'IA a été entraînée. Dans ces cas spécifiques de « écart de domaine » (domain gap), l'IA peut ne pas deviner le futur correctement, entraînant une qualité légèrement inférieure aux méthodes plus anciennes et plus simples.

Pourquoi cela importe

Ce papier suggère que nous n'avons plus à choisir entre une compression par IA « intelligente » et une compression « rapide ». En utilisant l'architecture efficace de Mamba, les auteurs ont montré que nous pouvons enfin utiliser la puissante stratégie de « regarder des deux côtés » (image B) dans les réseaux neuronaux sans faire planter l'ordinateur. Ils ne se sont pas contentés de le suggérer ; ils l'ont mesuré, prouvant que leur méthode économise considérablement de l'espace et du temps, nous rapprochant un peu plus de la diffusion de vidéos ultra-haute qualité même sur les connexions les plus lentes.

Résumé Technique : DCVC-MB : Compression Vidéo par B-Frames Neuronaux utilisant des Modèles d'Espace d'États

Énoncé du Problème

Bien que les codecs vidéo traditionnels (ex. : VVC, HEVC) obtiennent des gains de compression significatifs grâce à la prédiction bidirectionnelle (B-frames), les Codecs Vidéo Neuronaux (NVC) se sont principalement appuyés sur des structures de trames P unidirectionnelles. Les tentatives précédentes pour intégrer les B-frames dans les NVC ont lutté avec deux problèmes principaux :

Fusion Inefficace : Les méthodes antérieures ne parviennent pas à fusionner efficacement l'information temporelle bidirectionnelle, sous-performant souvent par rapport aux approches basées uniquement sur les trames P.
Complexité Computationnelle : Les architectures basées sur les Transformers, capables de capturer des dépendances à longue portée, évoluent de manière quadratique ( $O(N^2)$ ) avec la résolution. Cela entraîne une consommation de mémoire prohibitive (dépassant les limites de la VRAM) et des coûts de calcul élevés à hautes résolutions (720p, 1080p), ce qui les rend peu pratiques pour un déploiement réel.

Méthodologie

Les auteurs proposent DCVC-MB (DCVC-Mamba), un cadre de codec vidéo neuronal conçu spécifiquement pour le codage de B-frames en utilisant des Modèles d'Espace d'États (SSM). L'architecture s'appuie sur le cadre DCVC-DC mais introduit des changements fondamentaux pour permettre l'accès simultané aux informations temporelles passées et futures.

Composants Architecturaux Fondamentaux

Fusion de Caractéristiques Bidirectionnelle via Mamba :
- Contrairement aux modèles précédents qui utilisent un seul tampon de trames décodées (DPB) provenant du passé, DCVC-MB maintient deux DPB : un provenant de la trame passée ( $X_{t-1}$ ) et un provenant de la trame future ( $X_{t+1}$ ).
- Ces caractéristiques sont fusionnées à l'aide d'un Bloc Mamba Bidirectionnel (BMB). L'architecture Mamba offre une complexité linéaire ( $O(N)$ ) par rapport à la complexité quadratique des Transformers, permettant un traitement efficace à hautes résolutions.
- Le processus de fusion implique la concaténation des trames de référence, leur encodage via un CNN 2D, la tokenisation, et le traitement de la séquence par le SSM. Le SSM modélise la dynamique du système à l'aide d'une équation différentielle ordinaire (ODE) discrétisée avec des paramètres apprenables ( $A, B, C$ ).
- Pour capturer des dépendances bidirectionnelles complexes, le modèle emploie une méthode "Spatial-First Bidirectional", traitant les tokens dans les deux sens (balayage ligne par ligne vers l'avant et vers l'arrière) et sommant les sorties.
Saut de Latents Adaptatif (Adaptive Latent Skipping) :
- Pour réduire le temps de codage entropique, le cadre utilise un mécanisme de saut de latents adaptatif. Au lieu d'un seuil fixe, il utilise une stratégie de seuillage relatif basée sur l'écart-type ( $\sigma$ ) des éléments latents au sein d'une trame.
- Les latents dont $\sigma_i < \text{moyenne}(\sigma)$ sont sautés (remplacés par une valeur moyenne), tandis que les autres sont encodés. Cela réduit le temps de codage entropique d'environ 9 $\times$ pour les trames P et de 5 $\times$ pour les trames B, sans introduire d'asymétrie de calcul.
Positionnement Canonique (Canonical Position Embedding) :
- Pour traiter l'écart de résolution entre l'entraînement (256 $\times$ 256) et l'inférence (jusqu'à 1080p), les auteurs remplacent les embeddings de position de coordonnées de pixels standards par des Embeddings de Position Canoniques.
- Les coordonnées spatiales sont normalisées sur un plan d'image canonique ( $x, y \in [0, 1]$ ) plutôt que d'utiliser des valeurs de pixels brutes. Cela garantit que les harmoniques positionnelles restent cohérentes à travers les résolutions, évitant ainsi le surapprentissage lié à la résolution d'entraînement.
Optimisations lors de l'Inférence :
- Open GoP : Permet à la dernière B-frame d'un Groupe d'Images (GoP) de référencer la trame I du GoP suivant, fournissant des références temporellement plus proches.
- Codage Bidirectionnel : Encode les GoP d'indice impair dans les deux directions (avant et arrière), en sélectionnant le résultat ayant le coût taux-distorsion le plus faible. Les GoP d'indice pair utilisent une configuration fermée pour maintenir une complexité linéaire.

Contributions Clés

Nouvelle Architecture : Introduction d'une architecture de fusion de caractéristiques bidirectionnelle basée sur les Modèles d'Espace d'États (Mamba) qui permet un codage de B-frames efficace à hautes résolutions là où les approches basées sur les Transformers échouent en raison des contraintes de mémoire.
Stratégie de Trame IBP : Implémentation d'un modèle de compression neuronale de base supportant le codage vidéo à Accès Aléatoire (RA) en utilisant l'ordonnancement de trames IBP.
Mécanismes d'Efficacité : Développement d'une technique de saut de latents basée sur l'entropie adaptative pour accélérer le codage entropique et intégration de stratégies d'inférence (Open GoP et Codage Bidirectionnel) pour améliorer les performances de compression.
Généralisation de la Résolution : Utilisation d'embeddings de position canoniques pour assurer une généralisation efficace de l'entraînement à basse résolution vers l'inférence à haute résolution.

Résultats Expérimentaux

La méthode a été évaluée sur des jeux de données standards (HEVC, UVG, MCL-JCV) en utilisant la conversion RGB BT.709, comparée à VTM-19.0 (configurations LDP et RA) et aux NVC de pointe (DCVC-DC, DCVC-FM).

Performance vs Codecs Traditionnels : DCVC-MB atteint des réductions de BD-rate allant jusqu'à 30,45 % par rapport à VTM-19.0-LDP et 1,81 % par rapport à VTM-19.0-RA (Inter-GoP=16).
Performance vs Codecs Neuronaux : Le modèle démontre des réductions de BD-rate moyennes de 8,98 % par rapport aux précédents codecs vidéo neuronaux (spécifiquement DCVC-FM) et de 20,19 % par rapport au benchmark plus robuste VTM-19.0-RA.
Efficacité : L'échelle linéaire du modèle de fusion Mamba permet au pipeline complet de B-frame de tenir dans 13,8 Go de VRAM à 1080p, alors qu'une architecture Transformer comparable dépasse les 40 Go.
Études d'Ablation : Les expériences confirment que le modèle de fusion Mamba représente la majorité des gains de BD-rate ( $-4,55 \%$ ), les stratégies d'inférence apportant des améliorations additives. Les embeddings de position canoniques se sont révélés critiques pour la généralisation aux résolutions non vues.

Signification et Revendications

L'article affirme que DCVC-MB représente une avancée significative dans la compression vidéo neuronale en réussissant à combler l'écart entre l'efficacité de compression de la prédiction bidirectionnelle et la faisabilité computationnelle des modèles de Deep Learning.

Les auteurs soutiennent que :

Scalabilité : En exploitant Mamba, le cadre permet un codage de B-frames pratique à hautes résolutions (720p, 1080p), surmontant les goulots d'étranglement de mémoire qui ont limité les précédents NVC bidirectionnels.
Compétitivité : DCVC-MB est le premier NVC à surpasser la configuration plus forte VTM-19.0-RA, démontant que les approches neuronales peuvent désormais rivaliser avec ou dépasser les performances des principaux codecs traditionnels dans des scénarios d'Accès Aléatoire.
Praticité : Grâce au saut de latents adaptatif et aux optimisations d'inférence, la méthode équilibre une haute performance de compression avec des temps d'encodage et de décodage réduits, rapprochant la compression vidéo neuronale d'un déploiement pratique.

Les auteurs reconnaissent des limites, notant que les performances peuvent se dégrader sur certains jeux de données (ex. : MCL-JCV) en raison des écarts de domaine entre les données d'entraînement (vidéo naturelle) et les données de test (contenu animé avec des mouvements brusques), et que l'optimisation YUV420 reste un défi par rapport à l'entraînement en RGB.