💻 computer science

NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs

NAE-VC est un cadre de codage entropique appris et modulaire qui remplace le moteur CABAC standard des codecs H.264, H.265 et H.266 par une architecture neuronale combinant l'agrégation de contexte, la modélisation de mélange gaussien et les hyper-priorités afin d'obtenir des économies de débit significatives tout en maintenant une compatibilité totale avec les normes de codage vidéo existantes.

Auteurs originaux : Reka Sandaruwan Gallena Watthage, Anil Fernando

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Reka Sandaruwan Gallena Watthage, Anil Fernando

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer un film massif en haute définition à un ami à l'autre bout du monde. Pour rendre cela possible sans encombrer Internet, vous devez réduire la taille du fichier autant que possible. Ce processus est appelé compression vidéo. Voyez cela comme le rangement d'une valise pour un voyage : vous voulez y faire tenir tout ce dont vous avez besoin, mais vous ne pouvez pas simplement jeter les objets au hasard ; vous avez besoin d'un système intelligent pour plier les vêtements de manière serrée et les organiser afin de ne rien gaspiller.

Dans le monde de la vidéo, ce « système de rangement intelligent » possède une dernière étape cruciale appelée codage entropique. C'est l'étape finale où l'ordinateur décide exactement comment écrire les données dans un flux de 1 et de 0. Pendant des décennies, l'industrie a utilisé une méthode spécifique, conçue à la main, appelée CABAC (Context-based Adaptive Binary Arithmetic Coding). Vous pouvez considérer le CABAC comme un bibliothécaire très expérimenté, mais légèrement rigide, qui a mémorisé un immense livre de règles. Il est efficace, mais il suit des règles fixes et ne peut pas facilement s'adapter à des motifs étranges ou nouveaux. Parallèlement, une nouvelle vague de réseaux de neurones (des systèmes informatiques qui apprennent comme des cerveaux) a montré qu'ils pouvaient être bien meilleurs pour prédire les motifs, mais ils nécessitent généralement de remplacer l'intégralité du système vidéo de zéro, ce qui revient à reconstruire toute la bibliothèque juste pour changer de bibliothécaire.

Ce document présente un compromis ingénieux appelé NAE-VC. Au lieu de démolir toute la bibliothèque, les chercheurs ont construit un « bibliothécaire neuronal » capable de remplacer l'ancien bibliothécaire régi par des règles (le CABAC) tout en conservant toutes les autres parties du système vidéo exactement identiques. Ils ont testé ce nouveau système sur trois générations de normes vidéo (H.264, H.265 et H.266) et ont constaté qu'il réduisait systématiquement la taille du fichier davantage que l'ancienne méthode, prouv'ant que même les meilleures règles faites à la main laissent une marge de progression si l'on laisse un ordinateur apprenant prendre les commandes.

Le Problème : Le Bibliothécaire Rigide

Pendant des années, les codecs vidéo (les logiciels qui compressent la vidéo) se sont appuyés sur le CABAC pour effectuer l'emballage final. Le CABAC est comme un bibliothécaire qui aurait mémorisé un énorme livre de règles écrit à la main. Lorsqu'une nouvelle donnée arrive, le bibliothécaire consulte un index spécifique dans le livre pour deviner la probabilité que cette donnée apparaisse ensuite. Si la donnée est commune, il l'inscrit avec un code court ; si elle est rare, il utilise un code plus long.

Le problème est que ce livre de règles est fixe. Il a été conçu par des humains il y a des années et ne peut pas changer en fonction du film spécifique que l'on regarde. De plus, il décompose les données complexes en questions simples de type « oui/non » (binaires), ce qui fait perdre la richesse des motifs complexes présents dans une véritable vidéo. C'est comme essayer de décrire une peinture complexe en demandant seulement « est-ce rouge ? » ou « est-ce bleu ? » pixel par pixel, plutôt que de comprendre l'ensemble du coup de pinceau.

La Solution : Un Bibliothécaire Apprenant

Les chercheurs ont proposé le NAE-VC (Neural Arithmetic Encoding for Video Compression). Imaginez le remplacement de ce bibliothécaire rigide par un assistant IA super intelligent. Cet assistant ne se contente pas de consulter une règle ; il observe l'image entière.

L'assistant IA dispose de trois moyens spéciaux pour recueillir des indices avant de décider comment emballer les données :

Contexte Spatial : Il regarde les voisins. Tout comme vous savez ce qu'il y a dans la pièce d'à côté en regardant la pièce actuelle, l'IA regarde les pixels autour du pixel actuel pour deviner ce qui vient ensuite.
Contexte de Canal : Il regarde la fréquence. Les données vidéo possèdent différentes « couches » de détails (comme les basses et les aigus en musique). L'IA comprend comment ces couches sont liées entre elles.
Contexte Temporel : Il regarde le passé. Si vous regardez une vidéo d'une balle en mouvement, l'IA sait que la balle sera probablement dans un endroit similaire dans l'image suivante. Elle utilise ce mouvement pour faire de meilleures prédictions.

L'IA combine tous ces indices en utilisant une technique appelée attention croisée multi-têtes (imaginez quatre experts différents en réunion, chacun se concentrant sur un type de détail différent, puis votant pour la meilleure prédiction). Au lieu de deviner un simple « oui ou non », l'IA prédit un Modèle de Mélange Gaussien (Gaussian Mixture Model). En termes simples, cela signifie qu'elle ne devine pas seulement un nombre, mais tout un nuage de possibilités, comprenant que les données peuvent être regroupées de plusieurs manières différentes. Cela lui permet d'emballer les données beaucoup plus étroitement.

Les Résultats : Économiser des Bits

Les chercheurs ont testé ce nouveau « bibliothécaire neuronal » en l'intégrant dans le logiciel de référence de trois normes vidéo différentes : H.264, H.265 et H.266. Ils ont gardé tout le reste exactement identique afin de voir si le nouveau bibliothécaire était réellement meilleur.

Les résultats sont cohérents sur toute la ligne :

H.264 (La norme la plus ancienne) : Le nouveau système a réduit la taille du fichier d'environ 4,82 % en mode « All-Intra » (où chaque image est indépendante) et de 6,15 % en mode « Low-Delay » (où les images dépendent les unes des autres).
H.265 (La norme intermédiaire) : Il a économisé 3,67 % (All-Intra) et 4,93 % (Low-Delay).
H.266 (La norme la plus récente et la plus avancée) : Même si cette norme possède déjà un système très sophistiqué, la nouvelle IA a tout de même réussi à économiser 2,41 % (All-Intra) et 3,28 % (Low-Delay).

Les chercheurs observent un schéma clair : plus le système d'origine est avancé, moins il y a de place pour l'amélioration. Le H.264, étant le plus ancien et le plus simple, offrait le plus de « marge de progression » pour l'IA. Cependant, le fait que l'IA ait quand même amélioré le tout nouveau H.266 de plus de 2 % est une avancée majeure. Cela suggère que, peu importe la qualité de la conception humaine d'un livre de règles, un système apprenant peut trouver des motifs qui nous ont échappé.

Ce que cela signifie

Cette étude démontre qu'il n'est pas nécessaire de jeter l'intégralité du système vidéo pour obtenir une meilleure compression. On peut remplacer chirurgicalement uniquement la partie « emballage » par une IA intelligente apprenante.

Les chercheurs ont également vérifié si cela améliorait la qualité de l'image. Ils ont constaté que les économies n'étaient pas seulement un tour de passe-passe mathématique ; la vidéo paraissait réellement meilleure pour l'œil humain (mesurée par des indicateurs tels que VMAF et MS-SSIM). L'IA était plus apte à préserver les détails importants qui rendent une vidéo nette et naturelle.

Une découverte intéressante est que le nouveau système fonctionne mieux lorsqu'il y a du mouvement (comme dans un match de sport ou un film) car il peut utiliser le « contexte temporel » (regarder le passé) pour faire des prédictions plus intelligentes. Dans les scènes statiques, l'amélioration est plus faible, mais toujours présente.

Le revers de la médaille

Il existe un coût à cette intelligence supplémentaire. Le nouveau système nécessite plus de puissance de calcul pour fonctionner. Pour l'ancienne norme H.264, le temps d'encodage (le temps nécessaire pour compresser la vidéo) a augmenté d'environ 4 fois. Pour le H.266, déjà complexe, le temps n'a augmenté que d'environ 15 %. Cela suggère que cette technologie est plus pratique pour les systèmes vidéo modernes et haut de gamme, où l'ordinateur travaille déjà intensément, ou pour les serveurs cloud où la vitesse est moins critique que l'économie d'espace de stockage.

En résumé, ce document prouve qu'en remplaçant l'étape finale de la compression vidéo par une IA apprenante, nous pouvons extraire plus d'efficacité de nos normes vidéo actuelles, rendant nos vidéos plus petites et plus claires sans avoir à attendre la prochaine génération de technologies vidéo.

Résumé technique : NAE-VC – L'encodage arithmétique neuronal comme remplacement appris pour le CABAC

1. Énoncé du problème

Le codage entropique représente l'étape finale et sans perte des codecs vidéo hybrides (H.264/AVC, H.265/HEVC, H.266/VVC), déterminant directement le débit binaire requis pour atteindre une qualité de reconstruction spécifique. La norme actuelle, le codage arithmétique binaire adaptatif basé sur le contexte (CABAC), repose sur trois contraintes architecturales fondamentales qui limitent la précision de l'estimation des probabilités :

Modélisation de probabilité binaire : Le CABAC décompose les éléments de syntaxe multivalués en décisions binaires, estimant des probabilités de Bernoulli distinctes pour chaque bit. Cela néglige la structure statistique jointe et la nature multimodale des coefficients de transformée.
Dérivation de contexte fixe : La correspondance entre l'état de codage et l'indice du modèle de contexte est conçue à la main et figée lors de la normalisation. Elle ne peut pas s'adapter aux propriétés statistiques spécifiques des séquences vidéo individuelles ou des régions de contenu locales.
Adaptation à taux unique : Les mises à jour de probabilité utilisent une règle de moyenne mobile exponentielle (EMA) fixe, incapable de distinguer les contextes stationnaires (nécessitant une adaptation lente) des contextes non stationnaires (nécessitant une adaptation rapide).

Bien que les cadres de compression neuronale de bout en bout aient démontré une modélisation de probabilité supérieure en utilisant des hyper-a priori appris, des contextes autorégressifs et des modèles de mélange gaussien (GMM), ces approches remplacent l'intégralité du pipeline de codage. Elles ne sont pas conformes aux normes et manquent de rétrocompatibilité. Il existe un écart significatif dans le transfert de ces avancées de modélisation apprise vers l'étape de codage entropique des codecs standardisés existants sans modifier la prédiction, la transformée ou les outils de filtrage.

2. Méthodologie : Le cadre NAE-VC

Les auteurs proposent NAE-VC (Neural Arithmetic Encoding for Video Compression), un cadre modulaire conçu pour remplacer chirurgicalement uniquement le module CABAC des codecs existants (JM-19.0, HM-16.25, VTM-17.0) tout en préservant tous les autres outils de codage. Le cadre se compose de trois composants principaux :

A. Réseau d'agrégation de contexte

Pour surmonter la capacité de représentation limitée des indices de contexte fixes du CABAC, NAE-VC emploie un réseau appris qui fusionne trois sources de contexte complémentaires en un vecteur de conditionnement unifié ( $D=192$ ) :

Contexte spatial : Extrait via des convolutions $3\times3$ masquées sur les coefficients déjà codés au sein du bloc actuel, augmentées par les caractéristiques des blocs voisins reconstruits (gauche/haut) pour gérer les bordures.
Contexte autorégressif par canal : Les coefficients sont partitionnés en quatre groupes et traités séquentiellement via un perceptron multicouche (MLP) pour capturer les dépendances inter-canaux (par exemple, entre les coefficients DC et AC).
Contexte temporel : Pour les trames inter-codées, les caractéristiques sont extraites des blocs de référence compensés par mouvement. Pour les trames intra, un plongement (embedding) par défaut appris est utilisé.
Fusion : Ces chemins sont fusionnés à l'aide d'un mécanisme d'attention croisée multi-têtes ( $H=4$ têtes, $d_k=48$ ), permettant au réseau de pondérer de manière adaptative la source de contexte la plus informative pour chaque élément de syntaxe.

B. Estimation de probabilité neuronale (GMM)

Au lieu de probabilités de Bernoulli uniques, NAE-VC modélise la distribution des coefficients de transformée quantifiés à l'aide d'un modèle de mélange gaussien (GMM) avec $K=3$ composantes.

Têtes de prédiction : Trois têtes linéaires parallèles prédisent la moyenne ( $\mu$ ), l'échelle ( $\sigma$ , via Softplus) et les poids de mélange ( $\pi$ , via Softmax) pour les composantes du GMM basées sur le vecteur de contexte fusionné.
Discrétisation : La densité continue du GMM est intégrée sur des bacs de quantification unitaires pour générer une fonction de masse de probabilité (PMF) discrète, qui est ensuite convertie en une fonction de répartition (CDF) pour le codage entropique.
Avantage : Cette approche capture les distributions multimodales, à queues lourdes et asymétriques que les modèles à mode unique du CABAC ne peuvent représenter.

C. Modélisation de contexte hiérarchique et encodage rANS

Hyper-a priori : Un réseau encodeur léger (1,8 M de paramètres) compresse les statistiques globales des coefficients en un vecteur d'information latérale ( $\hat{z}$ ), transmis comme information latérale pour fournir des estimations initiales spatialement adaptatives.
Parallélisme en damier : Pour permettre un parallélisme partiel sans violer les dépendances causales, les positions des coefficients sont divisées en ensembles pairs et impairs (motif en damier). Les positions paires sont codées en premier en utilisant l'hyper-a priori et le contexte temporel ; les positions impaires sont codées en second, étant additionnellement conditionnées par les positions paires décodées.
Moteur d'encodage : Le cadre utilise rANS (Range Asymmetric Numeral Systems) avec une précision de CDF de 16 bits, remplaçant le codeur arithmétique binaire. Cela garantit une efficacité de compression quasi optimale (à moins de 0,01 bit/symbole de l'entropie théorique) et une synchronisation bit à bit entre l'encodeur et le décodeur.

3. Contributions clés

Premier remplacement neuronal unifié : NAE-VC est présenté comme le premier remplacement neuronal du pipeline de codage entropique des coefficients de transformée évalué sur trois générations de codecs hybrides standardisés (H.264, H.265, H.266) sous une architecture unique.
Fusion par attention croisée multi-têtes : L'introduction d'un mécanisme de fusion appris qui combine de manière adaptative les contextes spatiaux, par canal et temporels, surpassant la correspondance fixe du CABAC.
Évaluation exhaustive multi-codec : L'étude fournit une évaluation étendue sur six jeux de données de référence (UVG, MCL-JCV, classes HEVC B–E) et deux configurations (All-Intra, Low-Delay P), démontrant des gains constants sur les métriques PSNR, MS-SSIM et VMAF.
Stratégie d'intégration modulaire : Le travail démontre que le codage entropique appris peut être intégré comme un remplacement « direct » (drop-in) pour le CABAC, isolant la contribution de l'estimation de probabilité des autres outils de codage et préservant la sémantique de prédiction et de transformée du codec standard.

4. Résultats expérimentaux

Les expériences ont été menées sur six jeux de données de référence en utilisant des valeurs QP {22, 27, 32, 37}.

Économies de BD-Rate (vs CABAC natif)

NAE-VC a systématiquement obtenu des économies de débit à travers tous les codecs, l'ampleur de l'amélioration étant inversement proportionnelle à la sophistication de l'implémentation native du CABAC :

H.264/AVC : $-4,82\%$ (All-Intra), $-6,15\%$ (Low-Delay P).
H.265/HEVC : $-3,67\%$ (All-Intra), $-4,93\%$ (Low-Delay P).
H.266/VVC : $-2,41\%$ (All-Intra), $-3,28\%$ (Low-Delay P).

Observations clés

Relation inverse : Les résultats confirment l'hypothèse selon laquelle, à mesure que le CABAC devient plus sophistiqué (de H.264 à H.266), la « marge de progression » pour un remplacement neuronal diminue, bien que des gains mesurables persistent même dans le VVC hautement optimisé.
Contexte temporel : La configuration Low-Delay P produit des gains plus importants que l'All-Intra (par exemple, 1,33 point de pourcentage supplémentaires pour H.264), validant la contribution du chemin de contexte temporel qui modélise les corrélations de coefficients entre les trames, inaccessibles au CABAC.
Qualité perceptuelle : Les gains ont été cohérents à travers les métriques, les améliorations de VMAF ( $-5,47\%$ pour H.264) dépassant légèrement les gains de PSNR, suggérant que le GMM préserve mieux les coefficients structurellement importants.
Ablation des composants : Le gain individuel le plus important provient du remplacement des tables fixes par l'estimation de probabilité neuronale ($-1,18$ pp), suivi de la modélisation GMM ($-0,64$ pp), de l'hyper-a priori ($-0,56$ pp) et du contexte spatial ($-0,49$ pp).
Impact intergénérationnel : H.265+NAE-VC comble environ $25\%$ de l'écart de compression par rapport au H.266 natif, démontant que le codage entropique appris peut fournir une fraction significative des gains générationnels sans un redessin complet du codec.

Surcharge de calcul

Encodage : La surcharge est la plus élevée pour H.264 (environ $3,9\times$ la base) en raison de son encodage natif rapide, mais elle est plus modeste pour H.266 ( $1,15\times$ ) où le pipeline de base est déjà très intensif en calcul.
Taille du modèle : Le nombre total de paramètres entraînables est de 8,6 M, avec une taille de modèle ONNX d'environ 34 Mo.
Déploiement : Les auteurs notent que pour le H.264/H.265 en temps réel, l'accélération matérielle ou la compression de modèle serait nécessaire, tandis que le transcodage basé sur le cloud est un scénario plus immédiatement viable.

5. Signification et affirmations

L'article affirme que NAE-VC apporte la preuve concrète que le codage entropique appris traite les limitations architecturales fondamentales (modélisation binaire, dérivation de contexte fixe, adaptation à taux unique) qui persistent à travers toutes les variantes de CABAC.

Modularité : L'approche offre une voie pour améliorer l'efficacité de la compression sans remplacer l'ensemble de l'écosystème de codage, préservant la rétrocompatibilité au niveau des outils de codage (bien que le format du flux binaire change, nécessitant un décodeur correspondant).
Quantification de la marge de progression : Les résultats quantifient la marge de progression résiduelle de l'encodage entropique disponible même dans les standards les plus avancés (VVC), suggérant que des gains supplémentaires sont possibles grâce à la modélisation de probabilité apprise.
Praticité : En isolant l'étape d'entropie, ce travail comble le fossé entre la haute performance des codecs neuronaux de bout en bout et la réalité du déploiement des codecs vidéo standardisés, offrant une voie de mise à niveau « chirurgicale » pour les infrastructures existantes.

Les auteurs concluent que, bien que la relation inverse entre la sophistication du CABAC et les gains neuronaux soit directionnellement cohérente, elle est influencée par d'autres différences au niveau du codec (partitionnement, transformées, etc.). Néanmoins, les améliorations constantes à travers toutes les générations valident le potentiel du codage entropique neuronal modulaire comme une amélioration viable pour les futurs standards de compression vidéo.