💻 computer science

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

Le document propose ENCORE, un cadre de compression vidéo appris qui exploite les données de caméras à événements pour affiner l'estimation du mouvement basée sur le RGB grâce à une décomposition de représentation complémentaire, un étalonnage sensible à la redondance et un routage sensible à l'énergie, atteignant des économies de débit et des améliorations de qualité significatives sur divers ensembles de données.

Auteurs originaux : Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer une vidéo en direct d'un match de football à vos amis sur un téléphone avec une connexion internet lente. Pour faire tenir la vidéo, vous devez la compresser, ce qui signifie que vous devez jeter certaines informations. La partie la plus délicate de la compression vidéo est la gestion du mouvement. Si un joueur traverse l'écran, l'ordinateur n'a pas besoin d'envoyer une toute nouvelle image du joueur ; il doit simplement dire : « Le joueur s'est déplacé de deux pas vers la gauche ». C'est ce qu'on appelle l'estimation de mouvement. Cependant, les caméras standards prennent des photos à une vitesse fixe, comme un folioscope. Si le joueur bouge trop vite, ou s'il y a du brouillard, ou si la caméra tremble, ces pages de folioscope peuvent devenir floues ou confuses. L'ordinateur se retrouve à deviner où le joueur est réellement allé, ce qui mène à un désastre de pixels ou à un fichier qui est toujours trop volumineux.

C'est là qu'intervient un type spécial de caméra appelé « caméra à événements ». Contraence aux caméras classiques qui prennent une photo complète chaque seconde, une caméra à événements est comme un garde de sécurité hyper sensible qui ne crie que lorsqu'il se passe quelque chose de nouveau. Si un pixel devient plus brillant ou plus sombre, la caméra à événements le signale instantanément. Elle ne se soucie pas de la couleur de l'herbe ou de la texture du maillot ; elle ne s'intéresse qu'au mouvement et aux changements de lumière. Elle est incroyablement rapide et fonctionne très bien même dans l'obscurité ou lorsque les choses bougent très rapidement. La grande question que les scientifiques se posent est la suivante : pouvons-nous utiliser ce « garde qui crie » pour aider la caméra de type « folioscope » à faire de meilleures suppositions sur le mouvement, afin d'envir des vidéos plus claires en utilisant moins de données ?

Ce document, intitulé ENCORE, répond par un « Oui, mais avec une stratégie très spécifique ». Les chercheurs ont conçu un nouveau système qui utilise les données de la caméra à événements pour aider un algorithme de compression vidéo standard, mais avec une nuance : la vidéo finale est toujours une vidéo normale. Les données d'événements ne sont jamais envoyées au spectateur ; elles ne sont utilisées en coulisses pour corriger le « jeu de devinettes » du mouvement.

Les auteurs ont découvert que le simple fait de mélanger les deux types de données (comme si l'on versait les données d'événements dans le fichier vidéo) rend en réalité les choses pires. C'est comme essayer de lire un livre pendant que quelqu'un vous hurle des chiffres aléatoires à l'oreille ; le bruit supplémentaire ne fait que vous embrouiller. Au lieu de cela, ils ont créé un système de filtrage intelligent composé de trois étapes distinctes pour rendre les données d'événements utiles :

Le Traducteur (CMR) : D'abord, le système sépare le mouvement de « bon sens » que les deux caméras voient du « contenu spécial » que seule la caméra à événements perçoit. Il réalise que parfois, les deux caméras sont d'accord sur la direction d'un ballon, mais parfois, la caméra à événements voit un flou que la caméra classique a manqué.
L'Éditeur (SERIC) : Ensuite, il agit comme un éditeur strict. Il examine les « cris » de la caméra à événements et demande : « Est-ce une nouvelle information, ou est-ce juste du bruit ? » Si la caméra à événements crie à propos de quelque chose que la caméra classique a déjà parfaitement compris, l'éditeur la fait taire. Si la caméra à événements repère un mouvement rapide auquel la caméra classique est aveugle, l'éditeur le met en évidence.
Le Agent de Circulation (EAR) : Enfin, un système de routage décide exactement où et combien utiliser cette nouvelle information. Si la caméra classique fait un excellent travail pour suivre un arbre qui bouge lentement, l'agent de circulation dit aux données d'événements de rester silencieuses. Mais si une voiture déboule et que la caméra classique est confuse, l'agent de circulation ouvre la barrière et laisse les données d'événements guider la correction.

Les résultats sont impressionnants. Lorsqu'ils ont testé ce système sur trois ensembles de données impliquant des mouvements rapides et un éclairage difficile, il a systématiquement économisé beaucoup de données tout en maintenant une qualité vidéo élevée. Sur un ensemble de données spécifique appelé BS-ERGB, le système a réussi à réduire la taille du fichier de 20,80 % (mesuré en économies de taux BD PSNR-RGB) et de 22,14 % (mesuré en économies de taux BD MS-SSIM-RGB) par rapport à la meilleure méthode standard, sans perdre de qualité d'image. Même sur d'autres ensembles de données avec différents capteurs et des images à haute vitesse, le système a montré des améliorations claires.

Le document soutient explicitement l'idée qu'il ne faut pas simplement fusionner toutes les données ou essayer d'envoyer les données d'événements avec la vidéo. Ils démontent le fait que faire cela introduit du bruit et nuit réellement aux performances. Au lieu de cela, ils prouvent que l'utilisation des événements strictement comme un « aide » pour affiner l'estimation du mouvement pour la vidéo principale est la stratégie gagnante. Bien que le système nécessite un peu plus de puissance de calcul (environ 7,3 % de calculs supplémentaires par image), l'échange en vaut la peine pour les économies massives de transmission de données. En résumé, ENCORE nous apprend que parfois, pour voir l'avenir clairement, on n'a pas besoin de plus d'images ; on a juste besoin d'écouter les choses qui changent.

Résumé Technique : ENCORE – Raffinement du Mouvement Complémentaire Assisté par Événements pour la Compression Vidéo Apprise

1. Définition du Problème

La compression vidéo apprise (LVC) repose largement sur une modélisation temporelle précise pour exploiter la redondance entre les trames adjacentes. Cependant, les codecs existants infèrent le mouvement uniquement à partir d'images RGB échantillonnées discrètement. Cette approche devient peu fiable dans des scénarios impliquant un mouvement rapide, du flou de mouvement, des occlusions, des textures faibles, une faible illumination ou des changements brusques de luminosité. Une modélisation temporelle inexacte dégrade la qualité de la prédiction, augmente l'incertitude des représentations de mouvement et de résidu, et augmente finalement les débits (bitrates).

Bien que la compression multimodale existe, la plupart des méthodes soit encodent conjointement plusieurs modalités (ex: RGB-D, stéréoscopie), soit utilisent des modalités auxiliaires pour un guidage sémantique (ex: texte-vers-image). Il y a un manque de méthodes utilisant un flux temporel auxiliaire pour raffiner spécifiquement l'estimation du mouvement pour la compression vidéo RGB sans reconstruire le signal auxiliaire lui-même. Les caméras à événements, qui capturent de manière asynchrone des changements d'intensité fins avec une haute résolution temporelle et une large plage dynamique, offrent des preuves complémentaires aux trames RGB concernant la dynamique inter-trames. Cependant, une fusion naïve de données d'événements introduit souvent du bruit et de la redondance, échouant ainsi à améliorer les performances de compression.

2. Méthodologie

Les auteurs proposent ENCORE (Event-Assisted Complementary Motion Refinement), un cadre qui intègre des flux d'événements comme une modalité auxiliaire pour raffiner l'estimation du mouvement au sein d'un pipeline standard de compression vidéo apprise. Le système conserve le RGB comme unique cible de codage et de reconstruction, utilisant les événements uniquement pour assister la modélisation du mouvement de l'encodeur.

Le cadre est construit sur l'architecture de base HyTIP et insère trois modules spécialisés dans l'interface d'estimation du mouvement du côté encodeur :

A. Représentation du Mouvement Complémentaire (CMR)

Le module CMR décompose les caractéristiques alignées RGB et événements en trois composantes distinctes pour éviter la dilution des indices complémentaires :

Mouvement Commun ( $F^c_t$ ) : Structures supportées par les deux modalités (ex: motifs de déplacement dominants).
Mouvement Spécifique au RGB ( $F^{r,s}_t$ ) : Informations uniques de l'apparence dense du RGB.
Mouvement Spécifique aux Événements ( $F^{e,s}_t$ ) : Dynamiques uniques du flux d'événements (ex: transitions de luminosité rapides).

Cette décomposition est imposée via une perte de reconstruction (pour préserver l'information originale) et une perte de séparation (pour assurer l'orthogonalité entre les branches), empêissant la branche commune de dupliquer l'information spécifique à la modalité.

B. Calibration Informée par l'Énergie Spatiale et la Redondance (SERIC)

Toutes les réponses d'événements ne sont pas utiles ; certaines sont du bruit, redondantes avec le RGB, ou faibles. SERIC identifie et calibre les preuves d'événements les plus précieuses :

Carte d'Activité ( $E_t$ ) : Mesure l'énergie locale (magnitude au carré) de la caractéristique spécifique aux événements pour identifier les régions actives.
Carte de Nouveauté ( $N_t$ ) : Calcule l'écart entre la caractéristique d'événement et la caractéristique RGB (projetée dans l'espace événementiel) pour identifier les preuves non expliquées par le RGB.
Estimation de l'Utilité : Une fonction apprenable combine $E_t$ et $N_t$ pour générer une carte d'utilité ( $U_t$ ). Cette carte supprime les réponses faibles ou redondantes tout en conservant les régions où les événements fournissent des preuves dynamiques nouvelles et de haute énergie.
Prédiction de Correction : La caractéristique d'événement calibrée est combinée avec le mouvement commun pour prédire une correction de flux candidate ( $\Delta v_t$ ).

C. Routage Sensible à l'Énergie (EAR)

La dernière étape détermine où et avec quelle force la correction de flux candidate doit raffiner le flux RGB initial.

Le réseau de routage prend en entrée l'activité locale, la nouveauté, la magnitude du flux RGB initial et la magnitude de la correction.
Il produit une carte de routage spatiale ( $G_t \in [0, 1]$ ) qui agit comme une porte (gate).
Flux Raffiné : Le vecteur de mouvement final est calculé comme $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$ .
Ce mécanisme garantit que dans les régions où le flux RGB est déjà fiable, la correction est supprimée (approche de zéro), évitant des perturbations inutiles. Dans les régions avec des dynamiques complémentaires fortes, la correction est appliquée.

D. Optimisation

Le système est entraîné de bout en bout pour minimiser le coût taux-distorsion de la vidéo RGB reconstruite ( $L_{RD}$ ). Des pertes auxiliaires sont utilisées pendant l'entraînement pour guider la décomposition et l'alignement, mais sont abandonnées lors de l'inférence :

Pertes de Reconstruction ( $L_r, L_s$ ) : Imposent la qualité de la décomposition CMR.
Perte d'Alignement de Mouvement ( $L_m$ ) : Distille le déplacement RGB fiable dans la branche événementielle en utilisant un masque de fiabilité dérivé de l'erreur photométrique.
Perte de Warping ( $L_w$ ) : Supervise le flux raffiné en minimisant l'erreur de warping de la trame précédente.

3. Contributions Clés

L'article revendique trois contributions principales :

Première Application : À la connaissance des auteurs, il s'agit du premier travail utilisant des données d'événements comme modalité auxiliaire spécifiquement pour la compression vidéo RGB, améliorant la prédiction temporelle tout en gardant le RGB comme cible de codage exclusive.
Cadre de Raffinement Progressif : Le développement d'une nouvelle architecture (CMR, SERIC, EAR) qui sépare explicitement le mouvement commun et spécifique à la modalité, identifie les preuves d'événements actives non expliquées par le RGB, et route spatialement la correction de flux résultante.
Évaluation Complète : Expérimentations étendues sur trois jeux de données RGB-événement (BS-ERGB, HQ-EVIFI, CED) et deux configurations de Groupes d'Images (GOP), démontrant des gains de codage constants avec une augmentation marginale de la complexité de calcul (augmentation de 7,3 % des GFLOPs par P-frame).

4. Résultats Expérimentaux

Les auteurs ont évalué ENCORE par rapport à une ligne de base HyTIP uniquement RGB et une approche de concaténation naïve RGB+Événement.

Jeux de Données : BS-ERB (principal), HQ-EVFI (haute fréquence d'images) et CED (capteur différent).
GOP Court (GOP=8) : Sur BS-ERGB, ENCORE a réalisé une économie de taux de débit (BD-rate) de 19,31 % pour le PSNR-RGB et de 16,73 % pour le MS-SSIM-RGB. L'approche de concaténation naïve a moins bien performé que la ligne de base, soulignant la nécessité des modules de raffinement proposés.
GOP Long (GOP=32) : Sur BS-ERGB, ENCORE a atteint jusqu'à 20,80 % de gain de BD-rate PSNR-RGB et 22,14 % de MS-SSIM-RGB.
Généralisation : Des gains constants ont été observés sur HQ-EVFI et CED, démontrant une robustesse à travers différentes conditions de capture et types de capteurs.
Complexité : Le cadre ajoute seulement une augmentation de 7,3 % des GFLOPs totaux par P-frame par rapport à l'architecture de base.

5. Signification et Revendications

L'article positionne ENCORE comme une solution aux limites de la modélisation temporelle uniquement RGB dans les scénarios de compression vidéo exigeants. Sa signification réside dans :

Efficacité : Il démontre que les capteurs auxiliaires peuvent réduire considérablement le débit sans le surcoût de la reconstruction du signal auxiliaire ou du codage conjoint de plusieurs modalités.
Robustesse : En calibrant et en routant explicitement les preuves d'événements, la méthode évite les pièges de la fusion de caractéristiques naïve, gérant efficacement le bruit et la redondance inhérents aux flux d'événements.
Praticité : Le cadre s'intègre de manière transparente dans les pipelines de compression appris existants (spécifiquement HyTIP) avec des changements architecturaux et un surcoût de calcul minimaux, ce qui en fait un candidat viable pour les futurs standards de compression vidéo où les caméras à événements pourraient être disponibles.

Les auteurs restent modestes, notant que bien que les résultats soient cohérents et significatifs, la méthode est spécifiquement conçue pour des scénarios où les données d'événements sont synchronisées et disponibles à l'encodeur, et où la tête auxiliaire est abandonnée lors de l'inférence.