🔬 optics

Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams

Engram-E2VID est un cadre de reconstruction événement-vers-vidéo basé sur une référence qui exploite un squelette de diffusion en une seule étape pour guider structurellement l'activation générative d'engrammes d'apparence encodés à partir d'une image de référence, permettant une récupération de haute fidélité des images RVB cibles à partir de flux d'événements clairsemés, même sous des mouvements complexes et des intervalles temporels longs.

Auteurs originaux : Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Publié 2026-08-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de recréer une scène de film, mais que vous ne disposez que de deux outils très étranges. Le premier est une photographie unique et parfaite de la scène avant le début de l'action. Le second est un flux chaotique de minuscules étincelles invisibles qui volent partout dès que quelque chose bouge ou change de luminosité. Ces étincelles, appelées « événements », sont incroyablement rapides et détaillées concernant le mouvement, mais elles sont totalement aveugles à la couleur, à la texture ou à l'apparence réelle des choses. Elles sont comme un murmure fantomatique de mouvement sans corps.

Les scientifiques tentent depuis longtemps d'utiliser ces étincelles pour reconstruire les parties manquantes d'un film, mais c'est comme essayer de peindre un portrait en utilisant seulement une carte du vent. Les anciennes méthodes se perdent souvent lorsque les choses bougent trop loin ou trop vite, ce qui produit des images floues, fantomatiques ou complètement erronées. C'est ce casse-tête qu'une équipe de chercheurs de l'Université Jiao Tong de Shanghai et d'autres institutions a décidé de résoudre. Ils se sont demandé : « Comment pouvons-nous prendre ce flux chaotique d'étincelles de mouvement et le combiner avec notre photo de départ pour reconstruire une nouvelle image cristalline de la vidéo, même si beaucoup de temps s'est écoulé ? »

La réponse qu'ils ont trouvée est un nouveau système appelé Engram-E2VID. Voyez cela comme une équipe de construction magique qui ne se contente pas de copier-coller l'ancienne photo. Au lieu de cela, elle construit un « échafaudage » ou un squelette de la nouvelle scène en utilisant les étincelles de mouvement. Cet échafaudage indique au système où les choses se déplacent et comment la structure change. Ensuite, le système plonge dans sa banque de mémoire — la photo originale — et en extrait les « engrammes d'apparence » spécifiques (qui sont comme des fragments de mémoire détaillés de l'aspect des objets).

Voici la partie ingénieuse : au lieu d'essayer d'étirer l'ancienne photo pour l'adapter à la nouvelle position (ce qui la rend généralement déformée et floue), le système utilise un processus d'« activation » intelligent. Il demande à l'échafaudage : « Hé, j'ai besoin de la texture d'une balle rouge ici, et de la fourrure d'un chat là. » L'échafaudage pointe les bons endroits, et le système saisit les fragments de mémoire parfaits pour les remplir. S'il y a des parties de la scène qui étaient complètement cachées ou nouvelles, une puissante « imagination » par IA (appelée modèle de diffusion) intervient pour combler les vides de manière réaliste.

Les résultats sont impressionnants. Lors des tests sur trois ensembles de données réels, cette nouvelle méthode n'a pas seulement fonctionné ; elle a fonctionné bien mieux que les meilleures tentatives précédentes. En termes simples, elle a rendu les images reconstruites nettement plus nettes et plus précises. Plus précisément, elle a amélioré le score de qualité d'image (PSNR) jusqu'à 3,29 dB et réduit le flou visuel (LPIPS) jusqu'à 0,08 par rapport à la méthode existante la plus performante utilisant les mêmes entrées.

La découverte la plus excitante concerne peut-être sa gestion du temps. Habituellement, plus le temps qui passe entre la photo de départ et la nouvelle image que l'on veut créer est long, plus l'image se dégrade. Mais Engram-E2VID se dégrade beaucoup plus lentement. Même lorsque l'écart temporel était important, il a conservé des détails nets et des structures correctes, alors que les autres méthodes commençaient à devenir floues et à halluciner des formes bizarres. Les chercheurs suggèrent qu'en séparant la « structure » (l'échafaudage) de l'« apparence » (les engrammes) et en les faisant communiquer de manière intelligente, ils peuvent reconstruire des scènes qui sont complexes, qui bougent vite ou qui sont éloignées de la photo originale, le tout sans avoir besoin d'une seconde photo pour aider. C'est un peu comme être capable de se souvenir exactement de l'apparence du visage d'un ami, même s'il a changé de pièce et qu'il court partout, simplement en connaissant l'agencement de la pièce et le son de ses pas.

Résumé Technique : Engram-E2VID

Énoncé du Problème
La reconstruction de vidéos à partir d'événements basée sur une référence vise à récupérer les images RGB cibles en utilisant une image de référence et le flux d'événements asynchrones capturé sur l'intervalle entre les horodatages de la référence et de la cible. Bien que les caméras à événements offrent une résolution temporelle de l'ordre de la microseconde et une plage dynamique élevée, elles n'encodent que des changements relatifs de log-intensité plutôt qu'une apparence, une couleur ou une texture absolue. Cela rend une reconstruction fidèle intrinsèquement mal posée.

Le défi central réside dans l'association des structures dérivées des événements, qui sont éparses et asynchrones au temps cible, avec les informations d'apparence pertinentes de l'image de référence. Les méthodes existantes reposent généralement sur l'estimation de champs de mouvement pour déformer l'image de référence. Cependant, sous un mouvement complexe, une occlusion ou des intervalles temporels longs, une simple déformation échoue à reconstruire les régions nouvellement révélées ou substantiellement modifiées. De plus, les approches récentes basées sur la diffusion qui utilisent les événements comme conditionnement auxiliaire manquent souvent d'un mécanisme explicite pour associer les structures dérivées des événements aux indices d'apparence de la référence, ce qui entraîne des incohérences structurelles ou du contenu halluciné.

Méthodologie
Les auteurs proposent Engram-E2VID, un cadre guidé par la structure qui reconstruit les images cibles via l'« activation générative d'engrammes d'apparence ». La méthode opère au sein d'un backbone de diffusion en une seule étape et se compose de deux étapes primaires :

Estimation de l'Échafaudage Structurel (Structural Scaffold Estimation) :
Le flux d'événements asynchrones entre les horodatages de la référence ( $t_0$ ) et de la cible ( $t_k$ ) est converti en une représentation de voxel d'événions spatio-temporels ( $V$ ). Un U-Net à double encodeur léger traite à la fois le voxel d'événements et l'image de référence pour estimer un « échafaudage de structure-mouvement » ( $\tilde{I}^s_{t_k}$ ). Cet échafaudage n'est pas requis pour être photoréaliste ; sa fonction principale est d'exposer les limites de mouvement et les structures de la scène au modèle de diffusion.
Activation de l'Engramme d'Apparence (Appearance Engram Activation) :
L'échafaudage et l'image de référence sont encodés en représentations latentes ( $z_s$ et $z_r$ ) à l'aide d'un encodeur VAE gelé.
- Engrammes : Les jetons latents de la référence ( $z_r$ ) servent d'« engrammes d'apparence », conservant des informations visuelles riches.
- Jetons d'Échafaudage : Les jetons latents de l'échafaudage ( $z_s$ ) encodent l'information structurelle au temps cible.
- Interaction Latente par Attention (LIA) : Une nouvelle interface d'interaction est introduite où les latents de l'échafaudage et de la référence sont empilés et réorganisés en une séquence de jetons conjointe. Au sein des blocs de transformeurs du backbone de diffusion, des couches d'auto-attention permettent aux jetons structurels d'interagir avec et d'activer les engrammes d'apparence pertinents. Cette association se produit dans l'espace des jetons plutôt que par un transfert direct pixel par pixel, permettant au modèle d'accéder à l'apparence de la référence malgré un déplacement spatial important.

Le cadre utilise un processus de diffusion en une étape (adapté de SD-Turbo avec LoRA) où les jetons structurels dérivés de l'échafaudage agissent comme des requêtes pour récupérer les engrammes pertinents. Une connexion de saut avec des convolutions initialisées à zéro préserve l'information structurelle de l'échafaudage pour éviter la dérive. Pour l'inférence à haute résolution, le processus est appliqué de manière segmentée (tile-wise) avec des fenêtres chevauchantes.

Contributions Clés

Échafaudage de Structure-Mouvement au Temps Cible : Les auteurs introduisent un échafaudage qui intègre les données d'événements avec le contexte de référence pour fournir un guidage structurel explicite pour la reconstruction, plutôt que de compter uniquement sur la déformation de mouvement.
Interface d'Interaction Structure-vers-Engramme : Ils établissent un mécanisme où les jetons structurels dérivés de l'échafaudage activent les engrammes d'apparence pertinents au sein d'un backbone de diffusion en une étape. Cette association dans l'espace des jetons évite une correspondance rigide pixel par pixel, permettant une reconstruction robuste sous de grands déplacements.
Performance et Robustesse : Des expériences approfondies démontrent que la méthode atteint une qualité visuelle et une fidélité structurelle supérieures par rapport aux bases de comparaison de pointe, avec un taux de dégradation notablement plus lent à mesure que l'intervalle de reconstruction augmente.

Résultats Expérimentaux
La méthode a été évaluée sur trois jeux de données synchronisés événement-image : BS-ERGB, ERF-X170FPS et HQ-EVFI.

Performance Quantitative : Engram-E2VID a systématiquement surpassé la base de comparaison la plus forte utilisant les mêmes entrées (RE-VDM). Les améliorations incluent une augmentation allant jusqu'à 3,29 dB de PSNR et une réduction allant jusqu'à 0,08 de LPIPS à travers les benchmarks.
Robustesse aux Intervalles Longs : À mesure que l'intervalle temporel (skip) augmentait, Engram-E2VID a présenté une dégradation de performance nettement plus lente par rapport aux méthodes basées sur la déformation (ex: VFPSIE) et aux autres approches de diffusion. Par exemple, sur le jeu de données BS-ERGB, la chute de PSNR du skip 1 au skip 7 n'était que de 1,85 dB pour Engram-E2VID, contre 4,30 dB pour VFPSIE.
Résultats Qualitatifs : Les comparaisons visuelles ont montré des limites d'objets plus nettes, moins d'artefacts visuels et une meilleure préservation de la structure de la scène et des détails d'apparence, particulièrement dans les régions présentant un mouvement complexe ou une occlusion.

Signification et Revendications
L'article affirme qu'Engram-E2VID répond à la limitation fondamentale des méthodes de référence existantes en découplant le guidage structurel de la récupération d'apparence. En organisant l'apparence de la référence sous forme d'« engrammes » et en permettant aux structures cibles de les « activer » via l'attention, le cadre permet une reconstruction fidèle sans dépendre d'une correspondance directe de pixels. Les auteurs soutiennent que cette approche exploite efficacement le prior de diffusion pour résoudre les ambiguïtés dans les régions incertaines ou nouvellement révélées tout en maintenant la cohérence structurelle. Les résultats suggèrent que cette association dans l'espace des jetons est particulièrement avantageuse pour les intervalles temporels longs où l'estimation de mouvement traditionnelle échoue. L'article conclut que la méthode permet d'obtenir une reconstruction de haute qualité sans régularisation explicite de la cohérence temporelle, maintenant la cohérence temporelle à travers des images reconstruites indépendamment.

Articles similaires