🔬 optics

Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams

Engram-E2VID es un marco de reconstrucción de eventos a video basado en referencias que aprovecha una red base de difusión de un solo paso para guiar estructuralmente la activación generativa de engramas de apariencia codificados a partir de un fotograma de referencia, permitiendo la recuperación de alta fidelidad de fotogramas RGB de destino a partir de flujos de eventos dispersos incluso bajo movimientos complejos e intervalos temporales largos.

Autores originales: Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando recrear la escena de una película, pero solo tienes dos herramientas muy extrañas. La primera es una única fotografía perfecta de la escena antes de que comience la acción. La segunda es un flujo caótico de diminutas chispas invisibles que vuelan por todas partes cada vez que algo se mueve o cambia de brillo. Estas chispas, llamadas "eventos", son increíblemente rápidas y detalladas sobre el movimiento, pero son completamente ciegas al color, la textura o cómo lucen realmente las cosas. Son como un susurro fantasmal de movimiento sin un cuerpo.

Los científicos han intentado durante mucho tiempo usar estas chispas para reconstruir las partes faltantes de una película, pero es como intentar pintar un retrato usando solo un mapa de hacia dónde sopló el viento. Los métodos antiguos suelen perderse cuando las cosas se mueven demasiado lejos o demasiado rápido, lo que resulta en imágenes borrosas, fantasmales o completamente erróneas. Este es el rompecabezas que un equipo de investigadores de la Universidad de Jiao Tong de Shanghái y otras instituciones decidió resolver. Se preguntaron: "¿Cómo podemos tomar ese flujo caótico de chispas de movimiento y combinarlo con nuestra foto inicial para reconstruir un nuevo fotograma de un video con una claridad cristalina, incluso si ha pasado mucho tiempo?".

La respuesta que encontraron es un nuevo sistema llamado Engram-E2VID. Piensa en él como un equipo de construcción mágico que no solo copia y pega la foto antigua. En su lugar, construye un "andamio" o un esqueleto de la nueva escena utilizando las chispas de movimiento. Este andamio le dice al sistema dónde se están moviendo las cosas y cómo está cambiando la estructura. Luego, el sistema busca en su banco de memoria —la foto original— y extrae los "engramas de apariencia" específicos (que son como fragmentos de memoria detallados de cómo lucen los objetos).

Aquí está la parte ingeniosa: en lugar de intentar estirar la foto antigua para que encaje en la nueva posición (lo que usualmente hace que se vea deformada y borrosa), el sistema utiliza un proceso de "activación" inteligente. Le pregunta al andamio: "Oye, necesito la textura de una pelota roja aquí, y el pelaje de un gato allá". El andamio señala los lugares correctos, y el sistema toma los fragmentos de memoria perfectos para rellenarlos. Si hay partes de la escena que estaban completamente ocultas o eran nuevas, una poderosa "imaginación" de IA (llamada modelo de difusión) interviene para llenar los huecos de manera realista.

Los resultados son impresionantes. Cuando se probó en tres conjuntos de datos del mundo real, este nuevo método no solo funcionó; funcionó mucho mejor que los intentos previos más destacados. En términos simples, hizo que las imágenes reconstruidas fueran significativamente más nítidas y precisas. Específicamente, mejoró la puntuación de calidad de imagen (PSNR) hasta en 3.29 dB y redujo la falta de nitidez visual (LPIPS) hasta en 0.08 en comparación con el método existente más fuerte que utilizaba los mismos insumos.

Quizás el hallazgo más emocionante es qué tan bien maneja el tiempo. Por lo general, cuanto más tiempo esperas entre la foto inicial y el nuevo fotograma que quieres crear, peor es la imagen. Pero Engram-E2VID se degrada mucho más lentamente. Incluso cuando la brecha de tiempo era grande, mantuvo los detalles nítidos y las estructuras correctas, mientras que otros métodos comenzaron a volverse borrosos y a alucinar formas extrañas. Los investigadores sugieren que, al separar la "estructura" (el andamio) de la "apariencia" (los engramas) y permitir que hablen entre sí de manera inteligente, pueden reconstruir escenas que son complejas, se mueven rápido o están lejos de la foto original, todo sin necesidad de una segunda foto que ayude. Es un poco como ser capaz de recordar exactamente cómo es el rostro de un amigo, incluso si se ha movido a una habitación completamente diferente y está corriendo de un lado a otro, simplemente conociendo la disposición de la habitación y el sonido de sus pasos.

Resumen Técnico: Engram-E2VID

Planteamiento del Problema
La reconstrucción de video a partir de eventos basada en referencias busca recuperar fotogramas RGB objetivo utilizando un fotograma de referencia y el flujo de eventos asíncronos capturados durante el intervalo entre los cronotemplos de la referencia y el objetivo. Si bien las cámaras de eventos ofrecen una resolución temporal de microsegundos y un alto rango dinámico, codifican únicamente cambios de intensidad logarítmica relativa en lugar de la apariencia, el color o la textura absoluta. Esto hace que la reconstrucción fiel sea inherentemente mal planteada.

El desafío central radica en asociar las estructuras dispersas y asíncronas derivadas de los eventos en el tiempo objetivo con la información de apariencia relevante del fotograma de referencia. Los métodos existentes suelen depender de la estimación de campos de movimiento para deformar (warp) el fotograma de referencia. Sin embargo, bajo movimientos complejos, oclusiones o intervalos temporales largos, la deformación simple falla al intentar reconstruir regiones recién reveladas o sustancialmente alteradas. Además, los enfoques recientes basados en difusión que utilizan eventos como condicionamiento auxiliar suelen carecer de un mecanismo explícito para asociar las estructuras derivadas de los eventos con las pistas de apariencia de la referencia, lo que conduce a inconsistencias estructurales o contenido alucinado.

Metodología
Los autores proponen Engram-E2VID, un marco guiado por la estructura que reconstruye fotogramas objetivo mediante la "activación generativa de engramas de apariencia". El método opera dentro de un backbone de difusión de un solo paso y consta de dos etapas primarias:

Estimación del Andamiaje Estructural (Structural Scaffold Estimation):
El flujo de eventos asíncronos entre los cronotemplos de la referencia ( $t_0$ ) y el objetivo ( $t_k$ ) se convierte en una representación de vóxel de eventos espacio-temporales ( $V$ ). Una U-Net de codificador dual ligera procesa tanto el vóxel de eventos como el fotograma de referencia para estimar un "andamiaje de estructura-movimiento" ( $\tilde{I}^s_{t_k}$ ). Este andamiaje no requiere ser fotorealista; su función principal es exponer los límites de movimiento y las estructuras de la escena al modelo de difusión.
Activación de Engramas de Apariencia (Appearance Engram Activation):
El andamiaje y el fotograma de referencia se codifican en representaciones latentes ( $z_s$ y $z_r$ ) utilizando un codificador VAE congelado.
- Engramas: Los tokens latentes de la referencia ( $z_r$ ) sirven como "engramas de apariencia", reteniendo información visual rica.
- Tokens del Andamiaje: Los tokens latentes del andamiaje ( $z_s$ ) codifican la información estructural del tiempo objetivo.
- Interacción de Atención Latente (LIA): Se introduce una novedosa interfaz de interacción donde los latentes del andamiaje y de la referencia se apilan y reorganizan en una secuencia de tokens conjunta. Dentro de los bloques de transformador del backbone de difusión, las capas de autoatención permiten que los tokens estructurales interactúen con y activen los engramas de apariencia relevantes. Esta asociación ocurre en el espacio de tokens en lugar de mediante una transferencia directa de píxel a píxel, lo que permite al modelo acceder a la apariencia de la referencia a pesar de desplazamientos espaciales significativos.

El marco emplea un proceso de difusión de un solo paso (adaptado de SD-Turbo con LoRA), donde los tokens estructurales derivados del andamiaje actúan como consultas (queries) para recuperar los engramas relevantes. Una conexión de salto (skip connection) con convoluciones inicializadas en cero preserva la información estructural del andamiaje para evitar la deriva. Para la inferencia de alta resolución, el proceso se aplica de manera segmentada (tile-wise) con ventanas superpuestas.

Contribuciones Clave

Andamiaje de Estructura-Movimiento de Tiempo Objetivo: Los autores introducen un andamiaje que integra los datos de eventos con el contexto de la referencia para proporcionar una guía estructural explícita para la reconstrucción, en lugar de depender únicamente de la deformación de movimiento.
Interfaz de Interacción Estructura-a-Engrama: Establecen un mecanismo donde los tokens estructurales derivados del andamiaje activan los engramas de apariencia relevantes dentro de un backbone de difusión de un solo paso. Esta asociación en el espacio de tokens evita la correspondencia rígida de píxel a píxel, permitiendo una reconstrucción robusta bajo grandes desplazamientos.
Desempeño y Robustez: Experimentos extensos demuestran que el método logra una calidad visual y fidelidad estructural superiores en comparación con las líneas base de vanguardia, con una tasa de degradación notablemente más lenta a medida que aumenta el intervalo de reconstrucción.

Resultados Experimentales
El método fue evaluado en tres conjuntos de datos sincronizados de eventos y fotogramas: BS-ERGB, ERF-X170FPS y HQ-EVFI.

Desempeño Cuantitativo: Engram-E2VID superó consistentemente a la línea base de mismo input más fuerte (RE-VDM). Las mejoras incluyeron un aumento de hasta 3.29 dB en PSNR y una reducción de hasta 0.08 en LPIPS a través de los parámetros de referencia.
Robustez ante Intervalos Largos: A medida que el intervalo temporal (skip) aumentaba, Engram-E2VID exhibió una degradación de desempeño significativamente más lenta en comparación con los métodos basados en deformación (ej. VFPSIE) y otros enfoques de difusión. Por ejemplo, en el conjunto de datos BS-ERGB, la caída de PSNR del salto 1 al 7 fue de solo 1.85 dB para Engram-E2VID, comparado con 4.30 dB para VFPSIE.
Resultados Cualitativos: Las comparaciones visuales mostraron bordes de objetos más nítidos, menos artefactos visuales y una mejor preservación de la estructura de la escena y los detalles de apariencia, particularmente en regiones con movimientos complejos u oclusiones.

Significancia y Reivindicaciones
El artículo afirma que Engram-E2VID aborda la limitación fundamental de los métodos basados en referencias existentes al desacoplar la guía estructural de la recuperación de la apariencia. Al organizar la apariencia de la referencia como "engramas" y permitir que las estructuras de destino las "activen" mediante atención, el marco permite una reconstrucción fiel sin depender de la correspondencia directa de píxeles. Los autores sostienen que este enfoque aprovecha eficazmente el prior de difusión para resolver ambigüedades en regiones inciertas o recién reveladas, manteniendo la consistencia estructural. Los resultados sugieren que esta asociación en el espacio de tokens es particularmente ventajosa para intervalos temporales largos donde la estimación de movimiento tradicional falla. El artículo concluye que el método logra una reconstrucción de alta calidad sin regularización explícita de consistencia temporal, manteniendo la coherencia temporal a través de fotogramas reconstruidos de forma independiente.

Más como este