Resumen Técnico: ENCORE – Refinamiento de Movimiento Complementario Asistido por Eventos para la Compresión de Vídeo Aprendida

1. Definición del Problema

La compresión de vídeo aprendida (LVC) depende en gran medida de un modelado temporal preciso para explotar la redundancia entre fotogramas adyacentes. Sin embargo, los códecs existentes infieren el movimiento únicamente a partir de fotogramas RGB muestreados discretamente. Este enfoque se vuelve poco fiable en escenarios que involucran movimiento rápido, desenfoque de movimiento (motion blur), oclusión, texturas débiles, baja iluminación o cambios bruscos de brillo. Un modelado temporal inexacto degrada la calidad de la predicción, aumenta la incertidumbre en las representaciones de movimiento y residuo, y finalmente eleva las tasas de bits (bitrates).

Aunque existe la compresión multimodal, la mayoría de los métodos o bien codifican conjuntamente múltiples modalidades (p. ej., RGB-D, estéreo) o utilizan modalidades auxiliares para la guía semántica (p. ej., texto-a-imagen). Existe una falta de métodos que utilicen una corriente temporal auxiliar específicamente para refinar la estimación de movimiento en la compresión de vídeo RGB sin reconstruir la señal auxiliar en sí misma. Las cámaras de eventos, que capturan de forma asíncrona cambios de intensidad de grano fino con alta resolución temporal y rango dinámico, ofrecen evidencia complementaria a los fotogramas RGB respecto a la dinámica inter-fotograma. Sin embargo, la fusión ingenua de datos de eventos suele introducir ruido y redundancia, sin lograr mejorar el rendimiento de la compresión.

2. Metodología

Los autores proponen ENCORE (Event-Assisted Complementary Motion Refinement), un marco que integra corrientes de eventos como una modalidad auxiliar para refinar la estimación de movimiento dentro de un flujo de trabajo estándar de compresión de vídeo aprendida. El sistema mantiene el RGB como el único objetivo de codificación y reconstrucción, utilizando los eventos únicamente para asistir al modelado de movimiento del codificador.

El marco se basa en la arquitectura HyTIP e inserta tres módulos especializados en la interfaz de estimación de movimiento del lado del codificador:

A. Representación de Movimiento Complementario (CMR)

El módulo CMR descompone las características alineadas de RGB y eventos en tres componentes distintos para evitar la dilución de las claves complementarias:

1. Movimiento Común ($F^c_t$): Estructuras soportadas por ambas modalidades (p. ej., patrones de desplazamiento dominantes).
2. Movimiento Específico de RGB ($F^{r,s}_t$): Información única de la apariencia densa de RGB.
3. Movimiento Específico de Eventos ($F^{e,s}_t$): Dinámicas únicas de la corriente de eventos (p. ej., transiciones rápidas de brillo).

Esta descomposición se impone mediante una pérdida de reconstrucción (para preservar la información original) y una pérdida de separación (para asegurar la ortogonalidad entre las ramas), evitando que la rama común duplique la información específica de cada modalidad.

B. Calibración Informada por Energía Espacial y Redundancia (SERIC)

No todas las respuestas de eventos son útiles; algunas son ruido, redundantes con el RGB o débiles. SERIC identifica y calibra la evidencia de eventos más valiosa:

• Mapa de Actividad ($E_t$): Mide la energía local (magnitud al cuadrado) de la característica específica de eventos para identificar regiones activas.
• Mapa de Novedad ($N_t$): Calcula la discrepancia entre la característica de eventos y la característica de RGB (proyectada al espacio de eventos) para identificar la evidencia no explicada por el RGB.
• Estimación de Utilidad: Una función aprendible combina $E_t$ y $N_t$ para generar un mapa de utilidad ($U_t$). Este mapa suprime las respuestas débiles o redundantes mientras retiene las regiones donde los eventos proporcionan evidencia dinámica novedosa y de alta energía.
• Predicción de Corrección: La característica de eventos calibrada se combina con el movimiento común para predecir una candidata corrección de flujo ($\Delta v_t$).

C. Enrutamiento Consciente de la Energía (EAR)

La etapa final determina dónde y con qué fuerza la corrección candidata debe refinar el flujo inicial de RGB.

• La red de enrutamiento toma como entrada la actividad local, la novedad, la magnitud del flujo RGB inicial y la magnitud de la corrección.
• Genera un mapa de enrutamiento espacial ($G_t \in [0, 1]$) que actúa como una puerta (gate).
• Flujo Refinado: El vector de movimiento final se calcula como $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$.
• Este mecanismo asegura que en regiones donde el flujo de RGB ya es fiable, la corrección se suprima (acercándose a cero), evitando perturbaciones innecesarias. En regiones con dinámicas complementarias fuertes, se aplica la corrección.

D. Optimización

El sistema se entrena de extremo a extremo para minimizar el coste de tasa-distorsión de la reconstrucción del vídeo RGB ($L_{RD}$). Se utilizan pérdidas auxiliares durante el entrenamiento para guiar la descomposición y la alineación, pero estas se descartan en la inferencia:

• Pérdidas de Reconstrucción ($L_r, L_s$): Imponen la calidad de la descomposición CMR.
• Pérdida de Alineación de Movimiento ($L_m$): Destila el desplazamiento fiable de RGB hacia la rama de eventos utilizando una máscara de fiabilidad derivada del error fotométrico.
• Pérdida de Warping ($L_w$): Supervisa el flujo refinado minimizando el error de warping del fotograma anterior.

3. Contribuciones Clave

El artículo reclama tres contribuciones principales:

1. Primera Aplicación: Según el conocimiento de los autores, este es el primer trabajo que utiliza datos de eventos como una modalidad auxiliar específicamente para la compresión de vídeo RGB, mejorando la predicción temporal manteniendo el RGB como el único objetivo de codificación.
2. Marco de Refinamiento Progresivo: El desarrollo de una arquitectura novedosa (CMR, SERIC, EAR) que separa explícitamente el movimiento común y el específico de la modalidad, identifica la evidencia de eventos activa no explicada por el RGB y enruta espacialmente la corrección de flujo resultante.
3. Evaluación Exhaustiva: Experimentos extensos en tres conjuntos de datos de RGB-evento (BS-ERGB, HQ-EVFI, CED) y dos configuraciones de Grupo de Fotogramas (GOP), demostrando ganancias de codificación consistentes con un aumento marginal en la complejidad computacional (un incremento del 7.3% en GFLOPs por cada P-frame).

4. Resultados Experimentales

Los autores evaluaron ENCORE frente a una línea base de HyTIP solo con RGB y un enfoque de concatenación ingenua de RGB+Evento.

• Datasets: BS-ERGB (primario), HQ-EVFI (alta tasa de fotogramas) y CED (sensor diferente).
• GOP Corto (GOP=8): En BS-ERGB, ENCORE logró un ahorro de BD-rate de PSNR-RGB del 19.31% y un ahorro de MS-SSIM-RGB del 16.73%. El enfoque de concatenación ingenua funcionó peor que la línea base, resaltando la necesidad de los módulos de refinamiento propuestos.
• GOP Largo (GOP=32): En BS-ERGB, ENCORE logró hasta un 20.80% de ahorro de BD-rate en PSNR-RGB y un 22.14% en MS-SSIM-RGB.
• Generalización: Se observaron ganancias consistentes en HQ-EVFI y CED, demostrando robustez a través de diferentes condiciones de captura y tipos de sensores.
• Complejidad: El marco añade solo un incremento del 7.3% en los GFLOPs totales por P-frame en comparación con la arquitectura base.

5. Significado y Reivindicaciones

El artículo posiciona a ENCORE como una solución a las limitaciones del modelado temporal basado únicamente en RGB en escenarios desafiantes de compresión de vídeo. Su importancia radica en:

• Eficiencia: Demuestra que los sensores auxiliares pueden reducir significativamente la tasa de bits sin la sobrecarga de reconstruir la señal auxiliar o codificar conjuntamente múltiples modalidades.
• Robustez: Al calibrar y enrutar explícitamente la evidencia de eventos, el método evita los problemas de la fusión de características ingenua, manejando eficazmente el ruido y la redundancia inherentes a las corrientes de eventos.
• Practicidad: El marco se integra perfectamente en las líneas de trabajo de compresión aprendida existentes (específicamente HyTIP) con cambios arquitectónicos mínimos y una sobrecarga computacional reducida, lo que lo convierte en un candidato viable para futuros estándares de compresión de vídeo donde las cámaras de eventos podrían estar disponibles.

Los autores mantienen la modestia, señalando que, aunque los resultados son consistentes y significativos, el método está diseñado específicamente para escenarios donde los datos de eventos están sincronizados y disponibles en el codificador, y la cabeza auxiliar se descarta durante la inferencia.