Resumen Técnico: DeLux – Restauración de Artefactos Locales Cross-Modal en Video mediante Datos Neuromórficos

1. Planteamiento del Problema

Las cámaras RGB convencionales son susceptibles a artefactos de iluminación severos, tales como destellos de lente (lens flare), deslumbramiento (glare), sobreexposición y parpadeo (flicker), particularmente en escenas exteriores con rangos dinámicos extremos. Estos artefactos suelen causar una pérdida de información localizada donde las intensidades de los píxeles están completamente saturadas o recortadas, lo que hace imposible su recuperación mediante el post-procesamiento estándar basado únicamente en RGB. Los métodos de restauración existentes suelen abordar estos problemas de forma aislada (por ejemplo, solo deslumbramiento o solo sobreexposición) o dependen del mapeo de tonos global. Este último enfoque preserva la integridad estructural de los artefactos ópticos (como los rayos de destello) mientras comprime el rango dinámico, fallando en la recuperación de detalles completamente oscurecidos por la degradación. Además, la literatura actual carece de un paradigma generalizado capaz de abordar simultáneamente diversas degradaciones de iluminación espacialmente discretas.

2. Metodología: El Pipeline DeLux

Los autores proponen DeLux, un pipeline de prueba de concepto modular y de extremo a extremo que aprovecha los flujos de eventos neuromórficos como un prior estructural para guiar la detección dirigida y la inpainting de artefactos de iluminación en video RGB. El marco desacopla explícitamente la detección de artefactos de la fusión multimodal y la inpainting de la imagen. El pipeline consta de cuatro etapas distintas:

1. Reconstrucción de Eventos a Video: Los datos de eventos asíncronos de una cámara neuromórfica se convierten en fotogramas de video en escala de grises densos utilizando modelos pre-entrenados (E2VID o E2VID++). Estas reconstrucciones sirven como una modalidad secundaria, capturando cambios de brillo con precisión de microsegundos y un rango dinámico que supera los 140 dB, incluso cuando los sensores RGB están saturados.
2. Detección de Artefactos: Una red de segmentación dedicada basada en UNet procesa el fotograma RGB de entrada para generar un mapa de confianza por píxel (máscara de artefactos) que indica la probabilidad de presencia de artefactos (deslumbramiento, destello, sobreexposición, parpadeo). Este paso se entrena con máscaras de artefactos generadas sintéticamente para generalizar a través de diversas condiciones.
3. Fusión Multimodal: El fotograma RGB, la reconstrucción basada en eventos y la máscara de artefactos se concatenan a lo largo de la dimensión de canales. Un módulo convolucional mezcla estas entradas para crear una representación unificada. Crucialmente, la máscara de artefactos actúa como una interfaz de anulación manual, permitiendo que el comportamiento de fusión se configure en la inferencia sin necesidad de reentrenamiento. Esta etapa asegura que los detalles estructurales del flujo de eventos se utilicen primordialmente en las regiones corruptas.
4. Eliminación de Artefactos: Un módulo final basado en UNet realiza una inpainting dirigida. Recibe la representación fusionada y genera una imagen RGB limpia y libre de artefactos. El modelo está entrenado para restaurar las regiones corruptas mientras preserva el contenido no afectado.

Estrategia de Entrenamiento:
El pipeline se entrena mediante la optimización conjunta de los módulos de detección, fusión y eliminación, mientras que el reconstructor de Event-to-Video permanece congelado. El objetivo de entrenamiento combina tres componentes de pérdida:

• Pérdida de Detección ($L_{det}$): Pérdida de Huber entre las máscaras de artefactos predichas y las reales (ground-truth).
• Pérdida de Reconstrucción ($L_{recon}$): Una combinación de Error Absoluto Medio (MAE), Similitud Estructural Multi-Escala (MS-SSIM), pérdida perceptual VGG y regularización de Variación Total (TV).
• Pérdida de No-Máscara ($L_{nm}$): Un término de consistencia que penaliza las ediciones en regiones sin artefactos, asegurando que el modelo no altere los píxeles limpios.

Datos:
El sistema se entrena con un conjunto de datos híbrido que comprende artefactos sintéticos inyectados en fotogramas limpios (usando CARLA y Cityscapes) y datos neuromórficos del mundo real (DSEC, E2VID). Para la evaluación en el mundo real, los autores seleccionaron ventanas temporales específicas de metraje automotriz donde ocurren naturalmente artefactos severos.

3. Contribuciones Clave

• Nueva Dirección de Investigación: El artículo introduce la "restauración de artefactos locales cross-modal", un paradigma que trata la pérdida de información de iluminación localizada como una pérdida de información específica de la modalidad, mitigada mediante la integración de una segunda modalidad de detección (eventos neuromórficos) para guiar la inpainting de RGB.
• Framework DeLux: El primer sistema diseñado para detectar y eliminar múltiples tipos de artefactos de iluminación dentro de un único pipeline de aprendizaje profundo, fusionando video estándar con datos de eventos neuromórficos.
• Benchmark Riguroso: Los autores establecen un benchmark que comprende tanto artefactos de iluminación sintéticos como del mundo real, proporcionando un protocolo de evaluación para futuros modelos de restauración cross-modal. Liberan herramientas de generación de artefactos sintéticos y conjuntos de datos curados del mundo real para fomentar la investigación posterior.

4. Resultados Experimentales

Los autores evaluaron DeLux frente a modelos de referencia de vanguardia, incluyendo modelos de restauración de una sola modalidad (Flare7K++, Wu et al., SHDR), un enfoque unificado de red única (DAD†) y modelos de HDR guiados por eventos (HDRev-Diff).

• Rendimiento en Datos Sintéticos: DeLux alcanzó el máximo rendimiento en todos los tipos de artefactos (deslumbramiento, destellos, sobreexposición) en términos de MS-SSIM, PSNR y MAPE. Logró un MS-SSIM promedio superior a 0.99 en todos los tipos de artefactos, superando significativamente a los baselines de solo RGB y a los modelos de HDR guiados por eventos.
• Rendimiento en el Mundo Real: En metraje automotriz del mundo real, DeLux demostró hasta una reducción del 88% en la severidad de los artefactos (medida mediante la métrica personalizada Strong Artifact Suppression, SAS). En contraste, los baselines de mapeo de tonos global como HDRev-Diff a menudo fallaron en suprimir artefactos localizados, resultando en puntuaciones SAS negativas para ciertas secuencias.
• Eficiencia: DeLux opera a 16.5 FPS con 90.2 millones de parámetros en una NVIDIA A100, lo que lo hace un orden de magnitud más rápido y ligero que los baselines basados en difusión (por ejemplo, HDRev-Diff a 1.1 FPS con 1.6B de parámetros).
• Estudios de Ablación: El estudio confirmó que eliminar la modalidad de eventos (DeLux-NE) o el detector explícito (DeLux-ND) degrada severamente el rendimiento. Se encontró que la pérdida de no-máscara ($L_{nm}$) es crítica para equilibrar la precisión de la detección con una reconstrucción localizada controlada.

5. Significado y Afirmaciones

El artículo afirma que DeLux representa un cambio significativo respecto a los enfoques de mejora global. Al desacoplar explícitamente la localización de artefactos de la fusión multimodal, el marco evita la alteración no deseada de las regiones limpias de la imagen, permitiendo que la red utilice selectivamente la segunda modalidad solo donde el sensor RGB ha fallado.

Los autores posicionan a DeLux como un modelo base (template) para abordar degradaciones de imagen localizadas severas utilizando modalidades de detección secundarias. Argumentan que este enfoque cross-modal va más allá de las limitaciones de un solo sensor, ofreciendo un camino hacia sistemas de procesamiento de imágenes altamente fiables capaces de operar bajo condiciones de iluminación adversas.

Limitaciones Reconocidas por los Autores:

• Escenas Estáticas: Las cámaras de eventos inherentemente tienen dificultades en escenas estacionarias donde no se disparan eventos, aunque la arquitectura modular permite la integración de otras modalidades (por ejemplo, térmicas) para mitigarlo.
• Evaluación Sintética: Aunque se utilizaron superposiciones sintéticas de alta calidad, estas no pueden reproducir completamente la compleja interacción física de la luz en ensamblajes de lentes reales.
• Consistencia Temporal: Dado que la implementación actual restaura fotogramas de forma independiente, no se garantiza la consistencia temporal de los resultados, lo que podría resultar en un parpadeo (flicker) visible. Los autores identifican el modelado de múltiples fotogramas como una dirección necesaria para trabajos futuros.
• Optimización: La dependencia de un reconstructor E2VID congelado limita la optimización completa de extremo a extremo, lo que sugiere que futuros pipelines podrían ingerir representaciones de eventos puras directamente.