Resumen Técnico: AsyncEvGS

Enunciado del Problema

Aunque la Splatting de Gaussianas 3D (3DGS) y los Campos de Radiación Neurales (NeRF) logran una síntesis de vistas novedosas fotorrealistas, dependen en gran medida de imágenes de entrada de alta calidad y nítidas. En la captura 3D portátil en el mundo real, el desenfoque de movimiento severo es común, lo que hace que los métodos estándar sean ineficaces y conduce a distorsiones geométricas y reconstrucciones borrosas. Los enfoques computacionales existentes de eliminación de desenfoque luchan contra la naturaleza mal planteada del problema.

Las cámaras de eventos ofrecen una solución al proporcionar señales de movimiento asíncronas de alta resolución temporal que son robustas al desenfoque de movimiento. Sin embargo, los métodos actuales de reconstrucción 3D asistida por eventos enfrentan dos barreras críticas para su uso práctico en dispositivos portátiles:

1. Baja Resolución del Sensor: La mayoría de los métodos dependen de sensores de eventos de baja resolución (por ejemplo, 346 × 260), lo que limita fundamentalmente la fidelidad de la reconstrucción en comparación con las cámaras RGB modernas de varios megapíxeles.
2. Requisitos Estrictos de Sincronización: Las soluciones de alta resolución a menudo exigen una sincronización temporal rígida a nivel de hardware entre las cámaras RGB y de eventos, lo que las hace incompatibles con dispositivos portátiles comunes (por ejemplo, teléfonos inteligentes) que carecen de tales capacidades de sincronización.

Metodología

Los autores proponen AsyncEvGS, un marco diseñado para la reconstrucción 3D de alta fidelidad utilizando un sistema dual de cámaras RGB–Eventos asíncrono, flexible y de alta resolución. La tubería consta de tres componentes principales:

1. Sistema de Hardware

Los autores introducen un nuevo soporte de doble cámara que empareja una cámara de eventos Prophesee EVK-3 HD de alta resolución (1280 × 720) con una cámara RGB estándar (por ejemplo, iPhone 13). Crucialmente, este sistema opera sin sincronización temporal a nivel de hardware, permitiendo la captura "en la naturaleza" en dispositivos comerciales.

2. Inicialización Robusta mediante Estimación de Pose de Dominio Cruzado

Las herramientas tradicionales de Estructura a partir del Movimiento (SfM) como COLMAP fallan al registrar conjuntamente cuadros RGB con desenfoque de movimiento e imágenes en escala de grises derivadas de eventos debido a las brechas de dominio y al desenfoque.

• Reconstrucción de Intensidad a partir de Eventos: El flujo de eventos en bruto se convierte en una secuencia de imágenes en escala de grises nítidas utilizando E2VID.
• Inicialización con VGGT: En lugar de depender de COLMAP, los autores aprovechan el Transformador de Geometría Visual (VGGT) para procesar tanto los cuadros RGB borrosos como los cuadros en escala de grises nítidos reconstruidos a partir de eventos. Esto proporciona una nube de puntos densa y robusta, así como una inicialización precisa de la pose de la cámara para ambas modalidades, superando los modos de fallo de la SfM tradicional en escenarios con desenfoque de movimiento.

3. Marco de Optimización

La representación 3DGS se optimiza utilizando una función de pérdida multiobjetivo diseñada para manejar la naturaleza asíncrona de los datos y la mal planteada naturaleza de la eliminación de desenfoque:

• Pérdida de Eliminación de Desenfoque ($L_{blur}$): Basada en Deblurring 3DGS, esta sintetiza una imagen borrosa promediando $N$ vistas vecinas nítidas renderizadas por un MLP y la compara con la entrada RGB borrosa capturada.
• Pérdida de Estructura de Eventos ($L_{struct}$): Para abordar la mal planteada naturaleza de las pérdidas de eventos clásicas (que solo restringen las diferencias de intensidad), los autores proponen una pérdida impulsada por la estructura. Utiliza un extractor de estructura y un mapa de confianza derivados de la consistencia de alta frecuencia multiescala. La pérdida se calcula utilizando el índice de Similitud Estructural (SSIM) entre la imagen renderizada y el objetivo reconstruido a partir de eventos, ponderado por la confianza. Esto se centra en la corrección estructural en lugar de la intensidad absoluta, mitigando las inconsistencias de brillo y el ruido.
• Regularizadores de Consistencia:
  • Consistencia RGB ($L_{reg-r}$): Evita que el módulo de eliminación de desenfoque converja hacia soluciones degeneradas donde los errores en vistas individuales se cancelan entre sí. Exige que la imagen renderizada permanezca cerca tanto de los cuadros vecinos nítidos como de la entrada borrosa observada.
  • Consistencia de Color de Eventos ($L_{reg-e}$): Dado que las vistas de eventos carecen de color, un modelo 3DGS grueso entrenado con imágenes RGB sirve como referencia. Este regularizador asegura que las renderizaciones de vistas de eventos no se desvíen en color, destilando la información de color RGB en las vistas de eventos.

Contribuciones Clave

1. Nuevo Sistema Asíncrono de Alta Resolución: La primera tubería práctica para la reconstrucción 3D de alta fidelidad utilizando un soporte flexible RGB-Eventos de 1280 × 720, superando los límites de resolución de los sensores de eventos de baja resolución anteriores y las restricciones de sincronización de los entornos industriales.
2. Marco Algorítmico Robusto de Dominio Cruzado:
   • Una tubería de estimación de pose que utiliza VGGT para manejar la brecha de dominio entre los cuadros RGB borrosos y las imágenes derivadas de eventos, permitiendo una inicialización estable donde COLMAP falla.
   • Un marco de optimización adaptado que presenta una nueva Pérdida de Estructura de Eventos para aprovechar robustamente los detalles de alta frecuencia de los eventos y Regularizadores de Consistencia para estabilizar la eliminación de desenfoque y la estimación de color.
3. Conjunto de Datos AsyncEv-Deblur: Un nuevo conjunto de datos RGB-Eventos de alta resolución capturado con el sistema asíncrono propuesto, que presenta diversas escenas con desenfoque de movimiento severo y la verdad fundamental correspondiente.

Resultados Experimentales

El método se evaluó en el nuevo conjunto de datos AsyncEv-Deblur y en el conjunto de datos sintético Ev-DeblurBlender.

• Rendimiento: El enfoque logra un rendimiento de vanguardia en todas las métricas (PSNR, SSIM, LPIPS), superando significativamente a los métodos solo RGB (por ejemplo, 3DGS, BAGS, DeblurringGS) y a las líneas base asistidas por eventos existentes (por ejemplo, LSENeRF adaptado al nuevo formato).
• Inicialización: Los estudios de ablación muestran que la inicialización con VGGT registra con éxito el 100% de los cuadros en escenarios desafiantes con desenfoque de movimiento, mientras que COLMAP falla al registrar una parte significativa de los cuadros RGB borrosos.
• Análisis de Componentes: Eliminar la Pérdida de Estructura de Eventos ($L_{struct}$) o los regularizadores de consistencia conduce a una caída sustancial en el rendimiento, confirmando su necesidad para recuperar detalles finos y prevenir la degradación del color.
• Comparación con Tuberías 2D: El enfoque de extremo a extremo supera significativamente a las tuberías que primero aplican redes de eliminación de desenfoque 2D seguidas de 3DGS estándar, destacando los beneficios de la optimización conjunta y la consistencia multivista.

Significancia

El artículo afirma que AsyncEvGS cierra efectivamente la brecha entre la captura 3D de alta resolución y la robustez requerida para escenarios con desenfoque de movimiento. Al desacoplar la necesidad de sincronización de hardware y utilizar sensores de alta resolución, el método hace viable la reconstrucción 3D asistida por eventos para dispositivos portátiles comunes como los teléfonos inteligentes. El trabajo demuestra que aprovechar las fortalezas complementarias de las modalidades RGB (color) y Evento (movimiento de alta frecuencia) a través de un marco de optimización especializado puede mejorar sustancialmente la robustez y la fidelidad de la reconstrucción bajo desenfoque de movimiento severo.