DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring

Resumen Técnico de DeblurSplat: 3D Gaussian Splatting tradicional sin SfM con cámara de eventos para un desenfoque robusto

Planteamiento del Problema
Los métodos existentes de reconstrucción 3D y síntesis de vistas novedosas (NVS), como 3D Gaussian Splatting (3D-GS) y NeRF, típicamente asumen entradas de alta calidad capturadas bajo condiciones ideales. En escenarios del mundo real que involucran desenfoque de movimiento (causado por baja iluminación o exposiciones largas), estos métodos sufren una degradación significativa del rendimiento. El desenfoque de movimiento emborrona los bordes y aplana las texturas, confundiendo los procesos de detección y emparejamiento de características. En consecuencia, los pipelines tradicionales de Structure-from-Motion (SfM) (por ejemplo, COLMAP) fallan al estimar poses de cámara precisas o generar nubes de puntos iniciales fiables. Estos errores de pose se propagan en la reconstrucción final, resultando en geometrías distorsionadas, superficies incompletas y artefactos. Aunque las cámaras de eventos ofrecen un alto rango dinámico y carecen de desenfoque de movimiento, los métodos actuales de reconstrucción con deblurring basados en eventos todavía dependen del SfM tradicional para la inicialización, lo que los hace susceptibles a los mismos modos de fallo cuando el desenfoque es severo.

Metodología
Los autores proponen DeblurSplat, un framework tradicional sin SfM para un desenfoque de movimiento robusto en 3D Gaussian Splatting. El pipeline integra aprendizaje estéreo denso y datos de cámaras de eventos para evitar la necesidad de una estimación de pose inicial precisa a partir de imágenes desenfocadas. El método consta de tres componentes principales:

1. Inicialización sin SfM mediante DUSt3R:
   En lugar de utilizar COLMAP, el método aprovecha el módulo de estéreo denso preentrenado DUSt3R. DUSt3R regresa directamente las coordenadas 3D y las estimaciones de confianza a partir de imágenes desenfocadas utilizando una arquitectura basada en transformers que captura disposiciones estructurales globales. Este enfoque evita la acumulación de errores asociados con la estimación de pose de cámara inexacta en condiciones de desenfoque. Los autores señalan que, si bien el desenfoque de movimiento actúa como un filtro de paso bajo que degrada los detalles de alta frecuencia, DUSt3R preserva las estadísticas geométricas de media y baja frecuencia (disposición global y profundidad relativa), proporcionando un prior estructuralmente coherente, aunque ruidoso.

2. Muestreo Balanceado por Confianza:
   Para utilizar eficazmente las nubes de puntos generadas por DUSt3R, los autores introducen una estrategia de Muestreo Balanceado por Confianza (Confidence Balanced Sampling). Las estrategias ingenuas de usar todos los puntos o solo los puntos de alta confianza son subóptimas: los puntos de alta confianza suelen agruparse en regiones superpuestas, mientras que los puntos de baja confianza aún codifican una estructura espacial esencial. El método propuesto particiona el rango de confianza en intervalos y muestrea puntos proporcionalmente a su confianza dentro de cada intervalo. Esto asegura una cobertura espacial equilibrada, evitando la sobreconcentración en regiones de alta confianza mientras se preserva la completitud geométrica de las áreas de menor confianza.

3. Alineación Progresiva con Flujos de Eventos:
   Para abordar los artefactos residuales y refinar la reconstrucción, el framework incorpora flujos de eventos.

   • Desacoplamiento de Imagen Nítida Latente: Utilizando el método de Doble Integral basado en Eventos (EDI), el sistema desacopla las imágenes RGB con desenfoque de movimiento en múltiples imágenes nítidas latentes basadas en los datos de eventos asíncronos.
   • Modelado de Movimiento Latente: El periodo de exposición se modela como una secuencia de imágenes latentes a lo largo de una trayectoria de cámara. El sistema parametriza y optimiza las poses de la cámara (utilizando interpolación de álgebra de Lie en SE(3)) para recuperar la trayectoria responsable de la formación del desenfoque.
   • Optimización: Una estrategia de alineación progresiva refina iterativamente las apariencias nítidas latentes y el movimiento de la cámara. La función de pérdida combina una pérdida de reconstrucción 3D-GS estándar (alineando el promedio de los renders con la entrada desenfocada) y una pérdida guiada por eventos. La pérdida guiada por eventos alinea las versiones en escala de grises de las imágenes nítidas renderizadas con las imágenes latentes derivadas de los eventos, proporcionando una supervisión de grano fino para guiar la optimización hacia una reconstrucción geométricamente consistente.

Contribuciones Clave

• Framework DeblurSplat: El primer framework de 3D-GS tradicional sin SfM para un desenfoque robusto, integrando eficazmente el amplio conocimiento previo de DUSt3R y la información de alto rango dinámico de las cámaras de eventos.
• Muestreo Balanceado por Confianza: Una novedosa estrategia de muestreo que aprovecha las estimaciones de confianza de DU-St3R para extraer nubes de puntos iniciales de alta calidad manteniendo la cobertura espacial necesaria, evitando los problemas de la poda agresiva o la sobreconcentración.
• Alineación Progresiva: Un mecanismo que combina pistas de flujos de eventos para estimar imágenes nítidas latentes y poses de cámara latentes, proporcionando una guía de grano fino para la optimización de la reconstrucción de la escena.
• Evaluación Exhaustiva: La construcción de siete escenas sintéticas "difíciles" desafiantes con iluminación compleja y movimientos de cámara a gran escala, junto con un conjunto de datos del mundo real con niveles de desenfoque de movimiento controlados, permitiendo una evaluación sistemática más allá de los benchmarks existentes.

Resultados Experimentales
Se realizaron experimentos extensos en conjuntos de datos sintéticos (escenas Normal y Hard) y conjuntos de datos del mundo real.

• Rendimiento: DeblurSplat supera consistentemente a los métodos de estado del arte (SOTA), incluyendo B-NeRF, B-3DGS, BAD-NeRF, BAD-GS y otros enfoques basados en eventos (E2GS, EDNeRF). En la categoría sintética "Hard", DeblurSplat alcanzó un PSNR de 26.94 frente al siguiente mejor (EDNeRF) con 24.20. En escenarios del mundo real, alcanzó un PSNR de 25.93, superando significativamente a sus competidores.
• Eficiencia: El método demuestra una eficiencia de inicialización superior. Mientras que la inicialización de COLMAP en imágenes nítidas toma significativamente más tiempo y a menudo falla en entradas desenfocadas, DeblurSplat logra la inicialización aproximadamente 2.96× más rápido en promedio en escenas difíciles.
• Estudios de Ablación: Los experimentos confirman que tanto el Muestreo Balanceado por Confianza como la Alineación Progresiva son críticos; eliminar cualquiera de estos componentes conlleva una caída notable en las métricas PSNR, SSIM y LPIPS.

Significancia y Reivindicaciones
El artículo afirma que DeblurSplat constituye el primer intento de aprovechar un módulo de estéreo denso (DUSt3R) específicamente para abordar el desafío del desenfoque de movimiento en la reconstrucción 3D sin depender del SfM tradicional. Al eliminar la dependencia de SfM, el método mejora la fiabilidad en escenarios donde el desenfoque causa el fallo en el emparejamiento de características. La integración de cámaras de eventos proporciona un prior semántico de alto rango dinámico que guía la recuperación de las imágenes nítidas latentes y las poses de la cámara, permitiendo la síntesis de vistas novedosas de alta fidelidad incluso bajo un desenfoque de movimiento severo. Los autores enfatizan que su enfoque no solo sobresale en la generación de vistas novedosas de alta fidelidad, sino que también logra una eficiencia de renderizado significativa en comparación con los métodos de deblur 3D-GS SOTA existentes.