Resumen Técnico: Gaussian Splatting Mejorado con Eventos (E2GS)

Enunciado del Problema

Los avances recientes en la reconstrucción de escenas 3D y la síntesis de nuevas vistas han sido impulsados por los Campos de Radiación Neurales (NeRF) y, más recientemente, por el Gaussian Splatting 3D. Aunque el Gaussian Splatting 3D ofrece capacidades de entrenamiento y renderizado rápidas en comparación con NeRF, estos métodos generalmente asumen condiciones de entrada ideales. Tienen dificultades significativas cuando se presentan imágenes con desenfoque de movimiento, un artefacto común causado por el movimiento de objetos, el temblor de la cámara o la falta de enfoque del lente.

Por el contrario, las cámaras de eventos (Sensores de Visión Dinámica) ofrecen un alto rango dinámico, ausencia de desenfoque de movimiento y baja latencia al capturar asincrónicamente los cambios de brillo de los píxeles. Los métodos anteriores de reconstrucción 3D basados en eventos, como E2NeRF, utilizaron con éxito datos de eventos junto con imágenes RGB borrosas para reconstruir escenas nítidas. Sin embargo, estos enfoques dependen del paradigma NeRF, lo que requiere estrategias extensas de muestreo de rayos, resultando en tiempos de entrenamiento prohibitivamente largos y velocidades de renderizado lentas. Persiste la necesidad de un método que combine la eficiencia del Gaussian Splatting con la resistencia al desenfoque de movimiento de los datos de eventos.

Metodología

Los autores proponen Gaussian Splatting Mejorado con Eventos (E2GS), un marco que integra datos de flujo de eventos en la tubería de Gaussian Splatting 3D para manejar entradas con desenfoque de movimiento. El método opera a través de tres etapas principales:

1. Preprocesamiento e Inicialización

• Desenfoque impulsado por eventos: Dado un conjunto de imágenes borrosas y sus flujos de eventos correspondientes, el método divide el tiempo de exposición de cada imagen en $N$ instantes de tiempo iguales. Utilizando el modelo de Doble Integral Basado en Eventos (EDI), estima una secuencia de imágenes intermedias nítidas ($I_i$) acumulando datos de eventos. La imagen borrosa se modela como el promedio de estos fotogramas intermedios.
• Inicialización: La secuencia estimada de imágenes desenfoqueadas se introduce en una tubería de Estructura a partir del Movimiento (SfM) (COLMAP) para generar las coordenadas iniciales de los Gaussianos 3D y las poses de la cámara. Este paso es crucial, ya que la SfM estándar a menudo falla cuando se inicializa directamente con imágenes borrosas.

2. Marco de Entrenamiento

E2GS optimiza los parámetros de los Gaussianos 3D utilizando dos funciones de pérdida distintas para supervisar la reconstrucción:

• Pérdida de Renderizado de Imagen ($\mathcal{L}_{blur}$): Para adaptar el Gaussian Splatting a entradas borrosas, el método renderiza $N$ vistas intermedias correspondientes a los instantes de tiempo y las promedia para simular la verdad terrena borrosa. La pérdida es una combinación de pérdida L1 y D-SSIM (Similitud Estructural de Disimilitud) que compara el promedio simulado contra la imagen borrosa de entrada.
• Pérdida de Renderizado de Eventos ($\mathcal{L}_{event}$): Para aprovechar la alta resolución temporal de los datos de eventos, el método selecciona aleatoriamente dos fotogramas de la secuencia renderizada, los convierte a intensidad en el dominio logarítmico y calcula el número esperado de eventos basándose en la diferencia de intensidad y un umbral $C$. Este bin de eventos estimado se compara con el bin de eventos de verdad terrena utilizando el Error Cuadrático Medio (MSE). Esta pérdida impone consistencia con el proceso temporal continuo de desenfoque, en lugar de solo el promedio estático.

La función de pérdida total es una suma ponderada: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$.

Contribuciones Clave

1. Primera Integración de Eventos en Gaussian Splatting: E2GS es el primer enfoque que incorpora datos de eventos en el marco de Gaussian Splatting, avanzando más allá del paradigma de renderizado volumétrico de NeRF.
2. Desenfoque y Síntesis Eficientes: El método utiliza eficazmente tanto imágenes RGB borrosas como flujos de eventos para lograr un desenfoque de imágenes de alta calidad y síntesis de nuevas vistas.
3. Mejoras Significativas en Velocidad: Al reemplazar el muestreo de rayos con rasterización diferenciable, E2GS reduce drásticamente los costos computacionales en comparación con los métodos de eventos basados en NeRF.

Resultados Experimentales

Los autores evaluaron E2GS tanto en conjuntos de datos sintéticos (temblor de cámara simulado en Blender) como en conjuntos de datos del mundo real (capturados con cámaras de eventos DAVIS346).

• Rendimiento Cuantitativo:
  • Desenfoque de Imagen: En datos sintéticos, E2GS logró una PSNR de 30.84, superando al Gaussian Splatting estándar (22.92) y igualando o superando ligeramente a E2NeRF (29.77). En datos del mundo real, E2GS obtuvo las puntuaciones BRISQUE más bajas (indicando mayor naturalidad), promediando 32.50 en comparación con las 36.59 de E2NeRF.
  • Síntesis de Nuevas Vistas: E2GS demostró resultados superiores o competitivos en las métricas PSNR, SSIM y LPIPS frente tanto al GS estándar como a E2NeRF en datos sintéticos. En la síntesis de nuevas vistas del mundo real, E2GS volvió a obtener las mejores puntuaciones BRISQUE (promedio 32.77).
• Eficiencia:
  • Entrenamiento: E2GS redujo el tiempo de entrenamiento en un factor de 60 en comparación con E2NeRF (50 minutos frente a 2 días).
  • Renderizado: E2GS alcanzó una velocidad de renderizado de 140 FPS, representando una aceleración de 3500x sobre E2NeRF (0.04 FPS).

Significado y Afirmaciones

El artículo afirma que E2GS cierra con éxito la brecha entre la reconstrucción de alta calidad de los métodos NeRF basados en eventos y la eficiencia computacional del Gaussian Splatting. Los autores aseguran que su método genera renderizados visualmente atractivos mientras ofrece velocidades de entrenamiento y renderizado significativamente más rápidas, haciendo factible la reconstrucción 3D en tiempo real o casi en tiempo real a partir de datos aumentados con eventos y con desenfoque de movimiento.

Los autores concluyen que, aunque su método maneja escenas estáticas de manera efectiva, las direcciones futuras de investigación incluyen abordar escenas dinámicas con sujetos en movimiento rápido (por ejemplo, deportes), lo cual sigue siendo un desafío para los enfoques actuales que solo utilizan RGB o se centran en escenas estáticas.