Resumen Técnico: HarmoGS: Splatting Gaussiano 3D Robusto en Entornos Naturales Mediante Armonización de Gradientes Consciente de Conflictos

1. Planteamiento del Problema

Reconstruir representaciones 3D fiables a partir de colecciones de imágenes "en entornos naturales" (in-the-wild) sin restricciones sigue siendo un desafío significativo en visión por computadora. Aunque avances recientes como el Splatting Gaussiano 3D (3DGS) han logrado renderizado de alta calidad en tiempo real, generalmente asumen iluminación consistente y contenido escénico estable. En escenarios del mundo real, las imágenes de entrenamiento suelen estar corrompidas por distractores transitorios (por ejemplo, peatones en movimiento, vehículos) e inconsistencias de apariencia inducidas por la iluminación entre diferentes vistas.

Los métodos existentes dependen principalmente del enmascaramiento a nivel de imagen para suprimir la supervisión poco fiable. Sin embargo, los autores identifican dos limitaciones críticas en este enfoque:

1. Oclusiones Residuales: Las máscaras a menudo no logran excluir completamente objetos transitorios complejos o semánticamente ambiguos, dejando ruido residual.
2. Conflictos de Iluminación: Las máscaras no pueden resolver las inconsistencias de iluminación dependientes de la vista.

Estos problemas sin resolver conducen a conflictos de gradiente entre vistas. Al optimizar una representación Gaussiana compartida utilizando vistas inconsistentes, los gradientes inducidos pueden apuntar en direcciones opuestas (formando ángulos obtusos). Esto desestabiliza el proceso de optimización, causando artefactos de reconstrucción visibles y primitivas flotantes.

2. Metodología

Los autores proponen HarmoGS, un marco de 3DGS consciente de conflictos que aborda estos problemas mediante una estrategia de entrenamiento de doble vista y tres componentes principales:

A. Enmascaramiento Guiado por Consistencia Semántica

Para mejorar la fiabilidad de la supervisión antes de la formación del gradiente, el método introduce una estrategia de enmascaramiento adaptativo que refina las máscaras previas:

• Máscara Prevía: Se genera una máscara binaria ($M_{bin}$) utilizando un SAM (Segment Anything Model) preentrenado para identificar regiones transitorias potenciales.
• Puntuación de Consistencia Aprendida: Un predictor ligero ($f_\psi$), guiado por una columna vertebral DINOv2 congelada, aprende una puntuación de consistencia a nivel de píxel ($S_i$) durante el entrenamiento. Esta puntuación se deriva tanto de los residuos fotométricos como de las discrepancias semánticas entre las imágenes renderizadas y las imágenes de referencia (ground-truth).
• Refinamiento Adaptativo: La máscara final ($M_i$) combina la previa binaria y la puntuación de consistencia aprendida. Suprime adaptativamente las regiones poco fiables (distractores transitorios) mientras corrige errores en la máscara binaria inicial, asegurando que solo la evidencia de imagen fiable contribuya al cálculo de la pérdida.

B. Armonización de Gradientes Consciente de Conflictos

Reconociendo que el enmascaramiento por sí solo no puede eliminar todos los conflictos de optimización, el marco emplea un enfoque de entrenamiento de doble vista. En cada iteración, se muestrean dos vistas y se calculan sus gradientes específicos ($g_1, g_2$).

• Detección de Conflictos: Un conflicto se identifica cuando el producto punto de los dos gradientes es negativo ($g_1^\top g_2 < 0$), lo que indica un ángulo obtuso ($\theta > \pi/2$).
• Rotación Ortogonal: Para resolver el conflicto, el método rota ambos gradientes dentro del subespacio generado por ellos ($V = \text{span}(g_1, g_2)$) hasta que se vuelvan ortogonales ($\tilde{g}_1^\top \tilde{g}_2 = 0$).
  • La corrección angular total ($\theta - \pi/2$) se distribuye entre los dos gradientes utilizando un parámetro de asignación $\rho$.
  • La rotación preserva las magnitudes originales de los gradientes mientras elimina la interferencia direccional negativa.
• Combinación Lineal: Los gradientes armonizados se suman y se expresan como una combinación lineal de los gradientes originales ($\tilde{g} = \tau_1 g_1 + \tau_2 g_2$) utilizando coeficientes derivados analíticamente.
• Atenuación Geométrica: Para los atributos geométricos (posición, rotación, escala), se aplica un factor de atenuación adicional si se detectan conflictos para suprimir aún más los artefactos.

C. Densificación y Poda Conscientes de Conflictos

El marco extiende las actualizaciones estructurales estándar de 3DGS para ser conscientes de los conflictos entre vistas:

• Densificación: En lugar de depender de estadísticas de una sola vista, el método agrega gradientes en el espacio de vistas de ambas vistas muestreadas, modulados por los coeficientes conscientes de conflictos derivados en la etapa de armonización. Esto guía el crecimiento Gaussiano utilizando señales más fiables y reconciliadas de conflictos.
• Poda: El método rastrea los conflictos entre vistas por Gaussiana a lo largo del tiempo. Si una Gaussiana exhibe consistentemente puntuaciones de conflicto altas (indicando inestabilidad persistente o artefactos flotantes), su opacidad se decae periódicamente. Esto permite que el proceso de poda estándar elimine naturalmente estas primitivas inestables.

3. Contribuciones Clave

1. Marco de Armonización de Gradientes Consciente de Conflictos: Una estrategia de entrenamiento de doble vista novedosa que reconcilia explícitamente los conflictos de gradiente entre vistas rotándolos hacia una configuración ortogonal. Esto reduce las actualizaciones incompatibles causadas por distractores transitorios e inconsistencias de iluminación.
2. Enmascaramiento Guiado por Consistencia Semántica: Un mecanismo de enmascaramiento adaptativo que aprende puntuaciones de consistencia a nivel de píxel para refinar máscaras binarias previas, suprimiendo efectivamente la supervisión poco fiable antes de la formación del gradiente.
3. Actualizaciones Estructurales Conscientes de Conflictos: La introducción de estrategias de densificación y poda que utilizan señales conscientes de conflictos para estabilizar el crecimiento Gaussiano y eliminar primitivas conflictivas persistentes.
4. Rendimiento de Vanguardia: Experimentos extensos demuestran que el método logra una calidad de renderizado superior y fidelidad de reconstrucción en benchmarks estándar en entornos naturales en comparación con las líneas base existentes de NeRF y 3DGS.

4. Resultados Experimentales

Los autores evaluaron HarmoGS en tres benchmarks ampliamente utilizados en entornos naturales: PhotoTourism, NeRF On-the-go y RobustNeRF.

• Rendimiento Cuantitativo: El método superó consistentemente a las líneas base de vanguardia (incluyendo RobustNeRF, WildGaussian, SpotLessSplats y AsymGS) en todas las métricas (PSNR, SSIM, LPIPS). Por ejemplo, en el conjunto de datos NeRF On-the-go, HarmoGS logró un PSNR de 24.67 en escenas de alta oclusión, superando al mejor anterior (AsymGS) por un margen significativo.
• Resultados Cualitativos: Las comparaciones visuales mostraron que HarmoGS suprimió efectivamente los artefactos flotantes y produjo renderizados más limpios con detalles escénicos más fieles, particularmente en escenas con oclusiones transitorias complejas y variaciones de iluminación.
• Estudios de Ablación:
  • Eliminar la configuración de doble vista o el componente de armonización de gradientes provocó una caída notable en PSNR y SSIM, confirmando la necesidad de la reconciliación de conflictos.
  • La combinación de la puntuación de consistencia aprendida ($S_i$) y la máscara previa binaria ($M_{bin}$) produjo mejores resultados que usar cualquiera de los componentes por separado, demostrando su naturaleza complementaria.
  • La densificación y poda conscientes de conflictos resultaron en una representación Gaussiana más compacta (menos puntos) mientras se mantenía una calidad superior, indicando la eliminación de primitivas inestables.

5. Significado y Afirmaciones

El artículo afirma que HarmoGS proporciona una solución robusta para la reconstrucción 3D en entornos sin restricciones al abordar la causa raíz de la inestabilidad de la optimización: los conflictos de gradiente entre vistas.

• Más Allá del Enmascaramiento: El trabajo destaca que el enmascaramiento en el espacio de imagen es insuficiente para 3DGS en entornos naturales. Al operar a nivel de gradiente, el método resuelve conflictos que persisten incluso después del enmascaramiento, lo que lleva a una optimización más estable.
• Optimización de Doble Vista: Los autores postulan que considerar conjuntamente dos vistas permite la detección y reconciliación explícita de conflictos, una capacidad ausente en las tuberías de optimización de una sola vista estándar.
• Generalizabilidad: El método se presenta como un marco general compatible con implementaciones existentes de 3DGS (construidas sobre Mip-Splatting) que mejora significativamente la robustez frente a distractores transitorios y cambios de iluminación sin requerir heurísticas complejas específicas de la escena.

Los autores concluyen que su enfoque permite la síntesis de vistas novedosas de alta fidelidad en escenarios desafiantes del mundo real, avanzando la aplicabilidad del Splatting Gaussiano 3D a colecciones de imágenes sin restricciones.