GaussianSSC: Triplane-Guided Directional Gaussian Fields for 3D Semantic Completion

Resumen Técnico: GaussianSSC

1. El Problema

La Completación Semántica de Escenas (SSC) monocular tiene como objetivo generar un mapa de ocupación semántica 3D denso a partir de una sola imagen RGB, rellenando regiones ocluidas y fuera del campo de visión (FOV). A pesar de los avances recientes, existen dos desafíos principales:

• Ambigüedad Monocular: Inferir geometría y semántica desde una sola vista es inherentemente ambiguo. Los errores se propagan a lo largo de los rayos de la cámara, distorsionando la geometría y dificultando la estimación de regiones ocluidas.
• Limitaciones de las Representaciones Basadas en Rejilla: Los enfoques tradicionales utilizan rejillas de voxels o planos uniformes que asignan cómputo de manera uniforme, incluso en espacios vacíos. Esto crea redundancia y limita la adaptabilidad a estructuras anisotrópicas (como carreteras o fachadas) y a diferentes escalas, ya que no capturan bien la incertidumbre o la asimetría de la oclusión.

2. Metodología: GaussianSSC

GaussianSSC es un marco de trabajo de dos etapas, nativo de rejilla (grid-native) y guiado por triplanos, que integra representaciones de Gaussiana sin reemplazar la rejilla de voxels ni mantener un conjunto separado de Gaussianas. Su objetivo es combinar la eficiencia de los triplanos con la adaptabilidad local de las distribuciones gaussianas.

Etapa 1: Estimación de Ocupación con "Gaussian Anchoring" (Anclaje Gaussiano)

• Objetivo: Predecir un mapa de ocupación binario (vacío/ocupado) que sirva como prior estructural.
• Mecanismo:
  • Se extraen características de la imagen mediante una red ResNet-50 + FPN.
  • Se construye una representación de Triplano (tres planos ortogonales) a partir de consultas de voxels.
  • Gaussian Anchoring: En lugar de muestrear un solo píxel proyectado, el método trata cada voxel como una gaussiana latente 3D. Proyecta esta gaussiana en el plano de la imagen y aprende una ventana gaussiana 2D (con desplazamiento $\mu$, escala $\Sigma$ y opacidad $\alpha$) sobre las características de la imagen fusionadas.
  • Esto permite una agregación de imagen sub-píxel, haciendo que la asociación imagen-voxel sea más robusta frente a la cuantización de la proyección y la ambigüedad de la profundidad monocular.
  • Se utiliza una fusión residual con puerta (gated fusion) para combinar las características del voxel con la evidencia de imagen anclada, seguida de una refinación 3D ligera para predecir la ocupación.

Etapa 2: Completación Semántica con "Gaussian-Triplane Refinement"

• Objetivo: Predecir las etiquetas semánticas para los voxels ocupados.
• Mecanismo:
  • Se instancian embeddings de voxels condicionados por la ocupación de la Etapa 1.
  • Se utiliza un módulo de Refinamiento Gaussiano-Triplano que convierte las características de los voxels en un campo de Gaussiana aprendido por voxel.
  • Este módulo realiza dos operaciones complementarias en los triplanos:
    1. Recolección Local (Local Gathering): Agrupa evidencia vecina dentro del campo gaussiano para mejorar la localización y reducir artefactos de cuantización.
    2. Agregación Global (Global Aggregation): Distribuye información semántica desde otras ubicaciones cuyos campos gaussianos cubren el punto actual, capturando contexto a largo plazo.
  • Las características refinadas se fusionan de nuevo en el espacio de voxels para generar el mapa semántico denso final.

3. Contribuciones Clave

1. Representación Híbrida Triplano-Gaussiana: Un diseño que mantiene la eficiencia de los triplanos pero dota a cada voxel de soporte gaussiano para capturar detalles alineados con la superficie y asimetrías de oclusión de manera nativa en la rejilla.
2. Gaussian Anchoring (Etapa 1): Una agregación de imagen ponderada por gaussianas a nivel sub-píxel sobre características FPN fusionadas. Esto mejora significativamente la alineación voxel-imagen y la estimación de ocupación monocular.
3. Refinamiento Gaussiano-Triplano (Etapa 2): Un módulo que refina características semánticas mediante la combinación de recolección local y agregación global, produciendo características continuas y que preservan la estructura.
4. Pipeline Diferenciable y Nativo de Rejilla: A diferencia de los enfoques que mantienen un conjunto separado de Gaussianas (como 3DGS puro), GaussianSSC aprende un campo gaussiano por voxel, lo que facilita la integración con decodificadores basados en rejilla y mantiene la eficiencia computacional.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos SemanticKITTI.

• Rendimiento en Ocupación (Etapa 1):
  • Superó a los métodos más avanzados (SOTA) como VoxFormer y ETFormer.
  • Mejoras: +1.0% en Recall, +2.0% en Precisión y +1.8% en IoU (Intersección sobre Unión) respecto a la línea base.
• Rendimiento Semántico (Etapa 2):
  • Logró el mejor rendimiento global entre métodos solo con cámara.
  • Mejoras: +1.8% en IoU y +0.8% en mIoU (IoU medio).
  • Destacó especialmente en categorías estructurales como edificios, vehículos, vegetación y terreno.
• Eficiencia:
  • Aunque introduce un costo moderado adicional en comparación con ETFormer debido a la agregación guiada por gaussianas, ofrece un equilibrio favorable entre precisión y eficiencia, superando a métodos más pesados como Symphonics en latencia y uso de memoria.

5. Significado e Impacto

GaussianSSC representa un avance significativo al cerrar la brecha entre las representaciones basadas en rejilla/plano (eficientes pero rígidas) y las representaciones gaussianas (flexibles y adaptativas).

• Robustez: La capacidad de modelar la incertidumbre y la anisotropía mediante campos gaussianos aprendidos mejora drásticamente la completación en regiones ocluidas y bajo condiciones de visión monoculares ambiguas.
• Aplicabilidad: Al ser nativo de rejilla y diferenciable, es altamente compatible con pipelines existentes de visión por computadora y robótica, facilitando su adopción en tareas de navegación autónoma y localización.
• Innovación: Demuestra que no es necesario abandonar la estructura de rejilla para obtener los beneficios de las representaciones gaussianas; en su lugar, se pueden aprender campos gaussianos dentro de la estructura de la rejilla para refinar características.

En resumen, GaussianSSC ofrece una solución más precisa y robusta para la comprensión de escenas 3D a partir de una sola cámara, superando las limitaciones de las aproximaciones puramente basadas en voxels o planos uniformes.