Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

Resumen Técnico: COVScene

Planteamiento del Problema
El artículo aborda el desafío de lograr una comprensión de escenas 3D exhaustiva a partir de imágenes dispersas y sin pose, sin depender de la calibración externa de la cámara o de procesos de Estructura desde el Movimiento (SfM). Aunque los métodos recientes de Gaussianas de alimentación directa (por ejemplo, LSM, Uni3R) han avanzado en la reconstrucción sin pose y el renderizado semántico, siguen siendo mayoritariamente centrados en la superficie. Estos métodos optimizan las primitivas Gaussianas principalmente mediante pérdidas de renderizado en el espacio de la imagen. En consecuencia, en regiones no observadas o débilmente observadas, las Gaussianas aprendidas carecen de restricciones explícitas sobre el espacio libre frente al ocupado. Esto conduce a artefactos físicamente implausibles como "floaters" (elementos flotantes), estructuras huecas y distribuciones de densidad ambiguas, incluso cuando las imágenes RGB o semánticas renderizadas parecen plausibles. Los enfoques existentes suelen tratar la ocupación volumétrica como una rama auxiliar o una conversión post-hoc, fallando al no proporcionar retroalimentación volumétrica durante el proceso de entrenamiento para corregir la representación de las Gaussianas subyacente.

Metodología
Los autores proponen COVScene, un marco de Gaussianas semánticas sin pose que acopla primitivas Gaussianas renderizables con un campo de ocupación semántica denso mediante levantamiento volumétrico diferenciable. La innovación central consiste en realizar este levantamiento dentro del grafo de computación del entrenamiento en lugar de como un paso de post-procesamiento desvinculado.

1. Arquitectura:

   • Transformador de Geometría Sensible a la Semántica: El modelo utiliza un codificador compartido inicializado desde un modelo fundacional de geometría preentrenado (VGGT) para inferir la geometría de la cámara, la profundidad y la estructura de la escena directamente a partir de imágenes multivista sin pose. Esto evita la dependencia de SfM externos.
   • Decodificación Multitarea: Un decodificador de Transformador de Predicción Densa (DPT) se ramifica en tres cabezales: un Cabezal de Cámara (que predice extrínsecos/intrínsecos), un Cabezal de Profundidad (que estima centros 3D) y un Cabezal de Gaussianas Semánticas (que predice opacidad, rotación, escala, color y características semánticas de vocabulario abierto).
   • Levantamiento Volumétrico Diferenciable: Las Gaussianas semánticas predichas se elevan a un campo de ocupación semántica denso $(O, F)$ durante el entrenamiento. Para cada vóxel, la probabilidad de ocupación $O(x)$ se calcula acumulando densidades Gaussianas, y las características semánticas $F(x)$ se agregan mediante un promedio ponderado por densidad. Este proceso es totalmente diferenciable, lo que permite que los gradientes de las pérdidas volumétricas actualicen la opacidad, la geometría y las características semánticas de las Gaussianas directamente.

2. Estrategia de Optimización:
   El marco emplea una función de pérdida multiobjetivo que combina:

   • Supervisión Fotométrica y Semántica: Pérdidas de renderizado estándar (L1, LPIPS) y alineación de características con modelos de visión-lenguaje congelados (por ejemplo, CLIP) para capacidades de vocabulario abierto.
     ista de la distilación de un profesor de geometría congelado (VGGT) para proporcionar andamios geométricos multivista iniciales y reducir la ambigüedad de escala.
   • Regularización de Entropía de Ocupación: Un componente crítico que impone un prior físico bimodal en el campo de ocupación elevado. Al minimizar la entropía de la probabilidad de ocupación, el modelo penaliza los estados ambiguos ($O(x) \approx 0.5$) y fomenta que las regiones sean claramente libres ($O(x) \to 0$) u ocupadas ($O(x) \to 1$). Esto resuelve inconsistencias geométricas sin requerir supervisión directa a nivel de vóxel.

Contribuciones Clave

• Representación Unificada: COVScene es el primer marco sin pose que acopla primitivas Gaussianas renderizables con un campo de ocupación semántica denso mediante levantamiento diferenciable, permitiendo la síntesis de vistas nuevas, segmentación de vocabulario abierto y predicción de ocupación semántica dentro de una sola representación.
• Retroalimentación Volumétrica en Tiempo de Entrenamiento: A diferencia de trabajos previos que convierten las Gaussianas en vóxeles solo en la evaluación, COVScene integra la regularización volumétrica en el bucle de entrenamiento. Esto permite que las pérdidas volumétricas regularicen directamente la opacidad y la geometría de las Gaussianas, reduciendo artefactos en regiones no observadas.
• Regularización de Entropía: La introducción de un objetivo de entropía de ocupación impone estructuras de libre/ocupado físicamente plausibles, suprimiendo eficazmente los "floaters" y los artefactos huecos comunes en el 3DGS sin pose.
• Capacidades Zero-Shot: El método soporta consultas semánticas de vocabulario abierto y predicción de ocupación 3D zero-shot sin necesidad de anotaciones extensas por categoría.

Resultados Experimentales
Los autores evaluaron COVScene en los conjuntos de datos ScanNet y ScanNet++ a través de tres tareas:

• Síntesis de Vistas Nuevas (NVS): COVScene mantiene una calidad de renderizado competitiva (PSNR, SSIM, LPIPS) en comparación con las líneas base de Gaussianas de alimentación directa de última generación.
• Segmentación de Vocabulario Abierto (OVS): El marco demuestra un rendimiento mejorado en segmentación de vocabulario abierto en comparación con las líneas base autosupervisadas y otros métodos de Gaussianas semánticas.
• Predicción de Ocupación Semántica: COVScene logra una predicción de ocupación semántica más fuerte que las líneas base autosupervisadas (por ejemplo, SelfOcc) y resultados competitivos contra métodos totalmente supervisados, a pesar de carecer de supervisión directa a nivel de vóxel durante el entrenamiento.
• Estudios de Ablación: Los experimentos confirman que simplemente convertir las Gaussianas semánticas a ocupación en el momento de la evaluación es insuficiente. Se demuestra que el anclaje volumétrico en el tiempo de entrenamiento es esencial para reducir los artefactos geométricos y mejorar la precisión de la ocupación.

Significancia y Reivindicaciones
El artículo afirma que COVScene establece un nuevo paradigma para la comprensión de escenas 3D escalable al cerrar la brecha entre las representaciones Gaussianas eficientes y renderizables y el razonamiento volumétrico físicamente fundamentado. Al tratar la ocupación no como un output auxiliar, sino como una restricción nativa y diferenciable sobre la representación de las Gaussianas, el método logra una reconstrucción 3D más físicamente plausible. Los autores posicionan a COVScene como un paso significativo hacia la comprensión 3D robusta para la robótica y los agentes corporizados, donde el razonamiento preciso sobre el espacio libre y ocupado es crítico, todo ello operando sin la necesidad de poses de cámara calibradas. El trabajo demuestra que la regularización volumétrica puede integrarse eficazmente en los procesos de Gaussianas de alimentación directa para resolver las ambigüedades inherentes de las entradas dispersas y sin pose.