GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video

Resumen Técnico: GeoSAM-3D

Formulación del Problema
GeoSAM-3D aborda el desafío de la segmentación de escenas 3D de vocabulario abierto utilizando un entorno de entrada ligero: un video monocular corto y un único prompt de usuario (un clic, un cuadro o una etiqueta de texto) en un fotograma. A diferencia de los sistemas existentes que dependen de sensores RGB-D, imágenes multivista calibradas o mallas pre-reconstruidas, GeoSAM-3D opera sobre una escena de Gaussian Splatting 3D reconstruida derivada únicamente de un video monocular.

El problema técnico central es la fuga geométrica (geometric leakage). Cuando se propaga una máscara de prompt 2D hacia el 3D, los enfoques estándar de vecino más cercano euclídeo (kNN) suelen fallar porque ignoran la topología de la escena. Los objetos que están espacialmente cerca pero son semánticamente distintos (por ejemplo, la pata de una silla cerca del suelo, o los dos lados de un umbral abierto) pueden fusionarse incorrectamente si la propagación depende únicamente de la distancia euclídea. El objetivo es propagar el seed del prompt sobre las primitivas Gaussianas reconstruidas de tal manera que la máscara 3D resultante respete la conectividad de las superficies de la escena en lugar de la proximidad espacial bruta.

Metodología
El sistema integra modelos fundacionales congelados con una capa de propagación de grafo diferenciable personalizada. El pipeline consta de cuatro etapas principales:

1. Reconstrucción 3D: Un stack de reconstrucción monocular (por ejemplo, MonoGS) convierte el video de entrada en un campo de Gaussianas 3D, donde cada Gaussiana $g_i$ se define por un centro $\mu_i$, una covarianza $\Sigma_i$, una opacidad $\alpha_i$ y estadísticas de apariencia $c_i$.
2. Supervisión 2D: Un prompt de usuario en un solo fotograma genera una máscara 2D de alta calidad utilizando SAM 2. Esta máscara se "eleva" (lifted) a la escena 3D para crear un vector semilla $s$ sobre los centroides de las Gaussianas, identificando las muestras positivas iniciales.
3. Construcción del Grafo: Se construye un grafo de $k$-vecinos más cercanos (kNN) dirigido sobre los centroides de las Gaussianas. Los pesos de las aristas $w_{ij}$ se definen mediante una función gaussiana de la distancia de los centroides, simetrizada para formar un grafo no dirigido. El Laplaciano del grafo $L$ se calcula a partir de estos pesos.
4. Propagación de Geodésica por Kernel de Calor: En lugar de utilizar la distancia euclídea, GeoSAM-3D propaga la etiqueta utilizando una aproximación de geodésica de kernel de calor.
   • Resuelve un paso de calor implícito: $(I + tL + \epsilon I)u = s$, donde $u$ representa el campo de calor.
   • El campo de calor se convierte en una métrica de distancia utilizando la aproximación de Varadhan: $d_i = \sqrt{\max(0, -4t \log(\max(u_i, \epsilon)))}$.
   • La probabilidad de la máscara suave final se calcula como $p_i = \exp(-d_i^2 / 2\sigma_d^2)$.
   • Este enfoque asegura que las etiquetas se difundan a lo largo de superficies conectadas y sean impedidas por brechas o bordes débiles, incluso si los centroides están euclídeamente cerca.
5. Cabezal de Características: Un cabezal transformer compacto mapea los atributos de geometría y apariencia por cada Gaussiana a embeddings normalizados. Este cabezal se entrena mediante un objetivo contrastivo para asegurar que las Gaussianas dentro de la misma máscara derivada de SAM compartan características similares, sin realizar un ajuste fino (fine-tuning) de los modelos fundacionales congelados.

Contribuciones Clave
El artículo presenta las siguientes contribuciones específicas:

1. Pipeline de Propagación de Prompts: Un sistema que eleva las máscas de video estilo SAM hacia una escena de Gaussianas 3D monoculares y propaga las etiquetas sobre los centroides de las Gaussianas utilizando la topología del grafo.
2. Capa de Kernel de Calor Diferenciable: Una implementación de una capa de propagación geodésica utilizando un Laplaciano de grafo kNN y una aproximación de distancia tipo Varadhan, diseñada para ser estable en grafos no maniformes y dispersos.
3. Cabezal de Características Contrastivo: Un extractor de características por cada Gaussiana entrenado mediante consistencia de máscara contrastiva en lugar de realizar el ajuste fino de grandes modelos fundacionales.
4. Implementación Reproducible: Un repositorio público de GitHub y un espacio de Hugging Face que contienen el código, pruebas unitarias para la corrección geodésica, verificaciones de normalización del cabezal de características y un demo interactivo seguro para CPU.

Resultos y Validación
El artículo establece explícitamente que aún no pretende reclamar un rendimiento de estado del arte en benchmarks de segmentación 3D estándar (por ejemplo, ScanNet o Replica). En su lugar, los resultados actuales se centran en la validación de la implementación y la corrección de ingeniería:

• Pruebas Unitarias: El código incluye 15 pruebas que pasan, cubriendo el kernel de geodésica de calor, el comportamiento de la distancia de la semilla, los rangos de propagación de etiquetas, las verificaciones de normalización del cabezal de características y los contratos de la interfaz de aplicación.
• Verificaciones de Validación: El sistema verifica que las distancias de las semillas sean no negativas, monótonas en grafos de prueba, y que el cabezal de características produzca embeddings L2-normalizados con la forma correcta.
• Protocolo de Evaluación: El artículo describe un protocolo riguroso para futuros benchmarks, incluyendo métricas para 3D mIoU, robustez del prompt (varianza entre ubicaciones de semillas), tasas de fuga entre superficies cercanas y latencia. Propone estratificar los resultados por calidad de reconstrucción (por ejemplo, geometría limpia frente a superficies fusionadas) para aislar los fallos de propagación de los errores de reconstrucción.

Significado y Reivindicaciones
GeoSAM-3D se posiciona como un puente de ingeniería entre los modelos fundacionales de video, la reconstrucción 3D monocular y el razonamiento basado en grafos. Su principal importancia radica en:

• Accesibilidad: Permitir la segmentación 3D a partir de videos monoculares simples de teléfonos sin requerir hardware RGB-D costoso o mallas preexistentes.
• Razonamiento Geométrico: Demostrar que la propagación de prompts debe seguir la conectividad de la escena (geodésicas) en lugar de la proximidad euclídea bruta para evitar la fuga entre objetos distintos.
• Modos de Fallo Transparentes: Al enmarcar el problema como una propagación de grafos sobre una escena reconstruida, el sistema ofrece modos de fallo interpretables. Si la reconstrucción monocular fusiona dos superficies, la geodésica del grafo no puede separarlas; el artículo argumenta a favor de reportar estos fallos explícitamente en lugar de ajustar el kernel para ocultarlos.

El artículo concluye que, si bien la implementación actual valida el núcleo del kernel de grafo y la interfaz, el pleno potencial del método depende de futuros benchmarks contra baselines de Euclidean, random-walk y graph-cut, y de la integración de solvers dispersos para la escalabilidad.