Resumen Técnico: FSTM – Aprendizaje Eficiente de Geometría y Semántica para la Reconstrucción de Escenarios Interiores

Declaración del Problema

La Reconstrucción de Superficies Neurales, particularmente mediante Funciones de Distancia Signada (SDF), se ha convertido en un estándar para la reconstrucción 3D de interiores. Sin embargo, muchas aplicaciones posteriores (robótica, edición, interacción) requieren no solo fidelidad geométrica, sino también comprensión semántica por objeto. Los enfoques existentes que integran semántica a menudo dependen de formulaciones multi-SDF (por ejemplo, ObjectSDF++, RICO), donde cada objeto se representa mediante una SDF separada. Estos métodos adolecen de tres limitaciones principales:

1. Sobrecarga Computacional: Los términos de regularización (Eikonal, suavidad) deben calcularse para cada SDF de objeto, lo que hace que el tiempo de entrenamiento escale mal con la complejidad de la escena.
2. Inestabilidad de Optimización: El uso de agrupación mínima (min-pooling) para fusionar las SDF de objetos en una representación de escena introduce discontinuidades en el gradiente, lo que conduce a un entrenamiento inestable y una convergencia lenta.
3. Mala Escalabilidad en Escenas Congestionadas: Las arquitecturas multi-SDF luchan por mantener el detalle y la recuperación en entornos complejos con múltiples objetos, a menudo omitiendo objetos pequeños o generando geometrías simplificadas en regiones poco observadas.

Además, la optimización conjunta ingenua de geometría y semántica en una sola red a menudo degrada la calidad de la reconstrucción, ya que la supervisión semántica temprana puede sesgar la red de geometría hacia la consistencia semántica a expensas de la precisión geométrica.

Metodología: FSTM

Los autores proponen FSTM (Primero la Forma, Luego el Significado), un marco unificado que aprende geometría y semántica mediante una SDF global única utilizando una estrategia de entrenamiento en dos pasos.

1. Representación Unificada

A diferencia de los enfoques multi-SDF, FSTM representa toda la escena con una única SDF aprendible ($SDF_\theta$). Para permitir la estimación semántica, la arquitectura extiende la columna vertebral MonoSDF con una cabeza decodificadora semántica. Para un punto de consulta 3D $x$, el MLP de geometría produce un valor SDF y un vector de características $g(x)$, que se mapea a logits semánticos $s_C(x)$. Estas distribuciones se integran a lo largo de los rayos de la cámara mediante renderizado volumétrico para permitir una supervisión semántica densa por rayo.

2. Estrategia de Entrenamiento en Dos Pasos

Para abordar el conflicto entre la optimización geométrica y semántica, FSTM emplea un enfoque escalonado:

• Paso 1: Calentamiento Geométrico: La red se entrena exclusivamente con pistas geométricas (RGB, profundidad monocular y priores de normales) con la supervisión semántica desactivada ($\lambda_5 = 0$). Esto asegura que la geometría converja a un estado de alta fidelidad sin verse sesgada por señales semánticas potencialmente ruidosas o conflictivas.
• Paso 2: Optimización Conjunta: Se introduce la supervisión semántica y la red se optimiza conjuntamente tanto para geometría como para semántica durante el resto del presupuesto de entrenamiento.

3. Segmentación 3D

En el momento de la prueba, la segmentación a nivel de objeto se logra mediante un paso de postprocesamiento ligero. Una extracción de iso-superficie (por ejemplo, Cubos Marchantes) genera una malla a partir del conjunto de nivel cero de la única SDF. Para cada cara de la malla, se lanza un rayo desde el centro de la cara a lo largo de la dirección normal para consultar el campo semántico aprendido. A la cara se le asigna la clase con la probabilidad integrada más alta, permitiendo un etiquetado denso a nivel de objeto sin requerir redes específicas de objetos separadas.

Contribuciones Clave

• Formulación de SDF Única: Demuestra que una SDF global única, en lugar de una compleja arquitectura multi-SDF, es suficiente para una reconstrucción de alta calidad consciente de los objetos. Esto evita discontinuidades en el gradiente y reduce la sobrecarga computacional.
• Optimización en Dos Pasos: Introduce un calendario de entrenamiento primero-geometría que previene la interferencia destructiva de los gradientes semánticos tempranos, lo que lleva a una convergencia más estable y reconstrucciones de mayor calidad en comparación con la optimización conjunta.
• Integración Semántica Eficiente: Muestra que los priores semánticos pueden refinar activamente la fidelidad geométrica cuando se programan adecuadamente, en lugar de actuar meramente como un subproducto de la reconstrucción.
• Escalabilidad: El método escala eficientemente con la complejidad de la escena, evitando el aumento lineal en el tiempo de entrenamiento asociado con el número de objetos en diseños multi-SDF.

Resultados Experimentales

El método se evaluó en los conjuntos de datos Replica (sintético) y ScanNet++ (mundo real).

• Rendimiento en Replica: FSTM supera a los métodos más avanzados (ObjectSDF++, RICO, MonoSDF) tanto en métricas a nivel de escena como a nivel de objeto (Distancia de Chamfer, Puntuación F, Consistencia de Normales). Logra una aceleración de 2.3× en el tiempo de entrenamiento en comparación con las líneas base multi-SDF.
• Rendimiento en ScanNet++: FSTM demuestra una superior robustez frente a imperfecciones del mundo real (frames borrosos, errores de pose). Recupera significativamente más objetos que las líneas base (hasta 6 veces más en escenas densas) y mantiene una mayor recuperación.
• Mejoras Cualitativas: FSTM recupera detalles geométricos finos (por ejemplo, patas de sillas) y objetos pequeños que los métodos multi-SDF a menudo pasan por alto o simplifican en exceso.
• Supervisión Limitada: Bajo supervisión semántica dispersa, FSTM mantiene una calidad de reconstrucción a nivel de escena estable, mientras que la optimización conjunta ingenua y los métodos multi-SDF se degradan significativamente.

Significado y Afirmaciones

El artículo afirma que FSTM establece una base simplificada para la comprensión de escenas 3D escalable e informada semánticamente. Al desacoplar el aprendizaje de geometría y semántica, los autores muestran que:

1. La semántica mejora la geometría: La supervisión semántica integrada adecuadamente mejora la fidelidad geométrica, particularmente en regiones ambiguas o poco observadas.
2. La simplicidad es efectiva: La coordinación compleja de múltiples objetos no es necesaria para una reconstrucción de alta calidad y consciente de los objetos; una sola SDF con un calendario de entrenamiento estructurado es suficiente.
3. Eficiencia: El enfoque ofrece un compromiso práctico, sacrificando la inferencia en tiempo real de los métodos de Splatting Gaussiano 3D para lograr superfices de alta fidelidad y topológicamente correctas requeridas para la inspección industrial y la planificación quirúrgica, mientras permanece significativamente más rápido y robusto que los métodos existentes de superficies neuronales multi-SDF.

Los autores reconocen limitaciones, señalando que el método no produce mallas estancas (watertight) para objetos individuales de forma nativa (requiriendo postprocesamiento para aplicaciones como la impresión 3D) y que las mejoras geométricas disminuyen cuando las anotaciones semánticas 2D son extremadamente escasas (por ejemplo, menos de 10 vistas).