Resumen Técnico: OccAnyScene

Planteamiento del Problema

La predicción de ocupación semántica 3D es esencial para la comprensión holística de escenas en la conducción autónoma y la IA encarnada (embodied AI). Sin embargo, los métodos existentes son predominantemente específicos de cada escena, diseñados para protocolos fijos con respecto a rangos espaciales, resoluciones de vóxeles, configuraciones de cámara y taxonomías semánticas. Esta especialización obstaculiza el desarrollo de una percepción 3D de propósito general.

El artículo introduce la Predicción de Ocupación Semántica 3D Trans-Escena (Cross-Scene 3D Semantic Occupancy Prediction), un nuevo entorno de tarea que requiere que un único modelo gestione simultáneamente escenas interiores y exteriores heterogéneas. Este entorno presenta un desafío fundamental: lograr un levantamiento (lifting) de imagen a 3D que sea métricamente consistente pero adaptativo a la escena.

• Inconsistencia métrica: Las escenas interiores (por ejemplo, habitaciones) requieren una percepción de corto alcance y grano fino, mientras que las escenas exteriores (por ejemplo, calles) requieren una percepción de largo alcance y grano grueso.
• Dificultad de parametrización: Los métodos existentes basados en Gaussianas tienen dificultades porque los desplazamientos absolutos y las escalas necesarios para completar la oclusión varían sustancialmente entre dominios. Una parametrización absoluta compartida es difícil de aprender debido a las diferentes intrínsecas de la cámara y las profundidades de la escena.

Metodología: OccAnyScene

Para abordar estos desafíos, los autores proponen OccAnyScene, un marco de Gaussianas centrado en el píxel-fruto (pixel-frustum-centered) construido sobre un modelo fundacional de profundidad preentrenado (por ejemplo, DepthAnythingV2/V3). El marco trata el frustum 3D finito asociado a cada píxel de característica como la unidad básica para construir una representación de escena continua, en lugar de depender de rejillas de vóxeles fijas o rayos únicos.

La arquitectura consta de dos módulos principales:

1. Agregación de Características de Frustum Alineadas con el Píxel (PFFA)

Este módulo construye una consulta de frustum consciente de la cámara para cada píxel de característica con el fin de razonar sobre las regiones ocluidas.

• Entrada: Toma características geométricas densas ($F_{geo}$) de la cabeza DPT del modelo fundacional de profundidad y tokens visuales de su codificador ViT.
• Inicialización: Una consulta de píxel se inicializa utilizando pistas geométricas y la dirección del rayo de la cámara derivada de las intrínsecas.
• Agregación de Contexto: El módulo restaura los tokens secuenciales de ViT a una rejilla 2D y realiza una atención cruzada deformable alineada con el píxel. Esto agrega pistas semánticas y estructurales circundantes alrededor del píxel de característica, produciendo una consulta de frustum que codifica la geometría de la superficie visible, la geometría de visión y el contexto local.

2. Construcción de Gaussianas Parametrizadas por Frustum (FPGC)

Este módulo decodifica cada consulta de frustum en múltiples primitivas Gaussianas ($K$ Gaussianas por píxel) con posiciones y escalas restringidas por la profundidad del píxel predicha y la geometría del frustum.

• Anclaje de Profundidad: Para asegurar la consistencia métrica entre conjuntos de datos con diferentes intrínsecas, el modelo predice una profundidad de superficie de cámara canónica ($D_{surf}$) utilizando un MLP ligero. Esto sirve como un ancla de profundidad común.
• Posicionamiento:
  • Incrementos de Profundidad ($\Delta d_{p,k}$): En lugar de colocar todas las Gaussianas en la superficie, el modelo predice incrementos de profundidad para extender la representación desde las superficies visibles hacia las regiones ocluidas.
  • Desplazamientos Subpíxel ($\Delta u_{p,k}$): Para dar cuenta de la naturaleza gruesa de los píxeles de características submuestreados, los desplazamientos subpíxel acotados permiten que los centros de las Gaussianas se desplacen lateralmente dentro del frustum del píxel correspondiente.
• Parametrización de Escala: Para evitar el aprendizaje de escalas absolutas inestables, el modelo utiliza una escala relativa al frustum. Calcula una referencia de escala de frustum escalar ($b_{p,k}$) basada en la sección transversal métrica del frustum en la profundidad de la Gaussiana. El decodificador entonces predice una escala relativa adimensional ($\hat{s}_{p,k}$), que se multiplica por la referencia para determinar el tamaño final de la Gaussiana. Esto adapta los soportes espaciales a diferentes parámetros de cámara y rangos de escena automáticamente.
• Salida: Las Gaussianas resultantes se mapean a taxonomías semánticas específicas de la escena mediante matrices de taxonomía aprendibles y se proyectan (splatted) sobre la rejilla de vóxeles objetivo.

Contribuciones Clave

1. Definición de la Tarea: El artículo introduce formalmente la Predicción de Ocupación Semántica 3D Trans-Escena, un entorno donde un solo modelo debe aprender conjuntamente de escenas interiores y exteriores heterogéneas con diferentes protocolos.
2. Diseño del Marco: La propuesta de OccAnyScene, un marco de Gaussianas centrado en el píxel-frustum. Unifica la predicción de ocupación a través de:
   • PFFA: Para la construcción de consultas de frustum que razonan sobre las oclusiones.
   • FPGC: Para la construcción de Gaussianas adaptativas a la escena que parametrizan posiciones y escalas en relación con la geometría del frustum, permitiendo la estabilidad a través de diversas escalas e intrínsecas.
3. Rendimiento: Experimentos extensos demuestran que OccAnyScene logra resultados de estado del arte (SOTA) tanto en los benchmarks de interiores (Occ-ScanNet) como de exteriores (SurroundOcc-nuScenes). Crucialmente, el modelo trans-escena rinde de manera comparable a los modelos específicos de cada escena entrenados por separado, demostrando que un modelo unificado puede manejar entornos diversos sin una degradación significativa del rendimiento.

Resultados Experimentales

• Interiores (Occ-ScanNet): El modelo logra un 59.51% de mIoU en el entorno trans-escena utilizando el codificador DAv3, casi igualando el rendimiento específico de la escena (59.92% de mIoU) y superando otras adaptaciones trans-escena (por ejemplo, SplatSSC† cae significativamente).
• Exteriores (SurroundOcc-nuScenes): El modelo logra un 22.87% de mIoU en el entorno trans-escena utilizando el codificador DAv3, nuevamente comparable a su contraparte específica de la escena (23.06% de mIoU) y superior a las líneas base adaptadas.
• Eficiencia: OccAnyScene-DAv2 demuestra una alta eficiencia con 98.2M de parámetros, 86.4ms de tiempo de inferencia y 670 MiB de uso de memoria en una RTX 4090, reduciendo el uso de memoria en más de un 80% en comparación con trabajos previos como EmbodiedOcc y SplatSSC.
• Estudios de Ablación:
  • Eliminar PFFA o FPGC provoca caídas significativas en el rendimiento, confirmando la necesidad de la agregación de características basada en frustum y la parametrización.
  • La "escala relativa al frustum" y los "incrementos de profundidad" son críticos para manejar las variaciones métricas y la completitud de la oclusión.
  • Aumentar el número de Gaussianas por píxel ($K$) de 1 a 3 produce ganancias marginales, lo que sugiere que la completitud de la oclusión se logra principalmente a través de la contribución colectiva de los píxeles vecinos en lugar de un apilamiento profundo dentro de un solo frustum.

Significado y Reivindicaciones

El artículo afirma que OccAnyScene aborda con éxito la dificultad de la predicción de ocupación trans-escena al alejarse de las representaciones espaciales fijas hacia una referencia geométrica que se adapta a la geometría de la cámara y al rango de la escena.

Los autores sostienen que su enfoque permite la consolidación de la predicción de ocupación a escala de habitación y a escala de calle en un único modelo de alimentación directa (feed-forward). Esto elimina la necesidad de mantener y cambiar entre modelos separados para diferentes entornos, simplificando así el despliegue y el escalado para sistemas autónomos que operan en entornos diversos. El trabajo demuestra que, con la parametrización geométrica correcta (centrada en el píxel-frustum), un modelo unificado puede lograr un rendimiento comparable al de los modelos especializados manteniendo una alta eficiencia computacional.

Limitaciones Reconocidas:
Los autores señalan que la evaluación actual se limita a dos conjuntos de datos (Occ-ScanNet y SurroundOcc-nuScores) y aún no demuestra la generalización a escenas arbitrarias no vistas. Además, la representación de píxel-frustum cubre inherentemente solo las regiones dentro de los campos de visión de la cámara; los huecos entre cámaras en configuraciones de visión envolvente (surround-view) se llenan con un pequeño conjunto de consultas espaciales suplementarias, lo que tiene un impacto mínimo en las métricas agregadas pero indica una limitación para cubrir regiones enteramente fuera de la vista de la cámara.