SuperQuadricOcc: Real-Time Self-Supervised Semantic Occupancy Estimation with Superquadric Volume Rendering

Resumen Técnico: SuperQuadricOcc

1. El Problema

La estimación de ocupación semántica es fundamental para la percepción segura de los vehículos autónomos, ya que modela el entorno 3D como una cuadrícula de voxels con etiquetas semánticas. Sin embargo, existen dos desafíos principales:

• Dependencia de anotaciones manuales: Los métodos supervisados requieren etiquetas 3D densas y costosas de generar. Los métodos auto-supervisados utilizan pseudo-etiquetas 2D, pero requieren técnicas de renderizado eficientes para cerrar la brecha entre la representación 3D y el espacio de supervisión 2D.
• Limitaciones de las representaciones existentes:
  • Los voxels son precisos pero computacionalmente costosos y lentos.
  • Los Gaussians (como en 3DGS) ofrecen velocidad, pero a menudo requieren un número masivo de primitivas (millones) y dependen de modelos fundacionales grandes (VFMs) durante la inferencia, lo que aumenta la huella de memoria.
  • Las Superquadricas son una familia de formas expresiva y compacta ideal para la representación de escenas, pero carecían de un método de rasterización eficiente para entornos auto-supervisados, lo que impedía su adopción masiva en tiempo real.

2. Metodología Propuesta

Los autores presentan SuperQuadricOcc (SQOcc), el primer modelo auto-supervisado de estimación de ocupación que utiliza superquadricas para la representación de escenas, junto con un nuevo renderizador llamado SuperQuadricOcc-Render (SQOcc-R).

• Representación de la Escena:

  • La escena se modela mediante un conjunto de $N$ primitivas superquadricas ($S = \{S_i\}$).
  • Cada primitiva se define por: centro ($m$), escala ($s$), rotación ($r$), parámetros de "cuadratura" y redondez ($\varepsilon$), densidad ($\sigma$) y logits semánticos ($c$).
  • La probabilidad de ocupación se modela mediante una formulación de decaimiento exponencial análoga a una distribución gaussiana, pero adaptada a la superficie implícita de la superquadrica.

• Arquitectura del Modelo (SQOcc):

  • Basada en GaussianFlowOcc, utiliza una red ResNet-50 para extraer características de las imágenes.
  • Una red Transformer refina iterativamente las características y los centros de las superquadricas mediante mecanismos de atención (temporal, espacial y deformable).
  • Un módulo de flujo temporal propaga la información a lo largo de un horizonte temporal para mantener la consistencia entre frames.

• Renderizador de Volumen en Tiempo Real (SQOcc-R):

  • Este es el núcleo de la innovación. Dado que las superquadricas no tienen un método de rasterización nativo, los autores proponen un renderizador acelerado por CUDA.
  • Indexación Espacial: Para evitar calcular la intersección de cada rayo con todas las superquadricas (lo cual sería ineficiente), se utiliza una estrategia de indexación espacial basada en voxels. Se mapean las superquadricas a una cuadrícula de voxels, restringiendo la consulta de cada muestra de rayo solo a las superquadricas en su vecindad local.
  • Renderizado Directo: A diferencia de otros métodos que convierten las primitivas a voxels o Gaussians para renderizar, SQOcc-R consulta directamente la ecuación de probabilidad de ocupación de la superquadrica. Esto preserva la fidelidad geométrica.
  • Composición Alpha: Se utiliza la composición alpha de frente a atrás para calcular la profundidad y la semántica final, permitiendo el retroceso de gradientes para el entrenamiento.

3. Contribuciones Clave

1. Primera representación auto-supervisada con Superquadricas: Introducen SQOcc, demostrando que las superquadricas pueden superar a los voxels y Gaussians en eficiencia y rendimiento sin necesidad de anotaciones 3D.
2. Renderizador SQOcc-R: Desarrollan un renderizador de volumen en tiempo real (58 FPS para 6 cámaras) que gestiona miles de primiticas mediante indexación espacial, reduciendo drásticamente el costo computacional y la memoria.
3. Rendimiento de Estado del Arte (SOTA): Logran resultados superiores en el conjunto de datos Occ3D-nuScenes con una huella de memoria extremadamente baja (0.70 GB) y velocidad de inferencia en tiempo real (21.5 FPS), sin depender de modelos fundacionales durante la inferencia.

4. Resultados Experimentales

Los experimentos se realizaron principalmente en los conjuntos de datos Occ3D-nuScenes y OpenOccv2.

• Precisión:
  • SQOcc alcanza un mIoU de 17.14 y un RayIoU de 17.26 en Occ3D-nuScenes, superando a métodos anteriores como GaussianFlowOcc y TT-Occ.
  • En OpenOccv2, mejora el RayIoU en 1.6 puntos sobre el estado del arte anterior.
• Eficiencia y Recursos:
  • Memoria: Utiliza solo 0.70 GB de memoria durante la inferencia, una reducción del 92.9% en comparación con TT-Occ (que usa ~9.9 GB). Esto se debe a la reducción de primitivas de millones de Gaussians a solo 1,600 superquadricas.
  • Velocidad: Alcanza 21.5 FPS en tiempo real, habilitado por la representación compacta y el renderizador optimizado.
• Comparación de Métodos de Renderizado:
  • SQOcc-R supera a las aproximaciones de Gaussians (MLGA, Gaussianisation) y al renderizado NeRF de voxels en métricas de RayIoU y fidelidad geométrica.
  • Las aproximaciones de Gaussians sufren de pérdida de fidelidad al intentar modelar formas complejas, mientras que SQOcc-R mantiene la precisión geométrica de las superquadricas.

5. Significado e Impacto

Este trabajo es significativo porque:

• Democratiza la escalabilidad: Al eliminar la necesidad de anotaciones manuales 3D y reducir drásticamente los requisitos de memoria, permite entrenar modelos de ocupación semántica en conjuntos de datos masivos de conducción autónoma.
• Valida las Superquadricas: Establece a las superquadricas como una alternativa viable y superior a los voxels y Gaussians para la percepción 3D en tiempo real, ofreciendo un equilibrio óptimo entre expresividad geométrica y eficiencia computacional.
• Habilita la inferencia en el borde (Edge): La baja huella de memoria y la alta velocidad hacen que este enfoque sea viable para su implementación en hardware de vehículos autónomos reales, donde los recursos son limitados.

En conclusión, SuperQuadricOcc resuelve el cuello de botella del renderizado para representaciones basadas en superquadricas, logrando un nuevo estándar en la estimación de ocupación semántica auto-supervisada, combinando alta precisión, bajo consumo de memoria y velocidad en tiempo real.