Resumen Técnico: Ocupación Gaussiana Deformable (DeGO)

Enunciado del Problema

La predicción de ocupación 3D dinámica es crítica para la conducción autónoma, particularmente para el razonamiento sobre agentes no rígidos centrados en humanos. Sin embargo, los marcos existentes de supervisión débil enfrentan dos limitaciones principales:

1. Suposiciones de Movimiento Rígido: La mayoría de los métodos actuales dependen de desplazamientos simples entre cuadros, asumiendo movimiento de cuerpo rígido. Esto les impide capturar deformaciones no rígidas de grano fino características de los agentes humanos (por ejemplo, peatones, ciclistas).
2. Desequilibrio de Capacidad: Los métodos que distribuyen primitivas gaussianas uniformemente a través del volumen 3D a menudo asignan capacidad excesiva a regiones de fondo estático (carreteras, muros), dejando resolución insuficiente para instancias humanas pequeñas y críticas para la seguridad.
3. Inconsistencia Temporal: Los enfoques previos de vóxeles o gaussianas luchan por mantener la coherencia temporal en entornos dinámicos donde coexisten movimientos rígidos y no rígidos, lo que conduce a actualizaciones de geometría inestables.

Metodología

Los autores proponen DeGO (Ocupación Gaussiana Deformable), un marco que unifica la deformación gaussiana desacoplada con la destilación de modelos fundacionales 4D factorizados. El método opera bajo supervisión débil, utilizando pseudoetiquetas de Grounded-SAM y Metric3D en lugar de anotaciones de vóxeles densos.

1. Deformación Gaussiana Desacoplada (DGD)

En lugar de tratar todas las clases de manera uniforme, DeGO permite que cada primitiva gaussiana modele adaptativamente su comportamiento de movimiento.

• Máscara de Rigidez Suave: Cada gaussiana se aumenta con una máscara de cuerpo rígido aprendible ($m_i \in [0, 1]$). Esta máscara controla implícitamente si una gaussiana experimenta solo movimiento rígido o una combinación de desplazamientos rígidos y deformación no rígida.
• Actualizaciones de Movimiento Híbridas:
  • Regiones Rígidas ($m_i \approx 0$): Las gaussianas se actualizan únicamente mediante desplazamientos posicionales ($\Delta \mu$).
  • Regiones No Rígidas ($m_i \approx 1$): Las gaussianas experimentan tanto desplazamientos posicionales como deformaciones locales que afectan la rotación ($r$), la escala ($s$) y la opacidad ($\alpha$).
• Regularización: Una pérdida de regularización binaria alienta a la máscara a converger hacia valores cercanos a binarios, asegurando una separación distinta entre comportamientos rígidos y no rígidos.

2. Destilación de Características Factorizada (FFD)

Para mejorar la consistencia temporal y la alineación multivista, DeGO destila conocimiento de un modelo fundacional 4D, VGGT.

• Características del Profesor 4D: A diferencia de los métodos anteriores que destilan características 2D por cuadro, FFD extrae representaciones espacio-temporales de VGGT. El modelo profesor procesa secuencias multivista utilizando mecanismos de atención cruzada entre cámaras (espacial) y entre cuadros (temporal) intercalados.
• Proceso de Destilación: El modelo estudiante (DeGO) alinea sus características gaussianas renderizadas con las características 4D del profesor. Esto transfiere capacidades de razonamiento cruzado entre cámaras y entre cuadros, proporcionando una guía estable para el campo gaussiano sin requerir etiquetas 3D explícitas.
• Arquitectura: La destilación se dirige al Transformador Gaussiano, alineando las características gaussianas 3D con los tokens espacio-temporales del modelo fundacional antes de que las cabezas de deformación predigan las actualizaciones de movimiento.

3. Optimización e Inferencia

• Entrenamiento: El modelo se entrena en secuencias cortas de imágenes multivista. La pérdida total combina pérdida de segmentación, pérdida de regresión de profundidad, pérdida de destilación de características y regularización de deformación.
• Inferencia: Durante el despliegue, el sistema opera de manera de un solo cuadro y feed-forward. El módulo de deformación temporal se utiliza durante el entrenamiento para aprender priores conscientes del movimiento, pero no requiere entrada temporal en el momento de la inferencia. La salida es un único conjunto de gaussianas 3D voxelizadas para la predicción de ocupación aguas abajo.

Contribuciones Clave

1. Marco Deformable Unificado: Un marco de ocupación novedoso donde cada gaussiana modela adaptativamente el movimiento rígido y no rígido, guiado por modelos fundacionales 4D para mejorar tanto la comprensión centrada en humanos como la comprensión general de la escena.
2. Deformación Desacoplada Centrada en Humanos: Un mecanismo que asigna selectivamente capacidad de deformación, permitiendo un modelado preciso de agentes no rígidos mientras preserva la estabilidad geométrica para estructuras rígidas.
3. Destilación 4D Factorizada: Una estrategia que transfiere conocimiento cruzado entre cámaras y entre cuadros desde modelos fundacionales (VGGT) al campo gaussiano, creando representaciones de escena dinámica alineadas con la base.

Resultados Experimentales

Los experimentos se realizaron en la referencia Occ3D-NuScenes (40k cuadros, 6 vistas de cámara).

• Rendimiento General: DeGO logra un rendimiento de vanguardia bajo supervisión débil, mejorando el mIoU general en un 10.9% y el IoU en un 12.4% en comparación con el mejor método de supervisión débil anterior (GaussianFlow).
• Métricas Centradas en Humanos: El método demuestra ganancias significativas en el modelado de agentes no rígidos, logrando una mejora del 13.5% en el mIoU centrado en humanos (HCM) propuesto y una ganancia del 7.8% en el mIoU de instancia (InsM).
• Perspectivas de Ablación:
  • El módulo de deformación por sí solo proporcionó una mejora del 43.4% sobre la línea base.
  • El uso de VGGT como profesor arrojó un rendimiento superior al de DINOv2, atribuido al preentrenamiento de VGGT en datos multivista y temporales.
  • Destilar características de atención tanto espaciales (cruzadas entre cámaras) como temporales (cruzadas entre cuadros) proporcionó beneficios complementarios, con el enfoque combinado arrojando los mejores resultados.
  • La máscara de cuerpo rígido se identificó como el componente más crítico para distinguir tipos de movimiento.

Significado

El artículo afirma que DeGO aborda las limitaciones fundamentales de los métodos actuales de predicción de ocupación separando explícitamente las dinámicas rígidas y no rígidas. Al combinar el modelado consciente de la deformación con la destilación guiada por fundamentos, el enfoque logra una consistencia temporal robusta y una reconstrucción superior de instancias humanas críticas para la seguridad sin depender de etiquetas de vóxeles 3D costosas. Los resultados destacan la efectividad de utilizar modelos fundacionales 4D para guiar el aprendizaje con supervisión débil en escenas dinámicas.