StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention

Resumen Técnico: StreetForward

1. El Problema

La reconstrucción de escenas dinámicas es fundamental para la simulación de conducción autónoma en bucle cerrado, la cual requiere modelar con precisión tanto la estructura estática como los agentes en movimiento. Sin embargo, los enfoques existentes presentan limitaciones críticas:

• Optimización por escena: Métodos clásicos como SfM (COLMAP), NeRFs y 3DGS estándar dependen de una optimización iterativa y costosa por escena, lo que es inviable para reconstruir rápidamente grandes conjuntos de datos de conducción.
• Limitaciones de los métodos Feedforward actuales: Las soluciones recientes de inferencia directa (feedforward) basadas en transformadores (como VGGT) suelen centrarse en escenas estáticas. Cuando se aplican a escenas 4D (espacio-tiempo), sufren de:
  • Degradación geométrica bajo movimiento: Los mecanismos de atención alternada (Alternating Attention) de VGGT tratan todos los tokens de todas las frames por igual, debilitando la capacidad de representar el movimiento dirigido (de una frame fuente a una destino).
  • Dependencia de supervisión externa: Muchos métodos requieren rastreadores de objetos (trackers) explícitos, anotaciones de cajas 3D o supervisión de flujo óptico, lo que introduce dependencias externas y modos de fallo.
  • Falta de generalización: La mayoría no logra inferir velocidades por píxel ni realizar síntesis de vistas en nuevos tiempos sin optimización adicional.

2. Metodología

StreetForward es un marco de trabajo feedforward (inferencia directa), libre de poses y rastreadores, diseñado para la reconstrucción 4D de calles dinámicas. Se basa en la arquitectura Visual Geometry Grounded Transformer (VGGT) pero introduce mejoras clave para modelar la dinámica.

Componentes Principales:

• Tokenización y Codificación:

  • Las frames de video se codifican en tokens de parches utilizando un encoder DINO (DINOv2).
  • Se utilizan capas de Atención Alternada (intercalando atención intra-frame e inter-frame) para obtener características conscientes de la escena.

• Módulo de Atención enmascarada Causal (Causal Masked Attention):

  • Esta es la innovación central. A diferencia de la atención global de VGGT, StreetForward introduce una máscara de atención causal que restringe explícitamente la relación query-key a una relación fuente $\to$ destino.
  • Esto fortalece las características conscientes del movimiento al modelar la dirección temporal (predicción hacia adelante y hacia atrás), permitiendo inferir vectores de velocidad precisos sin supervisión explícita de 4D.

• Representación Unificada con 3D Gaussian Splatting (3DGS):

  • Tanto el contenido estático como las instancias dinámicas se representan mediante primitivas 3DGS.
  • Estático: Las primitivas persisten durante toda la secuencia.
  • Dinámico: Las primitivas dinámicas se agregan a través de las frames utilizando las velocidades predichas por el "cabeza de movimiento" (motion head).
  • El modelo predice probabilidades dinámicas por píxel para separar automáticamente regiones estáticas y dinámicas, eliminando la necesidad de modelos de segmentación externos.

• Regularización Espacio-Temporal:

  • Rigidez Local: Se impone un prior de rigidez local (en 2D y 3D) para asegurar que los objetos rígidos mantengan una transformación coherente, evitando que el movimiento se vuelva caótico.
  • Consistencia Temporal (Forward-Backward): Se penalizan las desviaciones de la simetría entre la velocidad hacia adelante ($v^+$) y hacia atrás ($v^-$). Esto permite una fusión temporal robusta y la síntesis de vistas en tiempos intermedios (interpolación) o futuros (extrapolación).
  • Estabilización de Opacidad: Se evita que las primitivas colapsen su opacidad a cero para "ocultar" errores geométricos, forzando a que la optimización refine la geometría real.

3. Contribuciones Clave

1. Marco Feedforward 4D sin dependencias: Presenta un sistema que no requiere poses de cámara, rastreadores de objetos ni segmentación durante la inferencia.
2. Mecanismo de Atención Causal: Introduce una máscara de atención causal simple pero efectiva sobre la arquitectura VGGT para mejorar el modelado del movimiento sin necesidad de supervisión 4D explícita.
3. Síntesis de Alta Fidelidad: Logra síntesis de vistas novedosas (novel view synthesis) y estimación de profundidad en nuevas poses y nuevos tiempos, soportando tanto objetos rígidos (vehículos) como deformables (peatones).
4. Generalización Zero-Shot: Demuestra capacidad de generalización en dominios no vistos (como CARLA) sin ajuste fino (fine-tuning).

4. Resultados Experimentales

El modelo fue entrenado y evaluado en el Waymo Open Dataset y probado en CARLA.

• Síntesis de Vistas (Waymo):
  • Supera a los métodos state-of-the-art (como STORM, DGGT, AnySplat) en regiones dinámicas, logrando un PSNR de 24.30 (vs 22.10 de STORM) y SSIM de 0.827.
  • Evita artefactos comunes como "fantasmas" (ghosting) en objetos en movimiento o agujeros negros por colapso de opacidad.
• Estimación de Profundidad:
  • Logra el menor error RMSE en profundidad tanto en regiones estáticas (3.09) como dinámicas (3.45), superando significativamente a VGGT y Pi3.
• Transferencia Zero-Shot (CARLA):
  • Entrenado solo en Waymo, StreetForward supera a todos los baselines en CARLA sin ajuste, demostrando una robustez superior ante cambios de dominio en apariencia y geometría dinámica.
• Estudios de Ablación:
  • La eliminación de la atención causal o la regularización de rigidez provoca una caída drástica en la calidad, confirmando que el modelado causal y la consistencia temporal son esenciales para la precisión geométrica y la coherencia del movimiento.

5. Significado e Impacto

StreetForward representa un avance significativo hacia la simulación de conducción autónoma en bucle cerrado a gran escala. Al eliminar la necesidad de optimización por escena y de dependencias externas (rastreadores/segmentación), permite:

• Utilizar conjuntos de datos de conducción masivos de manera eficiente para la simulación.
• Reconstruir entornos dinámicos complejos en tiempo real o casi real.
• Generar datos sintéticos de alta fidelidad en momentos y posiciones arbitrarias, lo cual es crucial para entrenar y validar sistemas de conducción autónoma en escenarios raros o peligrosos.

En resumen, StreetForward establece un nuevo estándar para la reconstrucción 4D feedforward, combinando la eficiencia de los modelos basados en transformadores con la precisión geométrica del 3D Gaussian Splatting, todo ello gestionando la dinámica del mundo real de forma robusta y autónoma.