Resumen Técnico: HorizonStream

Enunciado del Problema

La reconstrucción 3D en línea a partir de video en streaming requiere estimar la pose de la cámara y la geometría de la escena bajo estrictas restricciones causales y de memoria acotada. Mientras que los métodos clásicos dependen de la optimización iterativa con un rendimiento limitado, y los métodos recientes de alimentación directa fuera de línea logran alta precisión al acceder a cuadros futuros, los métodos de streaming estrictamente causales luchan con secuencias largas.

Las arquitecturas de streaming existentes a menudo sufren de deriva, inestabilidad o colapso a medida que aumenta la longitud de la secuencia. Los autores identifican la causa raíz como una incompatibilidad fundamental entre la naturaleza de la geometría en streaming y los diseños arquitectónicos actuales:

• Heterogeneidad Temporal: La geometría en streaming contiene evidencia con duraciones de vida vastamente diferentes. Las correspondencias locales 2D-3D son de corta duración y se vuelven inválidas rápidamente, whereas la escala global y las estructuras de la escena son persistentes y deben mantenerse fiables a lo largo de horizontes largos.
• Patrones de Influencia Patológicos: Los métodos actuales imponen reglas de propagación uniformes sobre toda la evidencia.
  • Las ventanas deslizantes imponen cortes abruptos, descartando prematuramente evidencia pasada útil.
  • La recurrencia sin puertas conduce a kernels de cola pesada con acumulación de errores ilimitada.
  • La atención softmax causal degenera en "sumideros de atención", enfocándose en tokens tempranos irrelevantes, mientras que los mecanismos de refresco de caché KV crean discontinuidades.
  • Estos kernels patológicos causan saturación de la caché y una deriva geométrica severa a medida que crecen las secuencias.

Metodología: HorizonStream

Los autores proponen HorizonStream, un Transformer de largo horizonte que factoriza explícitamente el kernel de influencia de la evidencia geométrica para abordar la heterogeneidad temporal de la geometría en streaming. El marco procesa los $W$ cuadros más recientes de manera causal mientras mantiene un estado geométrico de $O(1)$ para la estructura y escala entre ventanas.

1. Kernel de Influencia de la Evidencia Geométrica

El proceso de reconstrucción se formaliza como la agregación de diversa evidencia geométrica mediante un kernel espacio-temporal $K(t, i)$, factorizado como:
$$K(t, i) = K_{espacial}(t, i) \cdot K_{tiempo}(t, i)$$
Esta factorización mapea componentes computacionales específicos a los tres requisitos centrales de la reconstrucción en streaming: seleccionar correspondencias locales fiables, asegurar una propagación acotada de múltiples escalas temporales y preservar la escala/pose métrica.

2. Atención Lineal Geométrica (Factor Temporal de Largo Alcance)

Para modelar $K_{tiempo}$, los autores introducen la Atención Lineal Geométrica, que mantiene un estado geométrico recurrente acotado $S_t \in \mathbb{R}^{d \times d}$.

• Estimación de Estado con Descuento: El estado se actualiza mediante un objetivo con descuento donde la influencia de la evidencia pasada decae exponencialmente. Esto previene la acumulación ilimitada de información obsoleta.
• Retención por Canal: En lugar de una tasa de retención escalar, el modelo aprende un vector de retención por canal $\gamma_t \in (0, 1)^d$.
  • Los canales de bajo-$\gamma$ revisan rápidamente la evidencia transitoria (ej. correspondencias locales).
  • Los canales de alto-$\gamma$ preservan la evidencia de larga duración (ej. estructura de la escena, escala métrica).
  • Esto crea un espectro continuo de duraciones de vida efectivas de memoria ($\tau = -1/\log \bar{\gamma}$), permitiendo una propagación estable entre ventanas sin reinicios periódicos.

3. Atención Local Geométrica (Factor Espacial de Corto Alcance)

Para modelar $K_{espacial}$, los autores emplean la Atención Local Geométrica dentro de la ventana local ($W$ cuadros).

• Puerta por Cabeza: Cada cabeza de atención se asigna una puerta de fiabilidad para filtrar correspondencias ruidosas y suprimir sumideros de atención.
• RoPE Espacio-Temporal: Las Incrustaciones de Posición Rotatoria se extienden a tres ejes (tiempo, altura, ancho) para codificar la disposición relativa espacio-tiempo 3D, asegurando que la atención dependa de desplazamientos geométricos relativos.

4. Tokens de Lectura Métrica (MRT)

Para satisfacer las restricciones de invariancia métrica, se introducen los Tokens de Lectura Métrica. Estos tokens participan en la Atención Lineal Geométrica y leen la escala métrica directamente de los canales de alta retención del estado recurrente.

• Una cabeza de escala predice un factor de escala global $\hat{s}$ para reescalar la traslación y la profundidad.
• La fusión de pose relativa sobre los tokens de pose en la ventana local estima una pose de consenso, evitando la acumulación de errores derivada de la encadenamiento secuencial de cuadros clave.

5. Arquitectura y Entrenamiento

• Esqueleto: Un ViT-L inicializado desde VGGT y DINOv2, alternando bloques de cuadros y bloques globales. Las capas de Atención Lineal Geométrica se intercalan en profundidades específicas (4, 11, 17, 23).
• Entrenamiento: El modelo se entrena con clips de 48 cuadros utilizando una ventana causal. Se supervisa con pérdidas de pose, profundidad y escala.
• Cierre de Bucle Opcional: Un módulo recupera pares de cuadros revisitados para estimar correcciones geométricas locales, optimizando la trayectoria global mediante optimización de grafos de pose.

Contribuciones Clave

1. Formalización de la Reconstrucción en Streaming: El artículo unifica los fallos en secuencias largas (deriva, inestabilidad, colapso) como formas de kernel patológicas (cortes abruptos, discontinuidades, sumideros de atención) y propone el kernel de influencia de la evidencia geométrica como un marco unificador.
2. Arquitectura de Descomposición de Kernel Restringida (HorizonStream):
   • Atención Lineal Geométrica: Proporciona propagación acotada y de múltiples escalas temporales entre ventanas mediante una retención aprendida por canal.
   • Atención Local Geométrica: Permite el emparejamiento 3D consciente del contenido dentro de las ventanas utilizando puertas por cabeza y RoPE Espacio-Temporal.
   • Tokens de Lectura Métrica: Preserva la escala métrica y la pose rígida leyendo de subespacios de alta retención.
3. Generalización y Eficiencia: Entrenado solo con clips de 48 cuadros, HorizonStream se generaliza de manera estable a secuencias que superan los 10,000 cuadros con memoria constante y complejidad de tiempo lineal, superando a los métodos de streaming existentes.

Resultados Experimentales

Se realizaron experimentos extensos en múltiples conjuntos de datos (KITTI, VBR, Oxford Spires, ScanNet++, Waymo, etc.), evaluando tanto la estimación de la trayectoria de la cámara (ATE) como la reconstrucción densa (CD, F1).

• Estabilidad en Secuencias Largas: En el conjunto de datos VBR (secuencias de hasta 18,846 cuadros), HorizonStream mantiene trayectorias estables con un ATE promedio de 25.30m (18.84m con cierre de bucle), superando significativamente a otros métodos en línea (ej. Lingbot-map en 27.53m, LongStream en 77.93m) que sufren de inestabilidad severa o colapso.
• Rendimiento en KITTI: En secuencias de KITTI (de hasta 4,661 cuadros), HorizonStream logra un ATE promedio de 19.75m (16.44m con cierre de bucle), acercándose o superando a métodos fuera de línea y sistemas SLAM basados en optimización.
• Reconstrucción Densa: HorizonStream logra calidad de reconstrucción en línea de vanguardia (menor CD y mayor F1) en los benchmarks ETH3D, Oxford Spires, 7Scenes y TUM RGB-D.
• Memoria y Tiempo: A diferencia de los métodos competidores que exhiben un crecimiento de memoria superlineal o requieren reinicios periódicos de caché, HorizonStream mantiene un pico de memoria de GPU casi constante y escala suavemente hasta 10K cuadros.

Significado

El artículo afirma que HorizonStream resuelve la incompatibilidad fundamental en las arquitecturas actuales de reconstrucción 3D en streaming al modelar explícitamente la heterogeneidad temporal de la evidencia geométrica. Al aprender un espectro de retención acotado y de múltiples escalas temporales en lugar de depender de ventanas fijas o recurrencia ilimitada, el método logra una reconstrucción estable y consistente con la métrica sobre secuencias ultra largas sin necesidad de reinicios periódicos del estado o acceso a cuadros futuros. Esto habilita una percepción 3D en línea robusta para robótica y conducción autónoma en escenarios de largo horizonte.