FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

1. El Problema

La reconstrucción 3D en streaming (en tiempo real) busca predecir geometría y movimiento de cámara a partir de un flujo de imágenes utilizando memoria constante y baja latencia. Las arquitecturas recurrentes recientes mantienen un conjunto compacto de "tokens latentes" persistentes que resumen el contexto de la escena.

Sin embargo, estos sistemas sufren un modo de fallo crítico cuando la longitud de la secuencia excede el horizonte de entrenamiento:

• Deriva (Drift) y Olvido Catastrófico: Las reglas de actualización actuales suelen ser manuales.
  • Las sobrescrituras uniformes (como en CUT3R) confían ciegamente en el nuevo candidato, olvidando evidencia histórica útil y causando inestabilidad a largo plazo.
  • Las puertas heurísticas (como en TTT3R) mejoran la estabilidad pero carecen de una representación explícita de la incertidumbre, lo que impide una adaptación principista cuando la confianza aumenta.
• Inestabilidad más allá del horizonte: Ambos comportamientos tienden a volverse inestables cuando el flujo de video es muy largo, acumulando errores que degradan la geometría y la trayectoria de la cámara.

2. Metodología: FILT3R

Los autores proponen FILT3R, una capa de filtrado latente sin entrenamiento (training-free) que reformula la actualización del estado recurrente como un problema de estimación de estado estocástico en el espacio de tokens, utilizando un enfoque de Filtro de Kalman Adaptativo (AKF).

Conceptos Clave:

• Formulación de Estado Estocástico:

  • El estado latente $s_t$ se interpreta como una creencia sobre la escena.
  • El token candidato $\tilde{s}_t$ generado por el decodificador se trata como una medida ruidosa de esa creencia.
  • El sistema modela la dinámica mediante un modelo de espacio de estados con dos fuentes de ruido:
    1. Ruido de Proceso ($Q_t$): Cuánto se espera que cambie el estado latente de la escena entre frames (depende del movimiento/escena).
    2. Ruido de Medición ($R$): Qué tan fiable es la predicción actual del decodificador.

• Actualización Adaptativa (La Ganancia de Kalman):
  En lugar de una sobrescritura fija o una puerta heurística, FILT3R calcula una ganancia de Kalman $k_t$ por token que equilibra la retención de memoria frente a nuevas observaciones:
  $$s_t = s_{t-1} + k_t \odot (\tilde{s}_t - s_{t-1})$$
  Donde $k_t = \frac{p^-_t}{p^-_t + r}$. Aquí, $p^-_t$ es la varianza predicha (incertidumbre acumulada) y $r$ es el ruido de medición.

• Diseño Innovador del Ruido:

  • Ruido de Medición Fijo ($r$): Se mantiene constante (un escalar compartido). La premisa es que el decodificador es una red preentrenada y congelada; su calidad de predicción es inherente a su arquitectura, no a la dinámica de la escena actual. Esto evita la inestabilidad que surge si ambos ruidos (proceso y medición) se adaptan simultáneamente.
  • Ruido de Proceso Adaptativo ($q_t$): Se estima en línea basándose en la deriva temporal (drift) de los tokens candidatos.
    • Si la escena es estática, la deriva es baja $\rightarrow$ $q_t$ es bajo $\rightarrow$ la ganancia $k_t$ disminuye (se retiene más la memoria histórica).
    • Si hay un cambio de escena o movimiento rápido, la deriva es alta $\rightarrow$ $q_t$ aumenta $\rightarrow$ la ganancia $k_t$ sube (se adapta rápidamente a la nueva evidencia).
  • Propagación de Incertidumbre: La varianza $p_t$ se actualiza recursivamente (usando la forma de Joseph). Esto permite que, en regímenes estables, la incertidumbre se contraiga con el tiempo, reduciendo naturalmente la ganancia y extendiendo el horizonte de memoria efectivo.

3. Contribuciones Principales

1. Reformulación Teórica: Recastear la reconstrucción 3D en streaming como un problema de estimación de estado estocástico en el espacio de tokens latentes.
2. FILT3R (Plug-and-Play): Una capa de filtrado ligera, interpretable y sin entrenamiento que se puede insertar en arquitecturas recurrentes existentes (como CUT3R) sin reentrenar los pesos del modelo base.
3. Mecanismo de Ganancia Inteligente: Un esquema donde la ganancia de actualización no es fija ni puramente heurística, sino que se contrae automáticamente en escenarios estables (acumulando confianza) y se expande ante cambios genuinos de la escena.
4. Generalización de Largo Alcance: Demostración de que este enfoque mejora significativamente la estabilidad en secuencias mucho más largas que el horizonte de entrenamiento, superando a métodos de sobrescritura y puertas heurísticas.

4. Resultados Experimentales

Los autores evaluaron FILT3R en tareas de profundidad, estimación de pose y reconstrucción 3D en múltiples datasets (Sintel, Bonn, KITTI, TUM-RGBD, 7-Scenes, NRGBD).

• Reconstrucción 3D a Largo Plazo: En secuencias de 1000 frames (mucho más allá del entrenamiento), FILT3R mantiene una geometría coherente. En 7-Scenes, reduce el error de precisión (Accuracy) de 0.066 (TTT3R) a 0.024 en secuencias de 500 frames, y evita el fallo de memoria (OOM) que sufren métodos como Point3R.
• Estabilidad de la Pose: En TUM-RGBD, FILT3R reduce drásticamente la deriva acumulada. El error de trayectoria alineado al origen (ATEorig) a 800 frames cae de 0.214 (TTT3R) y 0.493 (CUT3R) a 0.107 con FILT3R.
• Profundidad en Streaming: En Bonn, FILT3R logra la mejor precisión (Abs Rel) y consistencia de normal en todas las longitudes de secuencia, mostrando una menor acumulación de errores a medida que avanza el video.
• Eficiencia: FILT3R mantiene un uso de memoria constante (igual que CUT3R), a diferencia de métodos que requieren mapas de atención completos (como TTT3R o Point3R) que crecen linealmente con la longitud.
• Análisis de Ablación: Se demostró que la propagación de varianza es crucial; sin ella, el sistema no puede acumular confianza y sufre de deriva. Asimismo, mantener el ruido de medición fijo es superior a hacerlo adaptativo, ya que evita picos de ganancia inestables durante transiciones.

5. Significado e Impacto

FILT3R representa un cambio de paradigma en la reconstrucción 3D en streaming:

• De Heurística a Principio: Cambia las reglas de actualización de "ajustes manuales" a un marco matemático riguroso basado en la teoría de estimación (Filtro de Kalman).
• Estabilidad Sin Costo de Entrenamiento: Ofrece mejoras masivas en la estabilidad a largo plazo sin necesidad de reentrenar modelos grandes, simplemente modificando la lógica de actualización del estado latente.
• Memoria Adaptativa: Introduce un mecanismo donde el sistema "decide" cuánto recordar basándose en la incertidumbre acumulada, permitiendo que los modelos funcionen de manera robusta en escenarios del mundo real con duraciones ilimitadas, superando las limitaciones de los horizontes de entrenamiento fijos.

En resumen, FILT3R soluciona el problema de la deriva y el olvido catastrófico en la reconstrucción 3D continua mediante un filtrado adaptativo de incertidumbre, logrando una mayor precisión geométrica y estabilidad de trayectoria en secuencias de video largas.