Resumen Técnico: FlowDec – Decorruptor de Flujo Condicional Temporal para una Navegación de Visión-Lenguaje Continua y Robusta

1. Declaración del Problema

La Navegación de Visión-y-Lenguaje en Entornos Continuos (VLN-CE) requiere que los agentes sigan instrucciones de lenguaje natural en espacios 3D no vistos. Aunque los Modelos Grandes (LMs) y los Modelos de Visión-Lenguaje (VLMs) han avanzado en este campo al permitir un razonamiento y una localización de instrucciones sólidos, exhiben una vulnerabilidad crítica: una degradación severa del rendimiento cuando se exponen a corrupciones visuales del mundo real.

Los agentes basados en LM existentes asumen implícitamente entradas visuales limpias y estables. En la práctica, factores como el movimiento propio rápido (desenfoque de movimiento), condiciones de baja iluminación, el clima (lluvia, niebla, nieve) y las imperfecciones de los sensores introducen diversas corrupciones visuales. Estas distorsiones degradan las señales espaciales críticas (límites de objetos, texturas del suelo, profundidad), lo que conduce a fallos de navegación catastróficos. Las soluciones de robustez actuales son insuficientes para VLN-CE por varias razones:

• Denominación de Imagen Ciega (BID): Prioriza la calidad perceptual sobre la consistencia de la navegación descendente y tiene dificultades con corrupciones del mundo real no vistas.
• Adaptación en Tiempo de Prueba (TTA): Los métodos que actualizan los parámetros del modelo corren el riesgo de sufrir un olvido catastrófico, especialmente en Modelos Grandes congelados.
• TTA basado en Difusión: Aunque es eficaz para refinar las entradas, los enfoques existentes suelen procesar los fotogramas de forma independiente, fallando en mantener la coherencia temporal y la consistencia a nivel de acción requerida para la navegación continua encarnada. Además, el muestreo de difusión iterativo introduce una latencia incompatible con el despliegue robótico en tiempo real.

El desafío central es desarrollar un método de decorrupción que maneje corrupciones desconoccidas y diversas sin conocimiento previo de los tipos de corrupción, preserve la consistencia temporal entre fotogramas, mantenga predicciones de acción físicamente significativas y opere bajo estrictas restricciones de tiempo real.

2. Metodología: FlowDec

Los autores proponen FlowDec, un marco de Decorruptor de Flujo Condicional Temporal. A diferencia de los métodos de restauración previos diseñados para la mejora de imágenes, FlowDec está optimizado explícitamente para la decorrupción consciente de la navegación y en tiempo real utilizando Emparejamiento de Flujo Condicional Latente (CFM). El marco consta de tres componentes principales:

2.1 Emparejamiento de Flujo Condicional Latente

FlowDec opera en el espacio latente de un Autoencoder Variacional (VAE) preentrenado. Modela el proceso de restauración como una Ecuación Diferencial Ordinaria (ODE) que evoluciona un ruido aleatorio latente ($z_0$) hacia un latente limpio de verdad fundamental ($z_{c\_gt,1}$). El campo de velocidad está parametrizado por una red neuronal $v_\theta$ y se entrena para minimizar el error de mínimos cuadrados entre los campos de velocidad predichos y reales.

2.2 Estrategia de Condicionamiento Temporal Híbrido

Para alinear la trayectoria del flujo generativo con el contexto histórico, FlowDec emplea una estrategia de condicionamiento dinámica durante el entrenamiento. La variable de condicionamiento $c_i$ se selecciona de tres tipos:

• $c_1$ (Fotograma único): Utiliza solo el latente de la imagen aumentada (corrupta) actual.
• $c_2$ (Temporal con Verdad Fundamental): Incorpora la diferencia entre los latentes aumentados y los de verdad fundamental anteriores para modelar las características de la corrupción.
• $c_3$ (Temporal con Salida Denoizada): Utiliza la diferencia entre el latente aumentado anterior y el latente denoizado. Esto es crucial para cerrar la brecha de dominio entre los datos de entrenamiento sintéticos y la inferencia en el mundo real, ya que la verdad fundamental no está disponible en el tiempo de prueba.

Se utiliza un esquema de entrenamiento dinámico donde $c_2$ domina en las épocas tempranas para establecer un modelado de corrupción robusto, desplazándose gradualmente hacia $c_3$ para adaptarse al propio desfase de dominio del modelo.

2.3 Filtrado Latente Guiado por el Centroide de Acción

Durante la inferencia, el modelo genera principalmente imágenes decorruptadas utilizando la condición de fotograma único ($c_1$) para asegurar la estabilidad. Sin embargo, para aprovechar la consistencia temporal sin acumular errores, se emplea un mecanismo de Centroide de Acción:

• Construcción: Durante el entrenamiento, el sistema calcula los latentes diferenciales entre fotogramas de verdad fundamental consecutivos para cada acción atómica (por ejemplo, avanzar, girar a la izquierda). Estas distribuciones forman "centroides de acción" ($\mathcal{N}(\mu, \sigma)$) que representan los cambios latentes esperados por acción.
• Lógica de Filtrado: En la inferencia, el sistema calcula la distancia de Mahalanobis ($w$) entre las características diferenciales del fotograma actual y el centroide de acción correspondiente.
  • Si $w$ está por debajo de un umbral ($w_\theta$), se acepta la salida de fotograma único.
  • Si $w$ excede el umbral (indicando una posible inconsistencia), el sistema invoca la condición temporal ($c_3$) para generar un segundo candidato.
  • La salida final es una combinación ponderada de las salidas de fotograma único y temporal basadas en sus respectivas distancias al centroide de acción.

2.4 Optimización de la Eficiencia

Para cumplir con los requisitos de latencia en tiempo real, FlowDec modifica la trayectoria de integración del proceso de emparejamiento de flujo. En lugar de partir de ruido aleatorio puro, el proceso comienza desde una interpolación lineal entre el ruido aleatorio y el latente corrupto ($z'_0 = t_\theta z_0 + (1-t_\theta)z_{c\_cor,1}$). Esto reduce el número de pasos de integración requeridos, acelerando significativamente la inferencia.

3. Principales Contribuciones

El artículo afirma tres contribuciones primarias:

1. Formulación del Problema: Identifica la robustez ante la corrupción como un cuello de botella fundamental para la VLN-CE y formula la decorrupción consciente de la navegación como un problema de emparejamiento de flujo condicional en tiempo real.
2. Marco Novedoso: Introduce FlowDec, que presenta un condicionamiento temporal híbrido y una guía centrada en la acción. Este diseño permite una restauración temporalmente consistente y físicamente significativa sin modificar la arquitectura de navegación subyacente (agnóstico al modelo).
3. Validación Empírica: Experimentos extensos demuestran que FlowDec logra una velocidad de restauración y un éxito de navegación superiores en comparación con los métodos del estado del arte, estableciendo un nuevo paradigma para la robustez de la VLN.

4. Resultados Experimentales

Los autores evaluaron FlowDec en los conjuntos de datos R2R-CE y RxR-CE utilizando NaVid como el agente de VLN basado en LM de referencia. Los experimentos cubrieron seis tipos de corrupción representativos (ruido Gaussiano, ruido de disparo, nieve, niebla, compresión JPEG, contraste) a través de más de 5,000 trayectorias no vistas.

• Rendimiento de Navegación: FlowDec superó a todos los modelos de referencia (incluyendo SCUNet, Dec-DPM y Dec-CM).
  • En R2R-CE, logró una mejora relativa del 25.33% en la Tasa de Éxito (SR) sobre el modelo vanilla.
  • En RxR-CE, logró una mejora relativa del 9.38% en SR.
  • Superó consistentemente a los métodos de TTA basados en difusión (Dec-DPM, Dec-CM) y la denoisación ciega (SCUNet), particularmente en el mantenimiento del Éxito ponderado por la Longitud del Camino (SPL).
• Consistencia Temporal: FlowDec logró el menor error de deformación (warp error) (una métrica para la consistencia de movimiento entre fotogramas) en todos los tipos de corrupción, confirmando que su condicionamiento temporal preserva eficazmente la coherencia de la escena, lo cual es crítico para el razonamiento del LM descendente.
• Latencia de Inferencia: FlowDec demostró una aceleración de 3× a 8× respecto a los modelos de referencia basados en difusión. Logró la decorrupción en aproximadamente 173 ms (pipeline total), lo que lo hace factible para el despliegue robótico en línea, mientras que los modelos de difusión incurrieron en una sobrecarga significativa (por ejemplo, Dec-DPM: 1411 ms).
• Despliegue en el Mundo Real: El sistema se desplegó en un robot de patas Unitree GO2 en cuatro tareas de interior y exterior. FlowDec superó consistentemente al modelo de referencia, mostrando ganancias sustanciales en escenarios desafiantes con fluctuaciones de luminancia y desenfoque de movimiento.
• Rendimiento con Entrada Limpia: La integración de FlowDec no causó una degradación del rendimiento estadísticamente significativa en entradas limpias, validando su seguridad para el despliegue general.

5. Significado y Reivindicaciones

El artículo posiciona a FlowDec como un paso crítico hacia una IA encarnada resiliente. Los autores argumentan que, aunque los Modelos Grandes han avanzado la VLN-CE, su despliegue en el mundo real se ve actualmente obstaculizado por la falta de robustez ante las corrupciones visuales.

La importancia de este trabajo radica en:

• Desacoplamiento de la Robustez del Razonamiento: Al tratar la decorrupción como un módulo de preprocesamiento, FlowDec mejora la robustez sin requerir el reentrenamiento de la compleja y pesada arquitectura de navegación.
• Consistencia Temporal para la Navegación: Aborda un vacío específico en los métodos de restauración existentes al priorizar la consistencia entre fotogramas y la coherencia a nivel de acción sobre la pura calidad perceptual, lo cual es esencial para la navegación continua.
• Viabilidad en Tiempo Real: Al aprovechar el emparejamiento de flujo y las rutas de integración optimizadas, supera las barreras de latencia que han impedido que los métodos de restauración basados en difusión se utilicen en sistemas robóticos en línea.

Los autores concluyen que FlowDec establece un paradigma robusto y eficiente para la navegación encarnada en condiciones del mundo real impredecibles, allanando el camino para agentes que pueden operar de forma segura en entornos con degradación de sensores e iluminación dinámica. Se propone un trabajo futuro para extender el marco para manejar patrones de ruido que varían dinámicamente.