Resumen Técnico: Route2Step – Separación del Progreso Semántico de la Ejecución Local en VLN

Declaración del Problema

La Navegación de Visión y Lenguaje en entornos continuos (VLN-CE) requiere que un agente siga una instrucción de ruta en lenguaje natural mediante la ejecución de una secuencia de acciones de bajo nivel basadas en observaciones visuales egocéntricas. Los navegadores actuales basados en Modelos de Visión y Lenguaje (VLM) suelen emplear una política unificada que mapea el contexto lingüístico y visual directamente a acciones de bajo nivel. Aunque es efectivo bajo condiciones de trayectoria en ruta, este enfoque confunde dos capacidades distintas: el seguimiento del progreso semántico (identificar qué subinstrucción está activa actualmente) y la ejecución local (determinar cómo moverse para cumplir dicha instrucción).

Cuando un agente se desvía de la trayectoria experta, los métodos de aprendizaje correctivo estándar (por ejemplo, el reetiquetado tipo DAgger) proporcionan la siguiente acción óptima para recuperar la trayectoria. Sin embargo, estas etiquetas de acción no distinguen entre dos modos de falla:

1. Error de Progreso Semántico: El agente está intentando ejecutar la subinstrucción incorrecta (por ejemplo, intentar "salir del dormitorio" cuando ya se encuentra en el pasillo).
2. Error de Ejecución Local: El agente está intentando la subinstrucción correcta pero falla al ejecutar los movimientos necesarios.

Consecuentemente, las políticas unificadas suelen fallar al corregir el estado semántico subyacente, lo que conduce a errores persistentes donde el agente continúa tomando decisiones basadas en una comprensión incorrecta de su progreso, incluso si las acciones individuales se corrigen momentáneamente.

Metodología: Route2Step

Los autores proponen Route2Step, un marco de nivel separado que desacopla el seguimiento del progreso semántico de la generación de acciones mediante una interfaz explícita de nivel de paso. El marco consta de dos módulos entrenados independientemente:

1. Interfaz de Semántica–Ejecución

En lugar de una política monolítica, Route2Step introduce una interfaz de estado $(s_t, m_t)$:

• $s_t$ (Subinstrucción Activa): El segmento específico de la instrucción global que se está ejecutando actualmente.
• $m_t$ (Estado de Ejecución): Un estado binario que indica si el agente se encuentra en un estado Normal (siguiendo la ruta) o en un estado de Recuperación (desviado y requiriendo ejecución correctiva).

2. Arquitectura de Módulos

• Módulo de Análisis de Instrucciones (MIA): Recibe la instrucción global y el historial visual completo. Predice la subinstrucción activa $s_t$ y el estado de ejecución $m_t$. Este módulo es responsable de "dónde estamos" en la ruta.
• Módulo de Generación de Acciones (MAG): Recibe la instrucción global, la interfaz predicha $(s_t, m_t)$ y una ventana de observaciones recientes. Genera fragmentos de acción local basados en la subinstrucción específica y el estado de ejecución actual. Este módulo es responsable de "cómo moverse".

3. Construcción de Supervisión a Nivel de Paso (E-SPA)

Un desafío crítico es obtener supervisión a nivel de paso para conjuntos de datos como R2R, que solo proporcionan instrucciones a nivel de ruta. Los autores introducen E-SPA (Alineación de Ruta Semántica de Minimización de Energía), un procedimiento offline que alinea subinstrucciones finas con segmentos de trayectoria contiguos sin anotación temporal manual.

• Función de Costo: E-SPA minimiza una función de costo que combina compatibilidad visual-texto ($C_{sem}$), consistencia de acción ($C_{act}$), regularización de duración ($C_{dur}$) y anclaje basado en geometría ($C_{anchor}$, por ejemplo, para escaleras).
• Programación Dinámica: Los límites óptimos para los segmentos de subinstrucción se encuentran mediante programación dinámica, creando pares alineados de (subinstrucción, segmento de trayectoria).
• Waypoints: El punto final de cada segmento alineado sirve como un waypoint semántico (posición y orientación) para evaluar el progreso.

4. Estrategia de Entrenamiento de Niveles Separados

El proceso de entrenamiento utiliza rollouts inducidos por la política para generar datos correctivos, asignando la supervisión según el nivel de error:

• Supervisión de Nivel de Estado (para MIA): Todos los historiales inducidos por la política (incluyendo desviaciones) se utilizan para supervisar la predicción de la subinstcción activa y el estado de ejecución. La subinstrucción activa se preserva hasta que su waypoint semántico es alcanzado físicamente, independientemente de la trayectoria del agente. Esto permite que el MIA aprenda un seguimiento de progreso robusto a partir de datos fuera de la ruta.
• Supervisión Selectiva de Nivel de Acción (para MAG): Se introducen etiquetas de acción expertas directas solo para estados etiquetados como Recuperación donde el agente falla repetidamente al completar la subinstrucción correcta. Esto asegura que la supervisión de la acción apunte a fallos de ejecución local persistentes sin sobrescribir el estimador de progreso semántico.

Contribuciones Clave

1. Formulación de Niveles Separados: El artículo reformula el aprendizaje correctivo de VLN distinguiendo entre la supervisión de nivel de estado (corregir el progreso semántico) y la supervisión selectiva de nivel de acción (corregir la recuperación de la ejecución local).
2. Marco Route2Step: Una arquitectura de doble módulo con una interfaz explícita que evita que las actualizaciones de nivel de acción corrompan las estimaciones de progreso semántico.
3. E-SPA: Un método novedoso para derivar alineaciones de subinstrucción–trayectoria a nivel de paso a partir de demostraciones de R2R a nivel de ruta, permitiendo una supervisión fina sin anotación manual adicional.
4. Validación Empírica: Demostraciones de que la separación de estos niveles mejora el rendimiento de la navegación y la robustez, validadas mediante estudios de ablación, transferencia de políticas y despliegues en robots reales.

Resultados Experimentales

El método fue evaluado en los benchmarks R2R-CE y RxR-CE Val-Unseen.

• Ganancias de Rendimiento: En R2R-CE, Route2Step mejoró la Tasa de Éxito (SR) del 48.1% al 55.3% y el Éxito Ponderado por la Longitud del Camino (SPL) del 43.3% al 48.2%.
• Eficiencia de Supervisión: El modelo logró estas ganancias utilizando 190K muestras correctivas de nivel de estado, pero requirió solo 11.5K estados supervisados directamente por acción. En contraste, los enfoques convencionales de DAgger que utilizan 200K etiquetas de acción lograron un rendimiento inferior (49.8% SR).
• Robustez: Las evaluaciones controladas fuera de la ruta mostraron que la corrección de nivel de estado mejoró significamente la precisión de la subinstrucción activa estricta bajo desviaciones espaciales (por ejemplo, +10.51 puntos en FG-R2R), mientras que tuvo un efecto mínimo en la precisión dentro de la ruta.
• Transferibilidad: La inyección de la subinstrucción activa predicha por el MIA en cuatro políticas de VLN existentes congeladas (NaVid, Uni-NaVid, NaVILA, StreamVLN) mejoró su SR y SPL sin entrenamiento adicional, demostrando que la interfaz es transferible.
• Despliegue en el Mundo Real: El sistema se desplegó en un robot Unitree GO2 en diversos entornos interiores y exteriores (laboratorios, parques, cafeterías) sin ajuste fino en el mundo real. Completó con éxito 19 de 33 ensayos autónomos, demostrando aplicabilidad práctica más allá de la simulación.

Significado y Reivindicaciones

El artículo sostiene que el cuello de botella principal en los agentes actuales de VLN-CE es la confusión entre el progreso semántico y la ejecución local, lo cual se ve exacerbado por el aprendizaje correctivo estándar que trata todos los estados fuera de la ruta como simples errores de acción.

Al separar explícitamente estos niveles, Route2Step permite al agente:

1. Mantener el Anclaje Semántico: Identificar correctamente la subinstrucción actual incluso cuando el agente está perdido, evitando la "deriva" del entendimiento semántico.
2. Recuperación Dirigida: Aplicar la supervisión de acción experta solo cuando el agente está estancado en una tarea correcta conocida, en lugar de confundir al agente con etiquetas de acción que podrían implicar un cambio en el objetivo pretendido.

Los autores concluyen que exponer el progreso semántico como una interfaz explícita es una estrategia más efectiva para la navegación de largo horizonte que las políticas unificadas, ofreciendo un camino hacia agentes corporizados más robustos e interpretables. El trabajo enfatiza que esta mejora se logra no mediante el escalado de datos o el tamaño del modelo, sino mediante la reestructuración del objetivo de aprendizaje para alinearse con los distintos requisitos temporales y semánticos de la navegación.