Resumen Técnico: JOP-VLN

Planteamiento del Problema

La Navegación de Visión y Lenguaje (VLN, por sus siglas en inglés) requiere que los agentes encarnados naveguen por entornos físicos basándose en instrucciones de lenguaje natural. Aunque los avances recientes en los Modelos de Visión y Lenguaje (VLM) han mejorado la toma de decisiones en la navegación, los enfoques existentes sufren una brecha significativa en la integración de dos paradigmas de entrenamiento dominantes:

1. Aprendizaje por Imitación (IL): Entrenado típicamente con demostraciones de expertos, a menudo aumentado con el algoritmo de Agregación de Datos (DAgger) para mejorar la recuperación de errores. Sin embargo, estos métodos dependen fuertemente de los datos del experto, lo que limita la generalización en entornos no vistos debido al cambio de covariante (covariate shift).
2. Aprendizaje por Refuerzo (RL): Impulsado por recompensas verificables (por ejemplo, utilizando Optimización de Política Relativa de Grupo o GRPO) para mejorar el razonamiento y la exploración. Aunque es efectivo, el RL on-policy estándar a menudo no logra abordar adecuadamente el cambio de covariante cuando se depende únicamente de datos in-distribución durante la inferencia.

El problema central abordado es la falta de un marco unificado que combine sinérgicamente las capacidades de recuperación de errores del IL off-policy con las fortalezas de exploración del RL on-policy.

Metodología: JOP-VLN

El artículo propone JOP-VLN, un nuevo marco que emplea un flujo de entrenamiento progresivo de tres etapas para aprender conjuntamente la imitación off-policy y el refuerzo on-policy.

Arquitectura del Modelo

El sistema está construido sobre el modelo de lenguaje y visión de gran escala Qwen3-VL. Adopta un paradigma de diálogo multiturno donde el agente procesa:

• Una instrucción de lenguaje ($I$).
• Memoria a largo plazo: Fotogramas muestreados uniformemente de la historia distante.
• Memoria a corto plazo: La secuencia intercalada más reciente de observaciones y acciones.
  El modelo predice "bloques de acción" (action chunks) (secuencias de hasta cuatro acciones discretas: adelante, izquierda, derecha, detenerse) para permitir un uso eficiente del caché KV y una inferencia casi lineal.

Flujo de Entrenamiento de Tres Etapas

Etapa 1: Entrenamiento Multitarea
El modelo es entrenado conjuntamente en dos tareas para adquirir habilidades fundamentales:

• Predicción de Acción: Predicción de bloques de acción dentro del paradigma de diálogo multiturno.
• Resumen de Trayectoria: Síntesis de instrucciones textuales condicionadas a fotogramas muestreados de videos de navegación. Esto mejora la comprensión visual del modelo y su alineación con el lenguaje.

Etapa 2: Aprendizaje por Imitación con Trayectorias DAgger
Para mejorar la recuperación de errores, se emplea el algoritmo DAgger. Se utiliza una estrategia heurística donde se prioriza la política aprendida, pero un "oráculo" interviene cuando el agente se desvía de la verdad de campo (ground truth) más allá de un umbral.

• Refinamiento: A diferencia del DAgger estándar, los autores reproducen todos los estados visitados para obtener los bloques de acción correspondientes del oráculo, filtrando las acciones erróneas generadas por el modelo durante el despliegue inicial. Estas trayectorias corregidas se utilizan para el ajuste fino del modelo mediante aprendizaje por imitación.

Etapa 3: Aprendizaje Conjunto On-and-Off Policy
Esta etapa integra el marco CHORD, optimizando conjuntamente el RL on-policy y el IL off-policy en las trayectorias recolectadas mediante DAgger. Se introducen dos técnicas clave para adaptar este marco a VLN:

1. Muestreo de Alta Entropía (para RL):

   • Durante la recolección de DAgger, se registra la entropía de los tokens predichos por el modelo.
   • Entrenamiento GRPO: Solo se utiliza el 20% superior de las muestras con la mayor entropía para la Optimización de Política Relativa de Grupo (GRPO).
   • Racional: Los tokens de alta entropía representan estados inciertos o exploratorios. Entrenar en estos evita que el modelo entre en un estado de "gradiente cero" causado por muestras de baja entropía (excesivamente confiadas), mejorando así la eficiencia del RL.
   • Funciones de Recompensa: El objetivo de GRPO utiliza cuatro recompensas: Formato (adherencia a la estructura de acción), Coincidencia Exacta (coincidencia con acciones del oráculo), Posición (similitud de coseno de los cambios de pose) y Distancia (distancia euclidiana del desplazamiento).

2. Clasificación de Trayectorias Priorizada por Corrección de Errores (para IL):

   • Las trayectorias se clasifican según su "valor de aprendizaje", definido por la proporción de tokens de acción que fueron corregidos por el oráculo (es decir, donde el modelo cometió un error).
   • Estrategia: El modelo realiza aprendizaje por imitación en estas trayectorias en orden descendente de valor de aprendizaje. Esto asegura que el modelo reincida frecuentemente y aprenda de sus puntos de falla específicos, facilitando una transición fluida de IL a RL.
   • Función de Pérdida: Se utiliza una pérdida combinada $L_{CHORD} = (1-\mu)L_{GRPO} + \mu L_{IL}$, donde $\mu$ sigue un esquema de decaimiento de coseno (comenzando en 0.5 y disminuyendo a 0.05) para cambiar el énfasis de un aprendizaje equilibrado hacia la exploración on-policy a lo largo del tiempo.

Contribuciones Clave

1. Marco JOP-VLN: Un nuevo modelo de VLN que combina sinérgicamente la imitación off-policy y la exploración on-policy a través de un flujo de tres etapas.
2. Adaptaciones de CHORD específicas para VLN:
   • Muestreo de Alta Entropía: Una estrategia para retener trayectorias de alta entropía para GRPO, evitando la sobreconfianza del modelo y mejorando la eficiencia del entrenamiento de RL.
   • Priorización de Corrección de Errores: Una estrategia de clasificación de trayectorias que prioriza las muestras donde el modelo erró previamente, mejorando las capacidades de recuperación de errores.
3. Evaluación Exhaustiva: Experimentos extensos tanto en entornos de simulación como en el mundo real, demostrando un rendimiento de vanguardia (state-of-the-art).

Resultados Experimentales

Benchmarks de Simulación (VLN-CE)

Evaluado en los conjuntos de datos R2R y RxR (splits Val-Unseen) utilizando el simulador Habitat.

• R2R: JOP-VLN logra una Tasa de Éxito (SR) del 69.9%, estableciendo un nuevo estado del arte. Supera al método anterior más avanzado (CorrectNav) por un 4.8% en SR, un 8.9% en Éxito del Oráculo (OS) y un 2.6% en Éxito Ponderado por Longitud de Trayectoria (SPL). Notablemente, supera a métodos que utilizan vistas panorámicas usando solo entradas RGB de visión única.
• RxR: Logra un 68.0% de SR y un 59.3% de SPL, demostrando fuertes capacidades de toma de decisiones de largo horizonte.

Despliegue en el Mundo Real

• Configuración: Probado en un robot cuadrúpedo Unitree Go2 con una cámara Intel RealSense, operando desde una estación de trabajo remota.
• Adaptación: Se utilizó una estrategia de adaptación de pocos disparos (few-shot adaptation) (ajuste fino de 10 disparos por entorno) para cerrar la brecha de dominio sim-to-real.
• Rendimiento: El sistema logró un tiempo de inferencia promedio de 0.3s por bloque de acción. Los resultados cualitativos mostraron un seguimiento consistente de las instrucciones en diversos entornos interiores y exteriores. Los fallos se atribuyeron principalmente a referentes ambiguos en instrucciones largas (por ejemplo, múltiples puntos de referencia similares).

Estudios de Ablación

• Resumen de Trayectoria: Mejoró la comprensión visual y el rendimiento de la navegación.
• Ajuste Fino con DAgger: Aumentó significativamente el SR de ~50% a ~64%, resaltando la importancia de los datos off-policy para la recuperación de errores.
• Aprendizaje Conjunto (CHORD-ec): La combinación de muestreo de alta entropía y priorización de corrección de errores produjo los mejores resultados, superando al IL puro, al RL puro y a la línea base estándar de CHORD sin estas adaptaciones específicas de VLN.

Significado y Reivindicaciones

El artículo afirma que JOP-VLN representa un avance significativo al fusionar estructuralmente la exploración de RL on-policy con la supervisión de IL off-policy. Esto permite que los agentes aprendan simultáneamente de las demostraciones de expertos y de las señales de exploración del entorno. Las técnicas propuestas abordan específicamente las limitaciones del cambio de covariante y el sobreajuste a los datos del experto. Los autores aseguran que su método alcanza un nuevo estado del arte en el split Val-Unseen de R2R y demuestra una adaptabilidad robusta en escenarios del mundo real, validando la eficacia del paradigma de aprendizaje conjunto on-and-off policy para la navegación encarnada.