Resumen Técnico: $\Phi$-Nav para la Exploración Semántica en Navegación Visión-Lenguaje

Planteamiento del Problema

La navegación visión-lenguaje (VLN) requiere que los agentes atraviesen entornos 3D basados en instrucciones de lenguaje natural. Si bien los sistemas modernos de VLN dependen cada vez más de la exploración on-policy (por ejemplo, Scheduled Sampling, DAgger) para mitigar el sesgo de exposición y mejorar la robustez, persiste una brecha fundamental de supervisión semántica.

En el entrenamiento on-policy estándar, cuando un agente se desvía de la trayectoria pretendida por el experto, la instrucción de lenguaje original ya no coincide semánticamente con el flujo visual ejecutado. En consecuencia, una parte significativa de las trayectorias de exploración carece de supervisión lingüísticamente alineada. Los métodos tradicionales tratan estas desviaciones como errores que deben ser corregidos por la acción del experto, fallando al no utilizar los ricos datos vísimo-lingüísticos, aunque desalineados, generados durante la exploración. Esto limita la eficiencia de muestreo de los métodos on-policy y restringe la capacidad del agente para aprender de sus propias y diversas experiencias.

Metodología: $\Phi$-Nav

Los autores proponen $\Phi$-Nav, un marco unificado on-policy que cierra esta brecha convirtiendo los rollouts exploratorios en señales de entrenamiento densas y semánticamente fundamentadas mediante el razonamiento de retrospectiva a nivel de trayectoria (path-level hindsight reasoning). El marco opera a través de un ciclo de doble supervisión de tres etapas:

Etapa 1: Muestreo de Trayectoria On-Policy

El agente realiza la exploración utilizando estrategias on-policy estándar (por ejemplo, mezclando acciones del experto con las predicciones de su propia política). Recopila una trayectoria $\tau = \{v_0, a_0, \dots, v_T, a_T\}$ mientras recibe retroalimentación de la acción del experto en tiempo real para minimizar la pérdida de imitación del experto estándar ($\mathcal{L}_{\text{expert}}$).

Etapa 2: Generación de Instrucciones de Retrospectiva a Nivel de Trayectoria

Una vez que una trayectoria es almacenada en un búfer, un Agente de Habla de Retrospectiva (HSA) sintetiza una nueva instrucción ($I_H$) que describe con precisión la trayectoria realmente ejecutada por el agente, en lugar de la trayectoria original del experto.

• Columna Vertebral LVLM: El HSA utiliza un Modelo de Lenguaje-Visión Grande (LVLM) preentrenado (específicamente Qwen2.5-VL-7B) por sus capacidades de razonamiento espacio-temporal zero-shot.
• Aprendizaje en Contexto del Experto: Para evitar cambios en la distribución del estilo lingüístico y mitigar las alucinaciones, el LVLM es instado con un ejemplar único que consiste en una trayectoria del experto y su instrucción anotada por humanos. Esto asegura que las instrucciones generadas mantengan la consistencia estructural y tonal de la distribución de entrenamiento mientras adaptan el contenido semántico a las observaciones visuales específicas de la trayectoria actual.

Etapa 3: Aprendizaje de Imitación de Retrospectiva con Ponderación de Alineación

El agente se somete a una segunda pasada de imitación utilizando el par trayectoria-instrucción sintetizado como una demostración experta adicional.

• Ponderación de Alineación Trayectoria-Instrucción: Dado que la instrucción generada por el LVLM puede contener alucinaciones o un fundamento débil, el marco introduce un módulo de puntuación ligero para evaluar la fidelidad semántica entre la trayectoria visual y la instrucción sintetizada.
  • La puntuación combina un alineamiento grueso (similitud global de video-sentencia) y un alineamiento fino (enfocándose específicamente en los sustantivos de puntos de referencia extraídos de la instrucción y sus anclajes visuales).
  • Esto produce un peso adaptativo $\lambda$ que modula la contribución de la pérdida de retrospectiva.
• Optimización: La función de pérdida total combina la pérdida del experto y la pérdida de retrospectiva ponderada:
  $$\mathcal{L} = \mathcal{L}_{\text{expert}} + \lambda \mathcal{L}_{\text{hindsight}}$$
  donde $\mathcal{L}_{\text{hindsight}}$ maximiza la verosimilitud de las acciones tomadas bajo la instrucción sintetizada $I_H$.

Contribuciones Clave

1. Marco Novedoso: Introducción de $\Phi$-Nav, el primer marco de VLN on-policy que cierra la brecha de supervisión semántica convirtiendo las desviaciones exploratorias en instrucciones densas de nivel de trayectoria mediante retrospectiva.
2. Paradigma de Retrospectiva Extendido: El trabajo extiende el aprendizaje de retrospectiva desde la sustitución estática de objetivos hacia el re-etiquetado de instrucciones de nivel de trayectoria, continuo en el tiempo y de grano fino. Esto se logra a través de:
   • Aprendizaje en Contexto del Experto: Asegurando la alineación de la distribución en el estilo lingüístico.
   • Ponderación de Alineación Trayectoria-Instrucción: Un mecanismo para filtrar y ponderar adaptativamente la supervisión basada en la fidelidad semántica, mitigando las alucinaciones del LVLM.
3. Eficiencia de Muestreo: Demostrar que $\Phi$-Nav transforma el movimiento semánticamente no etiquetado en señales de entrenamiento significativas, permitiendo a los agentes aprender eficazmente con menos demostraciones de expertos.

Resultados Experimentales

El marco fue evaluado en los benchmarks R2R-CE y RxR-CE.

• Ganancias de Rendimiento: $\Phi$-Nav mejora consistentemente el rendimiento de navegación (Tasa de Éxito y SPL) a través de diferentes bases on-policy (CMA, ETPNav).
  • En R2R-CE (Val Unseen), la integración de $\Phi$-Nav con la base ETPNav mejoró la Tasa de Éxito (SR) en un 5.37% y el Éxito ponderado por la Longitud del Camino (SPL) en un 3.59%, superando métodos recientes de estado del arte como g3D-LF.
  • En RxR-CE, logró mejoras estables en SR y SPL, aunque las ganancias fueron ligeramente menores debido a la mayor dificultad de generar instrucciones detalladas para trayectorias más largas y lingüísticamente densas.
• Eficiencia de Muestreo: $\Phi$-Nav demostró una eficiencia de muestreo superior, logrando un rendimiento competitivo con solo el 90% de las demostraciones de expertos requeridas por las bases. Superó consistentemente a las bases en todas las iteraciones de entrenamiento.
• Estudios de Ablación:
  • Ponderación: La ponderación de alineación adaptativa (TIAW) superó significativamente a los esquemas de ponderación fija, confirmando la necesidad de filtrar la supervisión ruidosa.
  • Columna Vertebral: Las columnas vertebrales LVLM más grandes (7B/8B) produjeron mejores resultados que las más pequeñas (3B), resaltando la importancia de la capacidad del modelo para generar instrucciones de retrospectiva precisas.
  • Contexto: El aprendizaje en contexto del experto produjo instrucciones con mayor similitud léxica y estructural con la verdad de terreno en comparación con los enfoques zero-shot o basados en plantillas.

Significado y Reivindicaciones

El artículo postula que la exploración semántica es un componente crítico, aunque pasado por alto, en el entrenamiento de VLN. Al aprovechar el razonamiento de retrospectiva, $\Phi$-Nav aborda la limitación inherente donde las trayectorias exploratorias son descartadas o desalineadas con su supervisión lingüística.

Los autores afirman que $\Phi$-Nav sirve como una solución efectiva para entrenar agentes corporizados con datos limitados. Transforma el "ruido" de la exploración en una "señal de entrenamiento densa", permitiendo que los agentes se autosupervisen y escalen su inteligencia a través de la experiencia directa con el entorno, en lugar de depender únicamente de demostraciones de expertos estáticas y costosas. El trabajo subraya el potencial de la autosupervisión guiada por lenguaje para avanzar en la IA corporizada, posicionando a $\Phi$-Nav como un método robusto para cerrar la brecha entre la exploración y el fundamento semántico.