FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation

Resumen Técnico: FutureNav

Planteamiento del Problema
La Navegación de Visión y Lenguaje (VLN, por sus siglas en inglés) en entornos continuos requiere que un agente encarnado siga instrucciones de lenguaje natural para navegar por espacios 3D no vistos. Si bien los modelos fundacionales recientes han avanzado la VLN escalando los Modelos de Visión-Lenguaje (VLM) para predecir acciones directamente a partir de observaciones, estos enfoques suelen tratar la navegación como un mapeo directo de observación-a-acción. En consecuencia, carecen de una supervisión explícita para modelar el estado del mundo subyacente, las transiciones de estado inducidas por la acción o la evolución espacial futura. Los sistemas de navegación basados en modelos de mundo existentes intentan abordar esto, pero a menudo tratan el aprendizaje de políticas, el modelado de la dinámica y la generación de estados futuros como componentes separados o requieren computación adicional durante la inferencia (por ejemplo, rollouts de candidatos), fallando al no acoplar plenamente la selección de acciones con la comprensión del estado del mundo.

Metodología
Los autores proponen FutureNav, un marco unificado de modelado de mundo-acción construido sobre una arquitectura base de VLM. La arquitectura integra la comprensión espacial explícita en el proceso de decodificación estándar del VLM a través de cuatro componentes clave:

1. Codificación de Entrada Unificada: FutureNav emplea un VLM de base (por ejemplo, Qwen3-VL) para codificar instrucciones de texto y tokens visuales. Crucialmente, lo aumenta con un codificador espacial congelado (implementado con VGGT) que extrae características conscientes de la geometría a partir de las mismas observaciones. Un fusionador ligero entrenable proyecta estas características espaciales en el espacio oculto del LLM, fusionándolas con los tokens visuales mediante adición residual. Esto permite que el LLM reciba una secuencia multimodal unificada que contiene texto, elementos visuales y características espaciales explícitas.
2. Entrenamiento de Cuatro Objetivos: El modelo se entrena simultáneamente en cuatro objetivos complementarios para aprender tanto las políticas de acción como la dinámica del mundo:
   • Política de Acción: Un objetivo autoregresivo estándar donde la cabeza del LLM predice acciones de navegación (STOP, MOVE_FORWARD, TURN_LEFT, TURN_RIGHT) como respuestas de asistente.
   • Dinámica Inversa: Una cabeza que infiere la acción ejecutada basándose en la diferencia entre los estados ocultos de dos observaciones adyacentes, fomentando que el modelo comprenda cómo las acciones cambian el estado visual.
   • Dinámica hacia Adelante (Forward Dynamics): Una cabeza que modela las transiciones de estado condicionadas por la acción, prediciendo el siguiente vector de características espaciales dado la observación actual y el token de acción real.
   • Generación Futura: Una cabeza que predice la siguiente característica espacial sin condicionarse al token de acción, aprendiendo un prior agnóstico a la acción sobre la evolución del mundo de corto horizonte y la continuidad de la escena.
3. Eficiencia de Inferencia: A diferencia de los métodos de modelos de mundo anteriores que a menudo requieren la predicción de estados futuros o rollouts durante la inferencia, FutureNav separa el entrenamiento de la inferencia. En el momento de la prueba, solo se utiliza la rama de la Política de Acción para la decodificación directa de la acción. Las cabezas de dinámica y generación moldean la representación compartida durante el entrenamiento, pero no incurren en costos computacionales adicionales durante la inferencia.

Contribuciones Clave

• Marco Unificado: La introducción de FutureNav, un marco basado en VLM que unifica la predicción de acciones, la dinámica inversa, la dinámica hacia adelante y la generación de estados espaciales futuros dentro de una única política de decodificación de acciones multimodal.
• Objetivos Complementarios: La propuesta de cuatro objetivos de entrenamiento conjuntos que supervisan no solo qué acción tomar, sino también cómo evoluciona el estado espacial, permitiendo que el modelo aprenda la consistencia acción-estado y los priors del estado futuro.
• Eficiencia y Rendimiento: Demostrar que este enfoque unificado mejora significamente el rendimiento de la navegación preservando la eficiencia de la inferencia, permitiendo que un modelo más pequeño de 4 mil millones de parámetros supere a modelos fundacionales previos más grandes.

Resultados Experimentales
FutureNav fue evaluado en benchmarks estándar de VLN continuo: R2R-CE y RxR-CE (divisiones de validación no vista).

• Rendimiento de Vanguardia (SOTA): Con una base de escala 4B y sin datos de navegación externos (configuración 0K), FutureNav-4B logró una Tasa de Éxito (SR) de 55.1 y un Éxito ponderado por la Longitud del Camino (SPL) de 50.1 en R2R-CE, superando a JanusVLN de 7B parámetros.
• Configuración de Datos Completos: Cuando se entrena con datos de navegación externos, FutureNav-4B alcanzó un SR de 65.4 y un SPL de 61.3 en R2R-CE, lo que representa una mejora del 11.3% en SR y del 7.9% en SPL sobre JanusVLN. En RxR-CE, FutureNav-8B redujo el Error de Navegación (NE) en un 29.7% en comparación con JanusVLN.
• Generalización Zero-Shot en el Mundo Real: El modelo demostró una fuerte generalización zero-shot a entornos interiores y exteriores del mundo real utilizando un robot Go2, siguiendo instrucciones con éxito sin necesidad de ajuste fino adicional en el mundo real.
• Estudios de Ablación: Los experimentos confirmaron que cada uno de los tres objetivos auxiliares de mundo-acción (inverso, hacia adelante y generación) contribuye positivamente al rendimiento. Además, el uso de representaciones latentes espaciales explícitas resultó superior a los latentes semánticos de VAE, VLM o DINO.

Significancia
El artículo afirma que FutureNav cierra la brecha entre los VLM de decodificación directa de acciones y los sistemas de navegación de modelos de mundo incompletos. Al unificar el modelado de mundo y acción dentro de una sola arquitectura, el marco mejora el razonamiento espacial y la robustez de la decisión del modelo sin sacrificar la velocidad de inferencia. Los resultados sugieren que el modelado explícito de los estados y transiciones del mundo es crítico para la navegación de largo horizonte, allanando el camino para modelos de mundo-acción más eficientes y capaces para agentes encarnados. Los autores tienen la intención de liberar el código y los modelos para apoyar la investigación posterior en esta dirección.