Resumen Técnico: BIT-Nav

Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM) han avanzado la navegación encarnada al unificar la percepción visual y el razonamiento en lenguaje natural. Sin embargo, los enfoques actuales para la navegación de visión y lenguaje (VLN) de largo horizonte enfrentan una limitación crítica: son efectivamente sin estado (stateless) a nivel de razonamiento. Los métodos actuales, como NaVILA, incorporan la historia mediante el muestreo de una ventana fija de fotogramas de imágenes pasadas. A medida que los episodios se extienden, este historial visual de tamaño fijo se vuelve cada vez más disperso, omitiendo estructuras de movimiento intermedias cruciales. La evidencia empírica de trabajos previos indica que el simple hecho de aumentar el número de fotogramas muestreados (por ejemplo, de 8 a 64) no mejora la precisión de la navegación, lo que sugiere que el cuello de botella no reside en la cantidad de fotogramas, sino en la naturaleza de la representación misma. La selección de fotogramas dispersos no logra capturar señales de comportamiento estructuradas —como patrones de giro, desplazamiento acumulado y topología de la ruta— necesarias para el razonamiento de largo horizonte. Además, los estados recurrentes de bajo nivel utilizados en las cabezas de control suelen no estar expuestos al VLM como representaciones de trayectoria explícitas y consultables.

Metodología

Los autores proponen BIT-Nav (Memoria de Trayectoria Inspirada en el Cerebro para la Navegación Encarnada), un marco que aumenta las canalizaciones existentes de VLM con una memoria de trayectoria compacta y aprendida. Inspirado en el sistema hipocampal-entorrinal, que comprime la experiencia espacial en trazas episódicas estructuradas en lugar de una reproducción sensorial bruta, BIT-Nav trata la historia de la trayectoria como una modalidad explícita.

La canalización consta de cuatro etapas clave:

1. Representación de la Trayectoria e Ingeniería de Características:
   En lugar de alimentar IDs de acción brutos, el sistema convierte las acciones de navegación discretas ($a_{1:T}$) en un vector de características de movimiento de 7 dimensiones ($m_t$) en cada paso de tiempo. Este vector incluye la posición planar acumulada ($c_x, c_y$), el rumbo acumulado ($\theta$), el cambio de rumbo ($\Delta\theta$) y variables indicadoras para la traslación hacia adelante y la rotación. Esta representación enriquecida expone tanto las señales de control local como el estado geométrico acumulado del agente.

2. BITE (Codificador de Trayectoria Bi-GRU):
   Una GRU bidireccional de 2 capas codifica la secuencia de movimiento de longitud variable. A diferencia de los métodos que dependen únicamente del estado oculto final, BITE emplea un mecanismo de pooling medio enmascarado sobre toda la secuencia válida para producir una incrustación (embedding) de dimensión fija ($\bar{h} \in \mathbb{R}^{512}$). Esto asegura que la incrustación resuma la estructura completa de la ruta en lugar de solo el estado final. El resultado se pasa a través de una cabeza de proyección y se normaliza con $\ell_2$ para producir una incrustación de trayectoria de 128 dimensiones ($z$).

3. Objetivo de Aprendizaje Contrastivo:
   El codificador se entrena utilizando un objetivo InfoNCE de múltiples positivos (estilo SimCLR) sobre minibatches con estructura de grupo. El conjunto de datos se organiza en grupos de 10 trayectorias aumentadas que comparten el mismo punto de inicio y fin, pero varían en sus pasos intermedios y longitud total. Para cada trayectoria de anclaje, las otras 9 trayectorias del grupo sirven como positivos, mientras que las trayectorias de otros grupos sirven como negativos. Este objetivo obliga al codificador a aprender una representación compacta de la "clase de equivalencia inicio-meta", capturando la invariancia estructural en lugar de memorizar rutas específicas.

4. Integración con VLM:
   El codificador Bi-GRU entrenado se congela. Un proyector multimodal ligero y aprendible (MLP) mapea la incrustación de la trayectoria al espacio de tokens de un VLM preentrenado (específicamente Qwen3-VL-8B). En cada paso de decisión, este vector proyectado se inyecta como un único "token de memoria de trayectoria" junto con la observación visual actual, los fotogramas históricos dispersos y la instrucción de lenguaje. Esto permite al VLM razonar sobre la historia de movimiento estructurada dentro de un único pase hacia adelante (forward pass) sin modificaciones arquitectónicas.

Contribuciones Clave

• La Trayectoria como una Modalidad Inherente: El artículo introduce la trayectoria y la posición como una modalidad distinta y esencial para la VLN, complementando las entradas visuales y lingüísticas con una representación explícita del movimiento del agente.
• Localización de Instrucciones Emergente: El marco demuestra que la incorporación de la memoria de trayectoria permite al modelo rastrear implícitamente el progreso de la instrucción sin supervisión explícita, permitiéndole inferir subobjetos completados y fundamentar decisiones en los pasos restantes.
• Alineación de Trayectoria–VLM: Los autores alinean con éxito las incrustaciones de trayectoria aprendidas con un gran VLM a través de un proyector aprendido, permitiendo que el modelo condicione su razonamiento en la historia de movimiento estructurada junto con las observaciones visuales.
• Construcción de Conjunto de Datos: Se construyó un conjunto de datos consciente de la trayectoria a partir de los benchmarks R2R y RxR, presentando una estrategia de aumento que genera variantes de trayectoria geométricamente equivalentes pero ejecucionalmente diversas para fomentar el aprendizaje de la estructura de movimiento sobre secuencias de acciones superficiales.

Resultados

El artículo evalúa BIT-Nav en dos ejes principales: la precisión cuantitativa en consultas fundamentadas en la trayectoria y el razonamiento cualitativo en simulación (Isaac Sim).

• Precisión Cuantitativa: En consultas relativas a la estimación de rumbo acumulado (Q1) y la frecuencia de acción (Q2) a través de longitudes de trayectoria que van desde 15 a 125 pasos, BIT-Nav supera significativamente a los baselines.
  • Para la estimación de rumbo acumulado, BIT-Nav logra una precisión de 0.83 en todas las longitudes de trayectoria. En contraste, los baselines (Qwen con historial de texto o sin historial) colapsan a $\approx 0.07$ a medida que las trayectorias crecen, fallando al integrar ángulos de giro con signo sobre historiales largos.
  • Para la inferencia de frecuencia de acción, BIT-Nav iguala el rendimiento de los baselines de historial de texto manteniendo un costo de tokens constante.
• Eficiencia de Tokens: BIT-Nav inyecta exactamente un token independientemente de la longitud de la trayectoria. A los 124 pasos, un baseline de historial de texto requiere 903 tokens, mientras que BIT-Nav utiliza solo 41 tokens (aproximadamente el 4.5% del costo del baseline) manteniendo un contexto de movimiento denso.
• Evaluación Cualitativa: En simulación, BIT-Nav reporta correctamente las direcciones de giro ejecutadas y las secuencias en episodios de largo horizonte. En contraste, el modelo base Qwen a menudo omite giros o juzga erróneamente el progreso del episodio, anclando su razonamiento al fotograma visual actual en lugar de al historial de acción completo.

Significado y Reivindicaciones

Los autores afirman que BIT-Nav aborda la limitación fundamental del razonamiento sin estado en la navegación basada en VLM. Al codificar la historia de la trayectoria como un token compacto y estructurado, el marco permite un razonamiento de largo horizonte estructurado sin la carga computacional de expandir las ventanas de contexto con fotogramas brutos.

El artículo enfatiza que este enfoque permite al VLM realizar la localización de instrucciones: la capacidad de determinar cuánto de una instrucción se ha ejecutado y qué queda por hacer, fundamentando las decisiones actuales en la historia de movimiento acumulada del agente. Los autores señalan que, si bien los resultados actuales caracterizan las representaciones aprendidas y sus propiedades de alineación, la evaluación completa de extremo a extremo en benchmarks (por ejemplo, Success Rate, SPL en las divisiones val-unseen de R2R/RxR) sigue siendo un trabajo en curso. El método propuesto se presenta como un aumento complementario para los VLM existentes, preservando sus capacidades de razonamiento mientras los extiende a la historia de movimiento temporalmente estructurada.