Resumen Técnico: Qwen-RobotNav

Planteamiento del Problema

La navegación encarnada (embodied navigation) abarca una familia diversa de tareas, incluyendo el seguimiento de instrucciones, la navegación de punto objetivo (point-goal), la búsqueda de objetos, el rastreo de objetivos y la conducción autónoma. Si bien los modelos de navegación unificados recientes han demostrado que una única arquitectura puede manejar múltiples familias de tareas, no logran abordar un requisito crítico para los sistemas de navegación agénticos: la necesidad de una estrategia de observación que pueda ser reconfigurada externamente en el momento de la inferencia.

Diferentes tareas de navegación demandan contextos temporales y estrategias de memoria fundamentalmente distintos. Por ejemplo, el seguimiento de instrucciones requiere retener observaciones que abarcan docenas de pasos previos para volver a referenciar puntos de referencia distantes, mientras que el rastreo de objetivos depende casi exclusivamente de los fotogramas más recientes, tratando el historial desactualizado como ruido. La búsqueda de objetos complica esto aún más al cambiar los requisitos dentro de un mismo episodio (desde una memoria global amplia durante la exploración hasta una atención centrada en la recencia durante el acercamiento). Los modelos unificados existentes (por ejemplo, NavFoM, ABot-N0) integran una suposición única y fija sobre qué observaciones son relevantes (por ejemplo, submuestreo uniforme o ventanas deslizantes), lo que les impide adaptarse a mitad de un episodio o servir como bloques de construcción flexibles para planificadores de alto nivel.

Metodología

Los autores presentan Qwen-RobotNav, un modelo de navegación escalable construido sobre el backbone Qwen3-VL. En lugar de diseñar arquitecturas específicas para cada tarea, los autores replantean el desafío como un modelado de contexto de observación. La innovación central es una interfaz parametrizada que permite a un agente externo configurar dinámicamente cómo el modelo consume el flujo visual sin modificaciones arquitectónicas ni reentrenamiento específico de la tarea.

1. Arquitectura e Interfaz

Qwen-RobotNav hereda el codificador de visión Qwen3-VL y el backbone de lenguaje, aumentado con una cabeza de acción MLP ligera de 4 capas que predice una trayectoria de 8 puntos de ruta $(x, y, \theta)$. El modelo expone dos dimensiones de configuración complementarias:

• Modos de Tarea: El modelo soporta múltiples modos (VLN, PointNav, ObjNav, Tracking) seleccionables mediante prompts de lenguaje natural. Estos no son políticas separadas, sino diferentes interfaces para los mismos pesos del modelo.
• Parámetros de Observación Controlables: El modelo acepta una configuración $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ que gobierna la asignación de tokens visuales:
  • Presupuesto de Tokens ($B$): Total de tokens visuales a través de todas las cámaras y pasos de tiempo.
  • Decaimiento Temporal ($\gamma$): Controla el sesgo de recencia, ponderando los fotogramas recientes más pesadamente que los antiguos.
  • Pesos de Cámara ($w_c$): Multiplicadores de importancia por cámara (por ejemplo, la cámara frontal tiene un peso mayor que la trasera).
  • Muestreo de Fotogramas ($m$): Aleatorio (cobertura global) o Reciente (ventana de recencia).

2. Codificación de Observación Adaptativa a la Tarea

El modelo emplea un algoritmo de asignación de tokens restringido. Dado un presupuesto $B$, distribuye los tokens entre $T'$ fotogramas y $N$ cámaras basándose en una matriz de pesos conjunta $W[t, c] = \omega_t \cdot w_c$. El algoritmo asegura un suelo mínimo ($b_{min}$) y un techo máximo ($b_{max}$) por imagen, redistribuyendo los tokens excedentes de forma iterativa. Esto permite al modelo ajustar dinámicamente la resolución y la longitud del contexto según las necesidades de la tarea (por ejemplo, alta resolución para fotogramas recientes en rastreo, cobertura más amplia para exploración).

3. Estrategia de Entrenamiento

• Escala de Datos: El modelo se entrena con 15.6 millones de muestras, que comprenden un 85% de datos de planificación de trayectoria de navegación (abarcando seguimiento de instrucciones, point-goal, object-goal, tracking y conducción autónoma) y un 15% de datos de razonamiento visión-lenguaje relacionados con la navegación.
• Aleatorización en el Tiempo de Entrenamiento: Un principio de diseño crítico es que ninguna configuración de observación es fija durante el entrenamiento. Los hiperparámetros ($B, \gamma, w_c$, etc.) se aleatorizan de forma independiente por cada muestra. Esto asegura que el modelo generalice a cualquier configuración de inferencia sin necesidad de ajuste específico de la tarea.
• Co-entrenamiento: Se co-entrenan datos de razonamiento visión-lenguaje para evitar el "colapso" hacia mapeadores reactivos de secuencias de acciones, preservando la capacidad de razonamiento espacial y percepción de mundo abierto del modelo.
• Conciencia de la Encarnación (Embodiment Awareness): Diferentes plataformas físicas (robots vs. coches) se distinguen mediante preámbulos de prompt en lenguaje natural (por ejemplo, "Imagina que eres un robot..."), lo que requiere cero cambios arquitectónicos.

4. Sistema de Navegación Agéntico

Qwen-RobotNav está diseñado como un ejecutor reactivo dentro de un sistema agéntico jerárquico. Un planificador de nivel superior (por ejemplo, Qwen3.6-Plus) descompone metas de largo alcance en sub-tareas, cambiando dinámicamente el modo de tarea y la estrategia de contexto de Qwen-RobotNav a mitad de un episodio. El sistema mantiene una memoria de dos niveles: un resumen compacto de un solo episodio y un "cuaderno de evidencia" persistente trans-episodio para el razonamiento de largo alcance.

Contribuciones Clave

1. Interfaz de Navegación Parametrizada: Un modelo unificado que permite la reconfiguración externa de las estrategias de observación (presupuesto de tokens, decaimiento temporal, pesos de cámara) en el momento de la inferencia, permitiendo que un solo modelo sirva para diversas tareas y sub-objetivos dinámicos.
2. Aleatorización en el Tiempo de Entrenamiento: Un régimen de entrenamiento que expone al modelo a un amplio espacio combinatorio de configuraciones de contexto, asegurando una generalización robusta de cero disparos (zero-shot) a cualquier configuración de inferencia sin ajuste fino.
3. Bloque de Construcción Agéntico: Una demostración de cómo un modelo fundacional de navegación puede servir como un primitivo modular y reconfigurable para sistemas agénticos complejos, permitiendo tareas de largo alcance como la Respuesta de Preguntas Encarnada (EQA) mediante el cambio dinámico de tareas.
4. Aprendizaje Multitarea Escalable: El entrenamiento conjunto a través de cinco familias de tareas distintas (incluyendo la conducción autónoma) desarrolla un sustrato compartido de planificación espacial que se transfiere entre familias de tareas y encarnaciones.

Resultados Experimentales

Qwen-RobotNav logra resultados de estado del arte (SOTA) o competitivos en diversos benchmarks:

• Navegación de Visión y Lenguaje (VLN-CE):
  • RxR Val-Unseen: 76.5% de Tasa de Éxito (SR) y 72.5 nDTW (modelo de 8B), superando a NavFoM por un 12.1% en SR.
  • R2R Val-Unseen: 72.1% SR (modelo de 8B), superando a NavFoM por un 10.4% en SR.
  • VLNVerse: 63.75% SR en divisiones de grano fino y 46.59% SR en divisiones de grano grueso, superando significativamente a NavFoM y Uni-NaVid.
• Navegación de Objetivo de Objeto (Object-Goal Navigation):
  • HM3D v2: 75.6% SR (modelo de 4B), estableciendo un nuevo SOTA en este benchmark a pesar de usar solo observaciones RGB (sin profundidad).
  • HM3D-OVON: 57.7% SR en la división "Seen" y 60.1% en "Synonyms", superando a ABot-N0 a pesar de usar una sola cámara frontal frente a la entrada panorámica de ABot-N0.
• Rastreo Visual Activo (EVT-Bench):
  • Logra la tasa de rastreo más alta (90.0% TR) entre todos los métodos evaluados, superando a ABot-N0 (87.6%) y TrackVLA++ (81.0%).
• Conducción Autónoma (NAVSIM):
  • Logra 91.4 PDMS (modelo de 4B) y 90.9 PDMS (modelo de 8B), superando a NavFoM, AutoVLA y otros modelos de conducción especializados.
• Respuesta de Preguntas Encarnada (EQA):
  • Un sistema agéntico construido con Qwen-RobotNav establece nuevos SOTA en HM-EQA (76.7 SR), MT-HM3D (54.4 SR) y EXPRESS-Bench (79.27 LLM Score), mejorando sobre el mejor método previo por un 10.8% y un 15.4% respectivamente, mientras requiere un 77% menos de pasos de navegación.
• Despliegue en el Mundo Real:
  • Demostró transferencia de cero disparos a un robot cuadrúpedo Unitree Go2 en una sala de exhibición en el mundo real, ejecutando con éxito instrucciones de lenguaje complejas (por ejemplo, "camina hacia atrás", "detente junto al sofá") y tareas agénticas de largo alcance (por ejemplo, encontrar un objeto específico y reportar observaciones).

Significado y Reivindicaciones

El artículo afirma que Qwen-RobotNav representa un cambio desde el diseño de políticas de navegación fijas hacia la creación de primitivos de navegación reconfigurables. Al tratar el contexto de observación como un grado de libertad de primera clase y controlable externamente, el modelo cierra la brecha entre el rendimiento de tareas especializadas y la flexibilidad requerida para los sistemas agénticos.

Los autores enfatizan que la interfaz parametrizada permite que comportamientos complejos de largo alcance emerjan de la composición de modos de trabajo simples y bien definidos (por ejemplo, cambiar de "modo de historia global" para exploración a "modo centrado en la recencia" para maniobras locales). Además, el uso de lenguaje natural para la identificación de puntos de vista y temporales preserva la capacidad de anclaje lingüístico en el mundo abierto del modelo sin sobrecarga arquitectónica.

Los resultados validan que un modelo unificado, entrenado con estrategias de contexto aleatorizadas, puede lograr un rendimiento superior en la instrucción de seguimiento, búsqueda de objetos, rastreo y conducción, sirviendo al mismo tiempo como un componente robusto y transferible de cero disparos para agentes encarnados de propósito general. El trabajo sugiere que la codificación de observación adaptativa a la tarea es una dirección prometedora para construir modelos fundacionales de navegación que sean ampliamente capaces y prácticamente desplegables.