LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation

Resumen Técnico: LocalNav

Declaración del Problema

Los Modelos de Visión y Lenguaje (VLM) han revolucionado la navegación incorporada al permitir la navegación de Objetivos Abiertos (ObjectNav) de vocabulario abierto, lo que permite a los agentes localizar objetivos semánticamente complejos (por ejemplo, "cajones debajo del microondas") en lugar de categorías genéricas. Sin embargo, existe un cuello de botella crítico: los VLM de vanguardia (SotA) son computacionalmente prohibitivos para la ejecución local en hardware robótico con recursos limitados (por ejemplo, GPUs integradas como la Jetson Orin). En consecuencia, estos sistemas suelen estar confinados a la ejecución en la nube, lo que introduce latencia de red y problemas de dependencia que dificultan el control robótico de baja latencia y en tiempo real.

Los enfoques existentes enfrentan una dicotomía:

1. Predicción de Acciones de Bajo Nivel (VLAs): Estos modelos predicen acciones discretas directamente pero requieren inferencia continua (5–10 Hz), imponiendo una carga computacional severa que es difícil de mantener en dispositivos de borde (edge).
2. Toma de Decisiones de Alto Nivel: Estos sistemas utilizan los VLM de forma dispersa para el razonamiento abstracto (por ejemplo, mediante Grafos de Escena) mientras delegan el control de bajo nivel a políticas dedicadas. Aunque esto relaja las restricciones de latencia, las implementaciones SotA dependen de modelos de frontera masivos vinculados a la nube, fallando en lograr un despliegue totalmente local.

El desafío es lograr un rendimiento de ObjectNav de vocabulario abierto de nivel SotA en hardware local desplegable en el borde, sin sacrificar las capacidades de razonamiento de los grandes modelos de frontera.

Metodología

Los autores proponen LocalNav, un marco de despliegue prioritario que integra una arquitectura modular basada en Grafos de Escena (SG) con un proceso de dos etapas de destilación y optimización.

1. Arquitectura del Sistema

El sistema desacopla el razonamiento de alto nivel del control de bajo nivel:

• Representación de la Escena: Un Grafo de Escena (SG) explícito y actualizado en línea, construido a partir de datos RGB-D y odometría. Codifica habitaciones, objetos y fronteras de exploración.
• Estrategia de Prompting: El VLM recibe un prompt multimodal que consiste en:
  • Texto: Una lista de la ubicación actual del agente, habitaciones exploradas/no exploradas y objetos observados con sus IDs.
  • Imagen: El fotograma RGB actual aumentado con la proyección de los IDs de los objetos del SG visibles (inspirado en el prompting de "set-of-marks") para fundamentar los IDs simbólicos en regiones visuales.
• Espacio de Acción: El VLM selecciona entre cuatro acciones de alto nivel: navigate(object_id), explore(room_id), find_new_rooms() o done(). Una política dedicada de PointGoal ejecuta el movimiento físico.

2. Pipeline de Entrenamiento

Para permitir la ejecución local, los autores emplean una estrategia de entrenamiento de dos etapas en un modelo ligero Qwen3.5-4B:

• Etapa I: Ajuste Fino Supervisado (SFT) mediante Destilación:

  • Modelos Docentes (Teachers): Se registran trazas de razonamiento de modelos de frontera en la nube (Gemini 3.1 Pro, GPT-5.4 y Claude Sonnet 4.6) realizando ObjectNav en simulación.
  • Eficiencia de Datos: Solo se utilizan trayectorias exitosas (aprox. 500 muestras por docente) para ajustar el modelo estudiante. Esto evita la necesidad de millones de muestras o alineaciones complejas en el espacio de características.
  • Objetivo: Transferir las capacidades de razonamiento espacial-semántico complejo de los grandes modelos de la nube al modelo local de 4B de parámetros.

• Etapa II: Aprendizaje por Refuerzo Incorporado desde Recompensas Verificables (E-RLVR):

  • Objetivo: Abordar el cuello de botella de la latencia de inferencia causado por la generación de tokens autorregresiva (TG) verbosa.
  • Mecanismo: El modelo se entrena en una simulación de bucle cerrado utilizando Optimización de Política Relativa de Grupo (GRPO) con Adaptación de Bajo Rango (LoRA).
  • Función de Recompensa ($R_{tot}$): Una recompensa multiobjetivo que combina:
    • $R_{done}$: Éxito/fracaso al alcanzar el objetivo.
    • $R_{nav}$: Progreso hacia el objetivo.
    • $R_{exp}$: Descubrimiento de nuevos nodos o del objetivo en el SG.
    • $R_{brev}$: Brevedad de Tokens. Una recompensa lineal que penaliza las secuencias de salida largas, incentivando al modelo a comprimir su razonamiento sin perder la precisión de la navegación.
  • Resultado: El modelo aprende a "pensar" de manera eficiente, reduciendo la longitud de la secuencia de salida mientras mantiene el rendimiento de la navegación.

3. Optimización de Despliegue

El sistema final se despliega en una Jetson Orin AGX utilizando llama.cpp. Los autores aplican cuantización (específicamente el formato IQ4-XS) para acelerar aún más la fase de decodificación autorregresiva, que representa la mayor parte del tiempo de ejecución.

Contribuciones Clave

1. Optimización de VLM Local: Se demostró que un VLM de 4B de parámetros puede optimizarse para ObjectNav, logrando una Tasa de Éxito (SR) del 34.5% en el benchmark HM3D OVON, cerrando la brecha con los modelos basados en la nube (39.7% SR).
2. Análisis de Destilación: Se mostró que destilar el razonamiento de modelos de frontera utilizando un conjunto de datos mínimo (~500 trazas) es suficiente para transferir capacidades de navegación complejas, evitando la necesidad de enormes conjuntos de datos de SFT.
3. Estrategia de Entrenamiento E-RLVR: Se introdujo un enfoque de aprendizaje por refuerzo que regulariza explícitamente la longitud de la generación de tokens. Esto redujo la longitud de la secuencia de salida en un 72.1% y la latencia de inferencia en un 71.8% sin degradar significativamente el rendimiento de la navegación.
4. Arquitectura de Sistema Eficiente: Se construyó un sistema de navegación modular basado en SG que admite la sustitución directa de VLMs, logrando un rendimiento SotA (39.7% SR) con modelos de la nube y un despliegue local viable.

Resultados

• Rendimiento del Benchmark:
  • Línea Base de la Nube (Claude Sonnet 4.6): 39.7% SR, 19.7% SPL.
  • Estudiante Local (Qwen3.5-4B + SFT + E-RLVR): 34.5% SR, 17.2% SPL.
  • El modelo local logra una brecha de rendimiento de solo 5.2 puntos porcentuales en SR respecto al modelo de frontera en la nube.
• Ganancias de Eficiencia:
  • Reducción de Tokens: E-RLVR redujo el promedio de tokens de salida por consulta de ~535 a ~149 (una reducción del 72.1%).
  • Latencia: Combinado con la cuantización, el sistema logró una reducción del 82.8% en la latencia total de inferencia por episodio (de 305.2s a 52.5s en Jetson Orin).
  • Frecuencia de Consultas: El número de consultas al VLM por episodio se redujo de ~30 (zero-shot) a ~8 (optimizado).
• Validación en el Mundo Real: El sistema se desplegó con éxito en un dispositivo robótico de mano en un apartamento real, completando cuatro tareas secuenciales de ObjectNav (encontrar un sofá, un piano, una bañera y a una persona en una mesa) aprovechando el SG para la memoria y la navegación.

Significado

El artículo afirma que LocalNav presenta un paradigma viable para la inteligencia incorporada de alta capacidad y baja latencia en hardware robótico físico. Al combinar la toma de decisiones de alto nivel modular con una destilación y regulación de tokens eficientes, los autores demuestran que los dispositivos de borde con recursos limitados pueden ejecutar tareas de navegación de vocabulario abierto complejas sin depender de conexiones a la nube. Este trabajo cierra la brecha entre las capacidades de razonamiento de los modelos de frontera y las restricciones prácticas del despliegue de agentes autónomos en el borde.