LiveVLN: Breaking the Stop-and-Go Loop in Vision-Language Navigation

1. El Problema: El Ciclo "Stop-and-Go" en la Navegación VLN

Aunque los sistemas de Navegación Visión-Lenguaje (VLN) han logrado resultados sólidos en benchmarks estándar, su despliegue en el mundo real a menudo sufre de un comportamiento "stop-and-go" (parar y arrancar).

• Causa Estructural: El problema no es puramente computacional, sino estructural. La mayoría de los sistemas VLN utilizan una interfaz de tres etapas bloqueante: Sensado $\rightarrow$ Inferencia $\rightarrow$ Ejecución.
• El Cuello de Botella: El controlador debe esperar a que se complete todo el ciclo de sensado, transmisión y generación de acciones basadas en la última observación antes de poder continuar moviéndose.
• Consecuencia: Incluso si el modelo es rápido, la latencia de inferencia expone al robot a periodos de inactividad. En despliegues reales (como NaVIDA en un robot Unitree G1), se observó que el robot pasa un 30.5% del tiempo total de la tarea esperando, con un promedio de 9.25 pausas por episodio, rompiendo la fluidez del movimiento.

2. Metodología: LiveVLN

LiveVLN es un marco de ejecución en tiempo de ejecución (runtime) sin necesidad de reentrenamiento (training-free) diseñado para habilitar una navegación continua. Su objetivo es superponer la ejecución actual con el procesamiento de nuevas observaciones.

Conceptos Clave:

1. Arquitectura de Hilos Duales:
   • Hilo A (Ejecución): Continúa ejecutando un "buffer de guardia" (guard buffer) de acciones ya comprometidas.
   • Hilo B (Inferencia): En segundo plano, utiliza la nueva observación más reciente para generar la siguiente continuación de acciones.
2. Estado de Acción de Corto Alcance (Short-horizon Action State):
   LiveVLN divide la secuencia de acciones generada por el modelo en tres partes:
   • Acciones Ejecutadas ($e_t$): Historial consumido.
   • Buffer de Guardia ($g_t$): Un prefijo de acciones liberado y comprometido para la ejecución inmediata. Este buffer debe ser lo suficientemente largo para cubrir el tiempo que tardará el Hilo B en completar la siguiente inferencia.
   • Cola Revisable ($r_t$): El resto de la secuencia generada que aún no se ha liberado al controlador. Puede ser sobrescrita o ajustada cuando llegue la siguiente inferencia con nueva información visual.
3. Mecanismos Principales:
   • Entrega Protegida (Guarded Handoff): El sistema cambia a la nueva secuencia refrescada antes de que se agote el buffer de guardia actual. Si la nueva inferencia llega a tiempo, el buffer actual se convierte en "ejecutado", el prefijo refrescado se convierte en el nuevo "buffer de guardia" y la cola restante sigue siendo "revisable".
   • Adaptación en Tiempo Real: El tamaño del buffer de guardia no es fijo. Se calcula dinámicamente basándose en la latencia estimada de la inferencia anterior ($\ell_{SI}$) más un margen de seguridad ($\delta$). Esto asegura que siempre haya acciones disponibles mientras se genera la siguiente.

3. Contribuciones Clave

1. Diagnóstico del Problema: Demostraron mediante mediciones en robots reales que la latencia de inferencia expuesta causa un comportamiento de "stop-and-go" con una tasa de espera del 30.5% en sistemas nativos.
2. Marco LiveVLN: Introdujeron un framework de ejecución que desacopla la ejecución actual de la siguiente inferencia, utilizando un estado de acción dividido en ejecutado, buffer de guardia y cola revisable.
3. Resultados Empíricos: Validaron que LiveVLN reduce drásticamente el tiempo de espera y las pausas visibles sin degradar el rendimiento en tareas de navegación, funcionando como una capa de adaptación sobre modelos VLM preentrenados existentes (como StreamVLN y NaVIDA).

4. Resultados Experimentales

Los autores evaluaron LiveVLN en benchmarks de simulación (R2R, RxR) y en despliegues reales con robots (Unitree G1).

• Rendimiento en Tareas (Benchmarks):
  • LiveVLN mantiene el rendimiento en métricas estándar (Success Rate, SPL, NDTW) casi idéntico al de los modelos nativos, demostrando que no es necesario reentrenar el modelo para obtener beneficios de fluidez.
• Métricas de Despliegue (Tiempo Real):
  • Reducción del Tiempo de Espera: Disminuyó el tiempo de espera promedio en un 77.7% (StreamVLN) y un 72.8% (NaVIDA).
  • Reducción de Pausas: El número de pausas por episodio cayó drásticamente (de ~9.25 a ~1.20 en NaVIDA).
  • Tiempo Total del Episodio: Se redujo el tiempo de pared (wall-clock time) en un 12.6% (StreamVLN) y un 19.6% (NaVIDA).
  • Continuidad: La "brecha visible" (tiempo entre que se acaban las acciones y llegan las nuevas) se redujo de ~1 segundo a ~0.1 segundos.

5. Significado e Impacto

• Cambio de Paradigma: El artículo argumenta que el comportamiento "stop-and-go" no es solo un problema de calidad del modelo (policy), sino un problema de ejecución en tiempo de ejecución (runtime).
• Nuevas Métricas: Propone que las evaluaciones de VLN orientadas al despliegue deben incluir métricas de continuidad (tiempo de espera, conteo de pausas) junto con las métricas tradicionales de éxito (SR, SPL).
• Eficiencia y Fluidez: Demuestra que es posible lograr una navegación robótica fluida y continua sin sacrificar la precisión de la tarea, simplemente gestionando mejor la latencia mediante la superposición de inferencia y ejecución, y manteniendo una cola de acciones revisables para la corrección en línea.

En resumen, LiveVLN transforma la navegación VLN de un proceso secuencial y bloqueante a uno asíncrono y continuo, permitiendo que los robots se muevan de manera más natural y eficiente en entornos reales.