VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

Resumen Técnico: VLN-NF y el Framework ROAM

1. El Problema: La Ceguera ante Instrucciones Falsas

Los benchmarks convencionales de Navegación Visión-Lenguaje (VLN), como R2R o REVERIE, asumen implícitamente que todas las instrucciones son factibles y que el objeto objetivo existe en el entorno especificado. Sin embargo, en despliegues reales, los humanos cometen errores al dar instrucciones (ej. "toma el plato en la cocina" cuando el plato está en el salón).

El problema central abordado por este trabajo es la incapacidad de los agentes actuales para manejar instrucciones con premisas falsas. Cuando un agente se enfrenta a un objetivo inexistente en la habitación indicada:

• Los agentes supervisados suelen alucinar objetos similares o buscar indefinidamente.
• No existe un mecanismo explícito para reportar "NO ENCONTRADO" (NOT-FOUND) basado en evidencia.
• Las métricas actuales (como SPL) no penalizan la exploración insuficiente ni premian la decisión correcta de abstenerse tras una búsqueda exhaustiva.

2. Metodología Propuesta

El trabajo introduce tres pilares fundamentales para abordar este desafío: un nuevo dataset, una nueva métrica de evaluación y un nuevo framework de agente.

A. Dataset: VLN-NF (Vision-and-Language Navigation - Not Found)

• Construcción: Se basa en el dataset REVERIE (entorno Matterport3D). Utiliza un pipeline escalable que combina un LLM (para reescribir instrucciones) y un VLM (para verificar la ausencia del objetivo).
• Proceso:
  1. El LLM reemplaza el objeto objetivo original por uno plausible pero que no existe en la habitación objetivo.
  2. El VLM verifica visualmente que el nuevo objeto no está presente en las vistas panorámicas de la habitación.
  3. Se generan pares de instrucciones: una factible (FOUND) y una infactible (NF/NOT-FOUND) con el mismo contexto de navegación.
• Calidad: La verificación humana en una muestra del 5% muestra un error inferior al 2%.

B. Métrica de Evaluación: REV-SPL
Las métricas tradicionales fallan en escenarios de búsqueda de evidencia. Se propone REV-SPL (Reach–Explore–Verify SPL), que evalúa tres dimensiones simultáneamente:

1. Alcance (Reach): ¿Llegó el agente a la habitación objetivo?
2. Decisión (Decision): ¿El agente eligió correctamente FOUND o NOT-FOUND?
3. Exploración (Explore): ¿El agente cubrió suficiente espacio en la habitación antes de decidir?

• REV-SPL penaliza las terminaciones prematuras y las decisiones de "NO ENCONTRADO" sin evidencia suficiente, normalizando la eficiencia de la exploración respecto a un protocolo de referencia.

C. Framework del Agente: ROAM (Room-Object Aware Movement)
ROAM es un framework híbrido de dos etapas diseñado para superar las limitaciones de los agentes puramente supervisados (que exploran poco) y los basados puramente en LLM (que tienen dificultades de navegación global).

1. Navegador a Nivel de Habitación (Room-Level Navigator):
   • Utiliza un modelo supervisado (basado en DUET) entrenado solo con etiquetas de habitación (no requiere trayectorias de exploración densas).
   • Su objetivo es llevar al agente desde el punto de inicio hasta la entrada de la habitación objetivo de manera robusta.
2. Explorador Intra-Habitación (In-room Explorer):
   • Una vez dentro de la habitación, un agente basado en LLM/VLM (ej. GPT-3.5/4o) toma el control.
   • Utiliza un bucle de razonamiento para buscar el objeto, generar descripciones semánticas y decidir cuándo detenerse.
3. Módulo FREE (Free-space Raycasting Estimation Engine):
   • Para compensar la falta de intuición geométrica de los LLM, FREE utiliza un modelo de segmentación (Grounded-SAM) y raycasting para estimar la distancia de espacio libre en cada dirección candidata.
   • Esta señal de "despeje" guía al LLM hacia regiones más grandes y no exploradas, mejorando la cobertura de la búsqueda.

3. Resultados Clave

Los experimentos se realizaron en la partición val_unseen de VLN-NF:

• Rendimiento Superior: ROAM logra un REV-SPL de 6.1, superando al mejor agente supervisado (DUET modificado) en un 45% (que obtuvo 4.2).
• Fracaso de Baselines:
  • Los agentes puramente basados en LLM (NavGPT, SoM) fallan estrepitosamente en la navegación global (Reach SR < 40%) y obtienen REV-SPL muy bajos (1.0 - 1.5).
  • Los agentes supervisados (DUET) llegan bien a la habitación (Reach SR ~54%) pero fallan en la verificación exhaustiva, terminando prematuramente.
• Análisis de Ablación:
  • Eliminar el navegador supervisado reduce el éxito de llegada del 59% al 7.8%.
  • Eliminar el módulo FREE reduce el REV-SPL de 6.1 a 5.6, demostrando que las señales geométricas son cruciales para una exploración eficiente.
• Generalización: ROAM también mejora el rendimiento en tareas VLN factibles estándar (REVERIE), indicando que la arquitectura es beneficiosa incluso sin instrucciones falsas.

4. Contribuciones Principales

1. VLN-NF: El primer benchmark que evalúa explícitamente la capacidad de los agentes para manejar instrucciones con premisas falsas en entornos 3D parcialmente observables, requiriendo una decisión explícita de "NO ENCONTRADO".
2. REV-SPL: Una métrica de evaluación rigurosa que equilibra la eficiencia de la navegación, la calidad de la decisión y la exhaustividad de la exploración.
3. ROAM: Un framework híbrido que combina la robustez de la navegación supervisada a nivel de habitación con la capacidad de razonamiento y búsqueda de evidencia de los LLM/VLM, potenciado por señales geométricas (FREE).
4. Pipeline de Generación: Un método escalable y automatizado para crear instrucciones infactibles verificadas, que puede aplicarse a otros datasets de VLN.

5. Significado e Impacto

Este trabajo es un paso crucial hacia la robustez y seguridad en la robótica de servicio. En el mundo real, los robots no deben asumir que todas las órdenes son correctas; deben ser capaces de:

• Reconocer la incertidumbre.
• Realizar búsquedas activas para confirmar la ausencia de un objetivo.
• Reportar fallos de manera explícita en lugar de alucinar o buscar eternamente.

Al introducir la capacidad de "abstención basada en evidencia" (evidence-grounded abstention), VLN-NF y ROAM establecen un nuevo estándar para evaluar la inteligencia de los agentes situados, moviendo el campo más allá de la simple ejecución de instrucciones factibles hacia la gestión realista de errores humanos y ambigüedades.