💻 computer science

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

Este artículo presenta LangMap, el primer referente de navegación interior 3D en el mundo real que cuenta con anotaciones semánticas jerárquicas verificadas por humanos a través de cuatro niveles de objetivos, junto con la línea base PlaNaVid, para abordar las limitaciones en las evaluaciones existentes de navegación de objetivos condicionados por lenguaje de vocabulario abierto.

Autores originales: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás jugando una partida de alto riesgo de "Escondite" dentro de una casa gigante y compleja, pero llevas los ojos vendados y solo puedes ver lo que tienes directamente enfrente. Un amigo te da instrucciones gritando por un walkie-talkie, diciéndote hacia dónde ir.

Este artículo presenta una versión nueva, mucho más difícil y mucho más justa de ese juego, junto con una nueva estrategia para jugarlo.

El Problema: El problema del "Mapa Malo"

En el pasado, los investigadores intentaron enseñar a los robots a encontrar cosas basándose en el lenguaje. Pero tenían un fallo importante: los "mapas" (las instrucciones) que utilizaban eran a menudo escritos por una IA (Modelos de Visión-Lenguaje) que no comprendía del todo la casa.

Piénsalo de esta manera: Si le pidieras a una IA que describiera una silla roja específica en una habitación llena de sillas, podría decir: "Busca la silla roja". Pero si hay tres sillas rojas, esa instrucción es inút la. La IA también podría confundirse y decir: "Busca la silla cerca de la ventana", cuando la ventana está en realidad en otra habitación. El artículo encontró que casi el 40% de estas instrucciones generadas por IA eran erróneas o confusas. Es como intentar navegar por una ciudad usando un mapa dibujado por alguien que nunca ha salido de su habitación.

La Solución: LangMap (El Mapa Verificado por Humanos)

Para solucionar esto, los autores crearon LangMap. En lugar de dejar que una IA adivinara las instrucciones, contrataron a humanos para que observaran escaneos 3D reales de casas y escribieran las instrucciones.

No se limitaron a decir "Busca una silla". Crearon una jerarquía de cuatro niveles de dificultad, como un videojuego con niveles crecientes:

Nivel de Escena (Modo Fácil): "Busca cualquier silla en toda la casa". (Como buscar una aguja en un pajar, pero no te importa qué aguja sea).
Nivel de Habitación (Modo Medio): "Busca una silla en la cocina". (Ahora tienes que saber cómo es una cocina).
Nivel de Región (Modo Difícil): "Busca una silla en el dormitorio con la alfombra azul". (Ahora tienes que distinguir entre dos dormitorios diferentes).
Nivel de Instancia (Modo Experto): "Busca la silla específica con el rasguño en la pata izquierda, junto a la ventana". (Esto requiere detectar detalles diminutos y saber exactamente qué objeto es cuál).

Los autores llaman a esto HieraNav (Navegación Jerárquica). Construyeron un conjunto de datos masivo con más de 18,000 tareas que cubren 414 tipos diferentes de objetos. Cada una de las instrucciones fue verificada por un humano para asegurar que fuera única y precisa. Es la diferencia entre una fotocopia borrosa de un mapa y un mapa del tesoro dibujado a mano en alta definición.

El Nuevo Jugador: PlaNaVid

El artículo también presenta un nuevo jugador robot llamado PlaNaVid.

La mayoría de los robots que intentan resolver este problema dependen de sensores 3D costosos (como LiDAR) o cámaras de profundidad profundas para construir un modelo 3D de la habitación. Es como si el robot llevara un casco de alta tecnología que le permite ver el "esqueleto" de la habitación.

PlaNaVid es diferente. Solo tiene una cámara estándar (RGB), igual que un ojo humano. No construye un modelo 3D, y no sabe la distancia exacta a los objetos. Entonces, ¿cómo gana?

Utiliza un truco ingenioso llamado Memoria Diversa Acotada (BDM - Bounded Diverse Memory).

La Analogía: Imagina que estás caminando por un laberinto. En lugar de intentar recordar cada uno de los pasos que diste (que es demasiado para tu cerebro), tomas algunas instantáneas de las partes más interesantes o diferentes de tu viaje.
La Estrategia: Cuando el robot necesita decidir a dónde ir después, no se limita a mirar lo que tiene delante. "Hojea" su álbum de fotos mental de los últimos lugares únicos que visitó. Utiliza un planificador inteligente (un cerebro de IA) para mirar estas fotos y decir: "Ah, recuerdo haber visto un pasillo que lleva a la cocina en esta foto. Vamos por ahí".

Esto le permite planificar con antelación y navegar tareas complejas de varios pasos (como "Busca una taza, luego ve a la cafetera, luego busca un libro") sin necesidad de hardware 3D costoso.

Los Resultados

Cuando probaron este nuevo sistema:

El Mapa: Las instrucciones escritas por humanos fueron muy superiores a las escritas por IA. En una prueba para ver si una computadora podía emparejar una descripción con el objeto correcto, las instrucciones escritas por humanos fueron correctas el 81% de las veces, mientras que las antiguas instrucciones de la IA solo fueron correctas el 58% de las veces.
El Robot: PlaNaVid, usando solo una cámara estándar y su "álbum de fotos" de memoria, venció a casi todos los demás robots del mercado. Tuvo éxito encontrando objetivos el 42.6% de las veces en tareas complejas de varios pasos, superando a robots que utilizan sensores 3D costosos.

¿Qué sigue siendo difícil?

Incluso con este nuevo mapa y robot, el artículo admite que todavía existen desafíos difíciles:

La "Larga Cola" (The Long Tail): Si se le pide al robot que encuentre un objeto muy raro (como un tipo específico de tostadora antigua), tiene dificultades porque no ha visto muchos ejemplos.
Objetos Pequeños y Distantes: Si el objetivo es diminuto o está lejos, es difícil de detectar.
La Reacción en Cadena: Si un robot falla en el primer paso de una tarea de varios pasos (por ejemplo, no encuentra la taza), toda la misión falla. Esto sigue siendo muy difícil de resolver.

Resumen

En resumen, los autores construyeron un mejor mapa, verificado por humanos, para la navegación de robots que los pone a prueba en todo, desde "busca una silla" hasta "busca esa silla específica rayada en la habitación azul". También construyeron un robot inteligente que puede navegar por este mundo complejo usando solo una cámara regular y un ingenioso sistema de memoria, demostando que no se necesita hardware 3D costoso para ser un buen navegante.

Resumen Técnico: LangMap y HieraNav

Definición del Problema

La navegación hacia objetivos condicionados por el lenguaje (LGN) requiere que los agentes encarnados localicen objetivos especificados por el usuario en entornos 3D sin guía paso a paso. Aunque los benchmarks existentes se centran principalmente en objetivos de nivel de categoría (por ejemplo, "buscar una silla") o dependen de descripciones de instancias generadas por Modelos de Lenguaje-Visión (VLM), estos enfoques sufren limitaciones significativas:

Ambigüedad Semántica: Las descripciones generadas por VLM suelen carecer de unicidad, conteniendo errores semánticos o fallando al distinguir entre instancias visualmente similares dentro de una misma escena.
Granularidad Limitada: Los benchmarks actuales rara vez admiten objetivos especificados en niveles semánticos más finos (región o instancia) o episodios de múltiples objetivos de niveles mixtos.
Fiabilidad de la Evaluación: El ruido en las anotaciones automatizadas dificulta la evaluación sistemática y fiable del rendimiento del agente, particularmente para tareas que requieren un razonamiento espacial y semántico de grano fino.

Metodología

1. Benchmark LangMap y Tarea HieraNav

Los autores introducen LangMap, un benchmark de navegación en interiores en el mundo real construido sobre escaneos de HM3D, y HieraNav, una tarea de navegación de objetivos de vocabulario abierto jerárquico.

Cuatro Niveles Semánticos: HieraNav define los objetivos a través de cuatro niveles distintos de granularidad:
- Nivel de Escena: Cualquier objeto de una categoría objetivo en la escena.
- Nivel de Habitación: Un objeto de una categoría objetivo dentro de un tipo de habitación específico.
- Nivel de Región: Un objeto en una instancia de habitación específica, distinguido por pistas contextuales (por ejemplo, "dormitorio con una alfombra geométrica").
- Nivel de Instancia: Una instancia de objeto única identificada por atributos o relaciones discriminativas (por ejemplo, "el teléfono sobre la cama de Bluey").
Protocolo de Anotación Contrastiva: Para garantizar datos de alta calidad verificados por humanos, los autores emplean un riguroso proceso de anotación contrastiva:
- Los anotadores comparan regiones e instancias de la misma categoría dentro de una escena para componer descripciones discriminativas que identifiquen de forma única los objetivos.
- Las descripciones se categorizan en estilos concisos (enfatizando pistas destacadas) y detallados (proporcionando un contexto más rico).
- El conjunto de datos cubre 414 categorías de objetos, con 349 utilizadas para construir más de 18,000 tareas de navegación.
Estadísticas: LangMap incluye 926 descripciones de regiones discriminativas y 7,510 descripciones de instancias. Presenta una mayor proporción de objetos pequeños (22.2% con un IoU promedio < 3.3%) en comparación con los benchmarks previos, ofreciendo una evaluación más realista de las capacidades de localización.

2. Línea Base PlaNaVid

Para abordar la falta de líneas base sólidas para la navegación de múltiples objetivos sin sensores de profundidad o representaciones de escenas 3D, los autores proponen PlaNaVid, un marco desacoplado y basado únicamente en RGB.

Arquitectura: El sistema consta de dos etapas:
1. Planificación Guiada por Memoria: Un planificador LLM (Qwen2.5-VL-7B) selecciona un punto de paso (waypoint) inicial y una dirección para el objetivo actual. Es preparado por un módulo de Memoria Diversa Acotada (BDM).
2. Política Reactiva: Una política de navegación reactiva (Uni-NaVid) ejecuta acciones de bajo nivel basadas en observaciones RGB.
Memoria Diversa Acotada (BDM): Para manejar episodios de largo horizonte (hasta 2,500 pasos) dentro de ventanas de contexto limitadas de LLM, BDM mantiene un conjunto acotado de instantáneas RGB ( $N_{max}=50$ $N_{ma x} = 50$ ).
- Actualización Global-Uniforme (GUU): Asegura una cobertura temporal casi uniforme al podar entradas con los intervalos temporales locales más pequeños cuando el búfer está lleno.
- Recuperación Semánticamente Diversa (SDR): Utiliza una estrategia greedy max-min para seleccionar un subconjunto de estados de memoria que maximiza la diversidad semántica, proporcionando al planificador un contexto informativo sin redundancia.
Restricciones: PlaNaVid opera sin entradas de profundidad, representaciones de escena 3D (por ejemplo, mapas de ocupación) o máscaras de objetos.

Resultados Clave

Evaluación del Benchmark

Calidad de la Anotación: En tareas de emparejamiento texto-vista, las descripciones de instancias de LangMap verificadas por humanos alcanzaron un 81.3% de precisión (usando ~5 palabras) en comparación con el 58.4% de las descripciones generadas por VLM de GOAT-Bench (usando ~21 palabras). Las descripciones de LangMap no fueron inferiores en el 94% de los casos y fueron significativamente más concisas.
Rendimiento de Navegación:
- PlaNaVid logró la Tasa de Éxito (SR) más alta entre los métodos evaluados: 42.6% para navegación de múltiples objetivos y 31.4% para navegación de un solo objetivo.
- Superó al método anterior basado solo en RGB (Uni-NaVid) por un 8.5% en SR de múltiples objetivos y un 4.0% en la Tasa de Éxito de Secuencia a 2 (SeqSR@2).
- Superó a los métodos basados en 3D (por ejemplo, MTU3D) en SR de múltiples objetivos a pesar de carecer de entradas de profundidad, validando la eficacia del enfoque de planificación guiada por memoria.

Estudios de Ablación

Componentes de Memoria: Eliminar BDM redujo el SR de múltiples objetivos del 42.6% al 34.1%. La combinación de GUU y SDR fue crítica, comprimiendo la memoria 13 veces (de ~656 fotogramas a 50) sin pérdida de rendimiento.
Estilos de Descripción: Las descripciones detalladas mejoraron el rendimiento en los niveles de región e instancia, aunque las descripciones concisas siguieron siendo efectivas.
Desafíos: El rendimiento disminuyó consistentemente para categorías de cola larga (long-tail), objetos pequeños (baja visibilidad), objetivos distantes y secuencias de finalización de múltiples objetivos, resaltando estos como desafíos abiertos.

Significado y Reivindicaciones

El artículo afirma que LangMap y HieraNav establecen un banco de pruebas riguroso y verificado por humanos para la navegación encarnada dirigida por el lenguaje, abordando la brecha crítica de las anotaciones automatizadas ruidosas y la granularidad semántica limitada en trabajos previos. Al proporcionar descripciones discriminativas a través de cuatro niveles jerárquicos, el benchmark permite la evaluación sistemática de la capacidad de los agentes para realizar razonamiento espaciotemporal y desambiguación.

Además, PlaNaVid demuestra que es posible lograr una navegación de múltiples objetivos de alto rendimiento utilizando únicamente entradas RGB y planificación guiada por memoria, desafiando la necesidad de sensores de profundidad y reconstrucción de escenas 3D explícitas para tareas de navegación complejas. Los autores posicionan su trabajo como una base para la investigación futura en razonamiento de largo horizonte, manejo de categorías de cola larga y finalización robusta de múltiples objetivos en entornos del mundo real.