💻 computer science

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

Este artigo apresenta o LangMap, o primeiro benchmark de navegação indoor 3D em mundo real que apresenta anotações semânticas hierárquicas verificadas por humanos em quatro níveis de objetivo, juntamente com a linha de base PlaNaVid, para abordar as limitações nas avaliações existentes de navegação de objetivo condicionada por linguagem de vocabulário aberto.

Autores originais: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando uma partida de alto nível de "Esconde-Esconde" dentro de uma casa gigante e complexa, mas você está vendado e só consegue ver o que está diretamente à sua frente. Um amigo está gritando instruções via rádio, dizendo para onde você deve ir.

Este artigo apresenta uma versão muito mais difícil e muito mais justa desse jogo, junto com uma nova estratégia para jogá-lo.

O Problema: O Problema do "Mapa Ruim"

No passado, pesquisadores tentaram ensinar robôs a encontrar coisas baseando-se em linguagem. Mas eles tinham uma falha grave: os "mapas" (as instruções) que usavam eram frequentemente escritos por IAs (Modelos de Visão-Linguagem) que não entendiam bem a casa.

Pense nisto: Se você pedisse a uma IA para descrever uma cadeira vermelha específica em uma sala cheia de cadeiras, ela poderia dizer: "Encontre a cadeira vermelha". Mas se houver três cadeiras vermelhas, essa instrução é inútil. A IA também pode se confundir e dizer: "Encontre a cadeira perto da janela", quando a janela está, na verdade, em outro cômodo. O artigo descobriu que quase 40% dessas instruções geradas por IA eram erradas ou confusas. É como tentar navegar em uma cidade usando um mapa desenhado por alguém que nunca saiu do próprio quarto.

A Solução: LangMap (O Mapa Verificado por Humanos)

Para corrigir isso, os autores criaram o LangMap. Em vez de deixar uma IA adivinhar as instruções, eles contrataram humanos para observar varreduras 3D reais de casas e escrever as instruções.

Eles não pararam apenas no "Encontre uma cadeira". Eles criaram uma hierarquia de quatro níveis de dificuldade, como um videogame com níveis crescentes:

Nível de Cena (O Modo Fácil): "Encontre qualquer cadeira em toda a casa." (Como procurar uma agulha em um palheiro, mas você não se importa com qual agulha seja).
Nível de Cômodo (Modo Médio): "Encontre uma cadeira na cozinha." (Agora você tem que saber como é uma cozinha).
Nível de Região (Modo Difícil): "Encontre uma cadeira no quarto com o tapete azul." (Agora você tem que distinguir entre dois quartos diferentes).
Nível de Instância (Modo Especialista): "Encontre a cadeira específica com um arranhão na perna esquerda, ao lado da janela." (Isso exige notar detalhes minúsculos e saber exatamente qual objeto é qual).

Os autores chamam isso de HieraNav (Navegação Hierárquica). Eles construíram um enorme conjunto de dados com mais de 18.000 tarefas cobrindo 414 tipos diferentes de objetos. Cada uma das instruções foi verificada por um humano para garantir que fosse única e precisa. É a diferença entre uma fotocópia borrada de um mapa e um mapa do tesouro desenhado à mão em alta definição.

O Novo Jogador: PlaNaVid

O artigo também apresenta um novo jogador robô chamado PlaNaVid.

A maioria dos robôs que tentam resolver este problema dependem de sensores 3D caros (como LiDAR) ou câmeras de profundidade intensas para construir um modelo 3D do ambiente. É como se o robô estivesse usando um capacete de alta tecnologia que o permite ver o "esqueleto" da sala.

O PlaNaVid é diferente. Ele possui apenas uma câmera padrão (RGB), tal como um olho humano. Ele não constrói um modelo 3D e não sabe a distância exata até os objetos. Então, como ele vence?

Ele utiliza um truque inteligente chamado Memória Diversificada Limitada (BDM - Bounded Diverse Memory).

A Analogia: Imagine que você está andando em um labirinto. Em vez de tentar lembrar cada passo que deu (o que é demais para o seu cérebro), você tira algumas fotos das partes mais interessantes ou diferentes da sua jornada.
A Estratégia: Quando o robô precisa decidir para onde ir em seguida, ele não olha apenas para o que está à sua frente. Ele "folheia" seu álbum de fotos mental das últimas partes únicas que visitou. Ele usa um planejador inteligente (um cérebro de IA) para olhar essas fotos e dizer: "Ah, eu me lembro de ter visto um corredor que leva à cozinha nesta foto. Vamos por esse caminho".

Isso permite que o robô planeje com antecedência e navegue em tarefas complexas de múltiplos passos (como "Encontre uma xícara, depois vá para a máquina de café, depois encontre um livro") sem precisar de hardware 3D caro.

Os Resultados

Quando testaram esta nova configuração:

O Mapa: As instruções escritas por humanos foram muito superiores às escritas por IA. Em um teste para ver se um computador conseguia corresponder uma descrição ao objeto correto, as instruções escritas por humanos foram corretas 81% das vezes, enquanto as antigas instruções de IA foram corretas apenas 58% das vezes.
O Robô: O PlaNaVid, usando apenas uma câmera padrão e seu "álbum de fotos" de memória, venceu quase todos os outros robôs do mercado. Ele teve sucesso em encontrar alvos 42,6% das vezes em tarefas complexas de múltiplos passos, superando robôs que utilizam sensores 3D caros.

O Que Ainda é Difícil?

Mesmo com este novo mapa e robô, o artigo admite que ainda existem desafios árduos:

A "Cauda Longa" (Long Tail): Se o robô for solicitado a encontrar um objeto muito raro (como um tipo específico de torradeira vintage), ele tem dificuldades porque não viu muitos exemplos.
Objetos Pequenos e Distantes: Se o alvo for minúsculo ou estiver longe, é difícil detectá-lo.
A Reação em Cadeia: Se um robô falha no primeiro passo de uma tarefa de múltiplos passos (por exemplo, se ele não consegue encontrar a xícara), toda a missão falha. Isso ainda é algo muito difícil de resolver.

Resumo

Em suma, os autores construíram um mapa melhor e verificado por humanos para a navegação de robôs, que testa os robôs em tudo, desde "encontrar uma cadeira" até "encontrar aquela cadeira específica arranhada no quarto azul". Eles também construíram um robô inteligente que pode navegar neste mundo complexo usando apenas uma câmera comum e um sistema de memória inteligente, provando que não é necessário ter sensores 3D caros para ser um bom navegador.

Resumo Técnico: LangMap e HieraNav

Definição do Problema

A navegação de objetivos condicionada à linguagem (LGN) exige que agentes incorporados localizem alvos especificados pelo usuário em ambientes 3D sem orientação passo a passo. Embora os benchmarks existentes foquem principalmente em objetivos de nível de categoria (ex: "encontrar uma cadeira") ou dependam de descrições de instâncias geradas por Modelos de Linguagem-Visão (VLMs), essas abordagens sofrem de limitações significativas:

Ambiguidade Semântica: As descrições geradas por VLMs frequentemente carecem de unicidade, contendo erros semânticos ou falhando em distinguir entre instâncias visualmente semelhantes dentro da mesma cena.
Granularidade Limitada: Os benchmarks atuais raramente suportam objetivos especificados em níveis semânticos mais finos (região ou instância) ou episódios de múltiplos objetivos de níveis mistos.
Confiabilidade da Avaliação: O ruído nas anotações automatizadas prejudica a avaliação sistemática e confiável do desempenho do agente, particularmente para tarefas que exigem raciocínio espacial e semântico refinado.

Metodologia

1. Benchmark LangMap e Tarefa HieraNav

Os autores introduzem o LangMap, um benchmark de navegação indoor 3D em mundo real construído sobre digitalizações HM3D, e o HieraNav, uma tarefa de navegação de objetivo de vocabulário aberto hierárquico.

Quatro Níveis Semânticos: O HieraNav define objetivos através de quatro níveis distintos de granularidade:
- Nível de Cena: Qualquer objeto de uma categoria alvo na cena.
- Nível de Cômodo: Um objeto de uma categoria alvo dentro de um tipo de cômodo específico.
- Nível de Região: Um objeto em uma instância de cômodo específica, distinguido por pistas contextuais (ex: "quarto com um tapete geométrico").
- Nível de Instância: Uma instância de objeto única identificada por atributos discriminativos ou relações (ex: "o telefone na cama do Bluey").
Protocolo de Anotação Contrastiva: Para garantir dados de alta qualidade e verificados por humanos, os autores empregam um rigoroso processo de anotação contrastiva:
- Os anotadores comparam regiões e instâncias da mesma categoria dentro de uma cena para compor descrições discriminativas que identifiquem alvos de forma única.
- As descrições são categorizadas em estilos concisos (enfatizando pistas salientes) e detalhados (fornecendo contexto mais rico).
- O conjunto de dados cobre 414 categorias de objetos, com 349 utilizadas para construir mais de 18.000 tarefas de navegação.
Estatísticas: O LangMap inclui 926 descrições de regiões discriminativas e 7.510 descrições de instâncias. Apresenta uma proporção maior de objetos pequenos (22,2% com IoU médio < 3,3%) em comparação com benchmarks anteriores, oferecendo uma avaliação mais realista das capacidades de localização.

2. Baseline PlaNaVid

Para abordar a falta de baselines fortes para navegação de múltiplos objetivos sem sensores de profundidade ou representações de cena 3D, os autores propõem o PlaNaVid, um framework desacoplado, apenas RGB.

Arquitetura: O sistema consiste em dois estágios:
1. Planejamento Guiado por Memória: Um planejador LLM (Qwen2.5-VL-7B) seleciona um waypoint inicial e uma direção para o objetivo atual. Ele é preparado por um módulo de Memória Diversa Limitada (BDM).
2. Política Reativa: Uma política de navegação reativa (Uni-NaVid) executa ações de baixo nível baseadas em observações RGB.
Memória Diversa Limitada (BDM): Para lidar com episódios de longo horizonte (até 2.500 passos) dentro de janelas de contexto limitadas de LLM, o BDM mantém um conjunto limitado de snapshots RGB ( $N_{max}=50$ $N_{ma x} = 50$ ).
- Atualização Global-Uniforme (GUU): Garante uma cobertura temporal quase uniforme ao podar entradas com os menores intervalos temporais locais quando o buffer está cheio.
- Recuperação Semântica-Diversa (SDR): Utiliza uma estratégia gulosa de max-min para selecionar um subconjunto de estados de memória que maximiza a diversidade semântica, fornecendo ao planejador um contexto informativo sem redundância.
Restrições: O PlaNaVid opera sem entradas de profundidade, representações de cena 3D (ex: mapas de ocupação) ou máscaras de objetos.

Principais Resultados

Avaliação do Benchmark

Qualidade da Anotação: Em tarefas de correspondência texto-visão, as descrições de instâncias verificadas por humanos do LangMap alcançaram 81,3% de precisão (usando ~5 palavras) em comparação com 58,4% das descrições geradas por VLM do GOAT-Bench (usando ~21 palavras). As descrições do LangMap não foram inferiores em 94% dos casos e foram significativamente mais concisas.
Desempenho de Navegação:
- O PlaNaVid alcançou a maior Taxa de Sucesso (SR) entre os métodos avaliados: 42,6% para navegação de múltiplos objetivos e 31,4% para navegação de objetivo único.
- Superou o melhor método anterior apenas RGB (Uni-NaVid) em 8,5% no SR de múltiplos objetivos e 4,0% na Taxa de Sucesso de Sequência em 2 (SeqSR@2).
- Superou métodos baseados em 3D (ex: MTU3D) no SR de múltiplos objetivos, apesar de carecer de entradas de profundidade, validando a eficácia da abordagem de planejamento guiado por memória.

Estudos de Ablação

Componentes de Memória: Remover o BDM reduziu o SR de múltiplos objetivos de 42,6% para 34,1%. A combinação de GUU e SDR foi crítica, comprimindo a memória em 13× (de ~656 frames para 50) sem perda de desempenho.
Estilos de Descrição: Descrições detalhadas melhoraram o desempenho nos níveis de região e instância, embora descrições concisas tenham permanecido eficazes.
Desafios: O desempenho degradou consistentemente para categorias de cauda longa, objetos pequenos (baixa visibilidade), alvos distantes e sequências de conclusão de múltiplos objetivos, destacando estes como desafios abertos.

Significância e Alegações

O artigo afirma que o LangMap e o HieraNav estabelecem um ambiente de teste rigoroso e verificado por humanos para a navegação incorporada guiada por linguagem, abordando a lacuna crítica de anotações automatizadas ruidosas e granularidade semântica limitada em trabalhos anteriores. Ao fornecer descrições discriminativas através de quatro níveis hierárquicos, o benchmark permite a avaliação sistemática da capacidade dos agentes de realizar raciocínio espaço-temporal e desambiguação.

Além disso, o PlaNaVid demonstra que a navegação de alto desempenho de múltiplos objetivos é alcançável usando apenas entradas RGB e planejamento guiado por memória, desafiando a necessidade de sensores de profundidade e reconstrução explícita de cena 3D para tarefas de navegação complexas. Os autores posicionam seu trabalho como uma fundação para pesquisas futuras em raciocínio de longo horizonte, tratamento de categorias de cauda longa e conclusão robusta de múltiplos objetivos em ambientes do mundo real.