💻 computer science

AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness

O AgenticNav introduz um framework de navegação visão-linguagem zero-shot e leve que reimagina a interação VLM-ambiente como uma estrutura de chamada de ferramentas, permitindo a seleção de ações baseada diretamente em pixels, consultas de profundidade sob demanda e recuperação seletiva de memória para alcançar o estado da arte em desempenho sem preditores de waypoint aprendidos.

Autores originais: Yijian Li, Changze Li, Hantian Shi, Jiaying Luo, Jiyuan Cai, Ming Yang, Tong Qin

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yijian Li, Changze Li, Hantian Shi, Jiaying Luo, Jiyuan Cai, Ming Yang, Tong Qin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em uma casa totalmente nova. Você lhe dá um comando simples: "Vá para a cozinha, vire à direita e pare ao lado do sofá". Este é o mundo da Navegação de Visão e Linguagem (VLN). É um ramo da robótica onde um agente deve compreender a fala humana e pistas visuais para se mover através de um espaço 3D que nunca viu antes. Por muito tempo, os robôs precisavam ser treinados em milhares de casas específicas para aprender a se mover, o que significava que eles se perderiam se você os levasse para um edifício diferente. Mas recentemente, desenvolvemos "Grandes Modelos de Visão e Linguagem" (VLMs) — cérebros de IA superinteligentes que já conseguem entender imagens e palavras sem precisar serem retreinados para cada tarefa individual. A grande questão para os cientistas é: Como conectamos esse cérebro inteligente às pernas de um robô? Como permitimos que a IA decida exatamente onde dar o passo sem se confundir com a realidade desordenada e contínua do mundo real?

É aqui que entra o artigo AgenticNav. Os autores argumentam que a antiga maneira de conectar a IA aos robôs era como dar a um motorista um mapa com apenas três estradas pré-desenhadas para escolher. Se o destino não estivesse em uma dessas três estradas, o motorista ficava travado. O novo método, AgenticNav, muda o jogo inteiramente. Em vez de forçar o robô a escolher de uma lista limitada de movimentos pré-aprovados, ele dá à IA um conjunto de "ferramentas" que ela pode acionar sempre que precisar. Pense na IA como um detetive em um jogo de mistério. Em vez de o jogo forçar o detetive a escolher entre "Ir para a Esquerda", "Ir para a Direita" ou "Ir em Frente", o detetive agora pode dizer: "Eu preciso verificar a profundidade daquele pixel específico na parede", ou "Mostre-me o mapa de por onde passei", ou "Quero caminhar diretamente para aquela cadeira que estou vendo".

O artigo apresenta um sistema chamado AgenticNav, que atua como um "harness" ou painel de controle para esses cérebros de IA inteligentes. Os pesquisadores descobriram que, ao dar à IA três ferramentas específicas, ela conseguia navegar em ambientes desconhecidos muito melhor do que antes, mesmo sem nenhum treinamento adicional. A primeira ferramenta é a Ferramenta de Ação (Action Tool). Em vez de escolher de uma pequena lista de pontos sugeridos, a IA pode apontar diretamente para qualquer pixel na visão da câmera e dizer: "Vá para lá". O sistema então faz o cálculo para transformar esse pixel em um caminho de caminhada seguro. A segunda ferramenta é a Ferramenta de Profundidade (Depth Tool). Às vezes, a IA precisa saber exatamente a que distância algo está. Em vez de mostrar à IA um mapa de profundidade gigante e confuso, esta ferramenta permite que a IA pergunte: "Qual a distância da parede neste ponto específico?" e receba um número preciso. A terceira ferramenta é a Ferramenta de Memória (Memory Tool). Enquanto o robô caminha, ele constrói um mapa compacto. Se o robô ficar confuso ou precisar se lembrar de uma placa que viu anteriormente, ele pode pedir ao sistema para "relembrar" aquele momento específico, em vez de tentar lembrar de cada quadro de toda a jornada, o que sobrecarregaria seu cérebro.

Os autores testaram este sistema em uma simulação de computador chamada R2R-CE (usando o simulador Habitat) e também em um robô real. A validação no mundo real envolveu 30 episódios específicos abrangendo cenas de laboratório, escritório e quintal externo, enfatizando tarefas como ler placas, navegação de longo alcance e chegada precisa ao alvo. Eles descobriram que, ao usar um cérebro de IA poderoso (GPT-5.5), seu novo método alcançou uma taxa de sucesso de 55% em atingir o objetivo, o que foi um salto significativo em relação ao melhor método anterior (SmartWay), que alcançava apenas 44%. Em termos de eficiência (o quão bem equilibrou o sucesso com um caminho curto), eles melhoraram de 35,04% para 48,41%. O artigo sugere que o gargalo não é apenas o quão inteligente é o cérebro da IA, mas o quão bem damos a ela as ferramentas para interagir com o mundo. Ao permitir que a IA escolha seus próprios alvos e peça informações específicas, ela se torna muito mais capaz de navegar no mundo real, mesmo em lugares que nunca visitou antes. Os pesquisadores também observaram que esta abordagem funciona bem com diferentes tipos de cérebros de IA, sugerindo que este estilo de "chamada de ferramentas" é um caminho promissor para criar robôs que possam verdadeiramente compreender e se mover através do nosso mundo complexo.

Resumo Técnico: AgenticNav

Definição do Problema

A Navegação de Visão e Linguagem em Ambiente Contínuo (VLN-CE) com Zero-shot visa permitir que agentes sigam instruções de linguagem natural em cenas 3D não vistas sem depender de grafos de navegação pré-definidos ou treinamento específico para a tarefa. Embora os Grandes Modelos de Visão-Linguagem (VLMs) tenham tornado o raciocínio zero-shot viável, os métodos de estado da arte existentes (ex: Open-Nav, SmartWay, EvoNav) enfrentam três gargalos críticos na interface entre o VLM e o ambiente:

Espaço de Ação Restrito: Os métodos atuais dependem de preditores de waypoints aprendidos que propõem um conjunto pequeno e fixo de candidatos navegáveis. Isso limita a capacidade do VLM de selecionar locais relevantes à instrução caso eles não estejam incluídos na saída do preditor.
Utilização Ineficaz de Profundidade: Embora os dados de profundidade estejam disponíveis, eles são frequentemente fornecidos como entrada bruta ou ocultos dentro do preditor de waypoints. Isso impede que o Vَل acesse distâncias métricas precisas para tarefas específicas de raciocínio espacial (ex: comparar distâncias de obstáculos).
Gerenciamento de Memória Ineficiente: As abordagens existentes ou acumulam históricos textuais/visuais longos (introduzindo contexto irrelevante e distraindo o modelo) ou recuperam experiências de episódios cruzados (violando a suposição estrita de zero-shot ao depender de dados de episódios anteriores).

Metodologia: AgenticNav

Os autores propõem o AgenticNav, um suporte de navegação leve que reformula a VLN-CE zero-shot como um processo de chamada de ferramentas agênticas (agentic tool-calling). Em vez de forçar o VLM a escolher entre waypoints pré-computados ou analisar mapas de profundidade densos, o AgenticNav expõe três ferramentas específicas e fundamentadas que o VLM pode chamar sob demanda:

1. Ferramenta de Ação (Seleção de Nível de Pixel)

Mecanismo: O VLM seleciona diretamente um pixel alvo $(u, v)$ em uma observação RGB em vez de escolher de uma lista de waypoints preditos.
Execução: O suporte converte essa seleção de pixel 2D em um movimento executável 3D $(\theta, \rho)$ usando desprojeção de profundidade e calibração de câmera.
Segurança: Antes da execução, uma verificação de segurança determinística verifica se o caminho está livre de obstáculos (usando filtragem de pontos de altura do corpo) e se a profundidade é válida. Se o alvo for inseguro, a ferramenta retorna um sinal de Reselect, instigando o VLM a escolher novamente.
Benefício: Isso remove a dependência de preditores de waypoint treinados, permitindo que o VLM navegue para qualquer local visível e acessível.

2. Ferramenta de Profundidade (Consultas Métricas Sob Demanda)

Mecanismo: Em vez de fornecer mapas de profundidade completos, o VLM pode chamar query_depth(P) em um lote de pixels específicos.
Saída: A ferramenta retorna valores de profundidade métrica, estatísticas de profundidade local (mínimo, média, mediana de uma vizinhança de $5\times5$ ) e uma prévia da ação (yaw estimado e distância frontal).
Benefício: Isso permite que o VLM realize comparações espaciais direcionadas (ex: "A porta está mais próxima que o obstáculo?") sem a carga cognitiva de analisar uma imagem de profundidade completa, fornecendo evidência local precisa apenas quando necessário.

3. Ferramenta de Memória Agêntica e Recuperação

Mecanismo: O sistema mantém uma Imagem de Mapa compacta que resume a trajetória e um cache limitado de observações passadas.
Recuperação (Recall): Quando o VLM determina que detalhes visuais de um ponto de decisão passado são necessários, ele chama recall(p, k) para recuperar uma imagem RGB específica do cache.
Benefício: Isso garante que a janela de contexto cresça apenas com informações relevantes para a tarefa, evitando o acúmulo de quadros históricos irrelevantes enquanto mantém o cenário estrito de zero-shot episódico (sem recuperação de dados de episódios cruzados).

Principais Contribuições

Estrutura de Chamada de Ferramentas Agênticas: O artigo introduz o AgenticNav, que repensa a interface VLM-ambiente como um processo de chamada de ferramentas, eliminando a necessidade de preditores de waypoint aprendidos.
Interface de Profundidade Agêntica: Um mecanismo inovador que permite aos VLMs solicitar profundidade métrica em locais precisos, demonstrando ser mais eficaz para o raciocínio espacial do que entradas de profundidade bruta ou proxies baseados em waypoints.
Mecanismo de Memória Seletiva: Um sistema de memória híbrido combinando um mapa de trajetória compacto com uma ferramenta de recuperação seletiva, melhorando significativamente a tomada de decisão de longo horizonte sem inflação de contexto.
Desempenho de Estado da Arte (SOTA): O método alcança novos resultados SOTA em VLN-CE zero-shot no benchmark R2R-CE, demonstrando que o design do suporte é tão crítico quanto o backbone do VLM.

Resultados Experimentais

Simulação (R2R-CE Val Unseen)

Avaliado no protocolo padrão de 100 episódios sem treinamento de política:

Desempenho: Usando o GPT-5.5 como backbone, o AgenticNav alcançou 55% de Taxa de Sucesso (SR) e 48,41% de Sucesso Ponderado pelo Comprimento do Caminho (SPL).
Comparação: Isso supera a reprodução do SmartWay com o mesmo backbone (44% SR, 35,04% SPL) em 11 pontos percentuais em SR e 13,37 pontos em SPL.
Generalização: Usando o Gemini-2.5-Pro, o AgenticNav também superou o Open-Nav e o EvoNav sob o mesmo benchmark, confirmando que a abordagem não está presa a um único VLM.
Ablações:
- Remover a Ferramenta de Ação (retornando a preditores de waypoint) reduziu o SR em 5 pontos.
- Remover a Ferramenta de Profundidade reduziu o SR para 42%; simplesmente adicionar imagens de profundidade como entrada recuperou apenas parte da perda, destacando o valor das consultas estruturadas.
- Remover o mecanismo de recuperação seletiva reduziu o SR para 41%, provando o valor da recuperação de memória direcionada sobre mapas estáticos isolados.

Validação no Mundo Real

Implantado em um robô de quatro rodas com uma câmera RGB-D em ambientes de laboratório, escritório e pátio:

O AgenticNav (4-view) alcançou 46,7% de SR e 2,67m de Erro de Navegação (NE), superando significativamente o SmartWay (23,3% SR, 3,57m NE).
A análise qualitativa mostrou que o AgenticNav lidou com sucesso com casos onde o preditor de waypoint do SmartWay falhou em propor a direção correta, e utilizou efetivamente as ferramentas de profundidade para cronometrar curvas e as ferramentas de recuperação para manter restrições de longo horizonte.

Significância e Alegações

O artigo argumenta que, para navegação baseada em modelos de fundação, o design do suporte de ação, percepção e memória é tão importante quanto a escolha do próprio VLM.

Mudança de Paradigma: O fator limitante na VLN-CE zero-shot não é mais apenas a capacidade de raciocínio do modelo, mas como o modelo é fundamentado ao ambiente.
Integridade Zero-Shot: Ao evitar preditores aprendidos e memória de episódios cruzados, o AgenticNav mantém um cenário zero-shot estritamente episódico, tornando-o mais robusto para implantação em novas cenas onde não existem dados de treinamento prévios.
Eficiência: A interface de chamada de ferramentas permite que o VLM decida qual evidência inspecionar (profundidade, memória) e onde se mover, mantendo as verificações de segurança determinísticas enquanto maximiza a liberdade de raciocínio do modelo.

Os autores concluem que, embora a qualidade da decisão do VLM continue sendo a principal fonte de falha (responsável por ~89% das falhas de simulação), o suporte AgenticNav consegue desbloquear o potencial dos modelos de fundação ao fornecer uma interface direta, fundamentada e contínua para o mundo físico.