Resumo Técnico: BIT-Nav

Definição do Problema

Os Modelos de Visão-Linguagem (VLMs) avançaram a navegação incorporada ao unificar a percepção visual e o raciocínio em linguagem natural. No entanto, as abordagens existentes para a Navegação de Visão-e-Linguagem (VLN) de longo horizonte enfrentam uma limitação crítica: elas são efetivamente sem estado (stateless) no nível do raciocínio. Métodos atuais, como o NaVILA, incorporam o histórico amostrando uma janela fixa de quadros de imagem passados. À medida que os episódios se estendem, esse histórico visual de tamanho fixo torna-se cada vez mais esparso, omitindo estruturas de movimento intermediárias cruciais. Evidências empíricas de trabalhos anteriores indicam que simplesmente aumentar o número de quadros amostrados (por exemplo, de 8 para 64) não melhora a precisão da navegação, sugerindo que o gargalo não reside na quantidade de quadros, mas na natureza da própria representação. A seleção esparsa de quadros falha em capturar sinais comportamentais estruturados — como padrões de curva, deslocamento cumulativo e topologia de caminho — necessários para o raciocínio de longo horizonte. Além disso, os estados recorrentes de baixo nível usados em cabeças de controle normalmente não são expostos ao VLM como representações de trajetória explícitas e consultáveis.

Metodologia

Os autores propõem o BIT-Nav (Brain-Inspired Trajectory Memory for Embodied Navigation), um framework que aumenta as pipelines de VLM existentes com uma memória de trajetória compacta e aprendida. Inspirado no sistema hipocampal-entorrinal, que comprime a experiência espacial em traços episódicos estruturados em vez de apenas o replay sensorial bruto, o BIT-Nav trata o histórico da trajetória como uma modalidade explícita.

A pipeline consiste em quatro estágios principais:

1. Representação de Trajetória e Engenharia de Atributos:
   Em vez de alimentar IDs de ação brutos, o sistema converte ações de navegação discretas ($a_{1:T}$) em um vetor de atributos de movimento de 7 dimensões ($m_t$) em cada passo de tempo. Este vetor inclui posição planar cumulativa ($c_x, c_y$), orientação acumulada ($\theta$), mudança de orientação ($\Delta\theta$) e variáveis indicadoras para translação frontal e rotação. Esta representação enriquecida expõe tanto os sinais de controle local quanto o estado geométrico acumulado do agente.

2. BITE (Codificador de Trajetória Bi-GRU):
   Uma Bi-GRU de 2 camadas codifica a sequência de movimento de comprimento variável. Diferente de métodos que dependem apenas do estado oculto final, o BITE utiliza um mecanismo de mean-pooling mascarado sobre toda a sequência válida para produzir um embedding de dimensão fixa ($\bar{h} \in \mathbb{R}^{512}$). Isso garante que o embedding resuma toda a estrutura do caminho, em vez de apenas o estado final. O resultado é passado por uma cabeça de projeção e sofre normalização $\ell_2$ para produzir um embedding de trajetória de 128 dimensões ($z$).

3. Objetivo de Aprendizado Contrastivo:
   O codificador é treinado usando um objetivo InfoNCE de múltiplos positivos (estilo SimCLR) em minibatches estruturados em grupos. O conjunto de dados é organizado em grupos de 10 trajetórias aumentadas que compartilham o mesmo ponto de partida e de chegada, mas variam em seus passos intermediários e comprimento total. Para cada trajetória âncora, as outras 9 trajetórias no grupo servem como positivos, enquanto trajetórias de outros grupos servem como negativos. Este objetivo força o codificador a aprender uma representação compacta da "classe de equivalência início-objetivo", capturando invariância estrutural em vez de memorizar caminhos específicos.

4. Integração com VLM:
   O codificador Bi-GRU treinado é congelado. Um projetor multimodal leve e aprendível (MLP) mapeia o embedding da trajetória para o espaço de tokens de um VLM pré-treinado (especificamente o Qwen3-VL-8B). Em cada passo de decisão, este vetor projetado é injetado como um único "token de memória de trajetória" juntamente com a observação visual atual, quadros históricos esparsos e a instrução de linguagem. Isso permite que o VLM raciocine sobre o histórico de movimento estruturado dentro de uma única passagem direta (forward pass) sem modificações arquiteturais.

Principais Contribuições

• Trajetória como uma Modalidade Inerente: O artigo introduz a trajetória e a posição como uma modalidade distinta e essencial para VLN, complementando as entradas visuais e linguísticas com uma representação explícita do movimento do agente.
• Localização de Instrução Emergente: O framework demonstra que a incorporação da memória de trajetória permite que o modelo rastreie implicitamente o progresso da instrução sem supervisão explícita, permitindo que ele infira submetas concluídas e fundamente decisões nos passos restantes.
• Alinhamento Trajetória–VLM: Os autores alinham com sucesso os embeddings de trajetória aprendidos com um grande VLM através de um projetor aprendido, permitindo que o modelo condicione seu raciocínio ao histórico de movimento estruturado junto com as observações visuais.
• Construção de Dataset: Um dataset consciente de trajetória foi construído a partir dos benchmarks R2R e RxR, apresentando uma estratégia de aumento que gera variantes de trajetória geometricamente equivalentes, mas executivamente diversas, para incentrar o aprendizado da estrutura de movimento sobre sequências de ação de superfície.

Resultados

O artigo avalia o BIT-Nav em dois eixos primários: precisão quantitativa em consultas baseadas em trajetória e raciocínio qualitativo em simulação (Isaac Sim).

• Precisão Quantitativa: Em consultas relativas à estimativa de orientação cumulativa (Q1) e frequência de ação (Q2) através de trajetórias com comprimentos variando de 15 a 125 passos, o BIT-Nav supera significativamente os baselines.
  • Para a estimativa de orientação cumulativa, o BIT-Nav atinge 0,83 de precisão em todos os comprimentos de trajetória. Em contraste, os baselines (Qwen com histórico de texto ou sem histórico) colapsam para $\approx 0,07$ conforme as trajetórias crescem, falhando em integrar ângulos de curva com sinal ao longo de históricos longos.
  • Para a inferência de frequência de ação, o BIT-Nav iguala o desempenho dos baselines de histórico de texto, mantendo um custo de tokens constante.
• Eficiência de Tokens: O BIT-Nav injeta exatamente um token, independentemente do comprimento da trajetória. Em 124 passos, um baseline de histórico de texto requer 903 tokens, enquanto o BIT-Nav usa apenas 41 tokens (aprox. 4,5% do custo do baseline) mantendo um contexto de movimento denso.
• Avaliação Qualitativa: Em simulação, o BIT-Nav reporta corretamente as direções de curva e sequências executadas em episódios de longo horizonte. Em contraste, o modelo Qwen base frequentemente omite curvas ou julga incorretamente o progresso do episódio, ancorando seu raciocínio ao quadro visual atual em vez do histórico de ação completo.

Significância e Alegações

Os autores afirmam que o BIT-Nav aborda a limitação fundamental do raciocínio sem estado em navegação baseada em VLM. Ao codificar o histórico da trajetória como um token compacto e estruturado, o framework permite o raciocínio estruturado de longo horizonte sem o custo computacional de expandir as janelas de contexto com quadros brutos.

O artigo enfatiza que esta abordagem permite que o VLM realize a localização de instrução — a capacidade de determinar quanto de uma instrução foi executada e o que resta — ao fundamentar as decisões atuais no histórico de movimento acumulado do agente. Os autores observam que, embora os resultados atuais caracterizem as representações aprendidas e suas propriedades de alinhamento, a avaliação completa de ponta a ponta em benchmarks (ex: Sucesso, SPL em divisões val-unseen de R2R/RxR) permanece como um trabalho em andamento. O método proposto é apresentado como um aumento complementar aos VLMs existentes, preservando suas capacidades de raciocínio enquanto os estende ao histórico de movimento temporalmente estruturado.