Resumo Técnico: NavWAM - Um Modelo de Ação de Mundo de Navegação para Navegação Visual Condicionada por Objetivo

1. Declaração do Problema

A navegação visual condicionada por objetivo exige que um robô navegue de observações egocêntricas parciais até um objetivo especificado (por exemplo, uma imagem alvo). Embora as políticas diretas recentes consigam mapear observações para ações de forma eficiente, elas frequentemente carecem de previsão visual explícita — a capacidade de antecipar como seu movimento alterará as visões futuras e se essas mudanças os aproximam do objetivo.

Inversamente, os Modelos de Mundo de Navegação (NWMs) preveem explicitamente observações egocêntricas futuras condicionadas a ações candidatas. No entanto, os NWMs funcionam como módulos de predição, não como políticas de controle. Eles dependem de um planejador externo (tipicamente usando o Método de Contraste de Entropia, CEM) para pesquisar sobre sequências de ações candidatas, pontuar os futuros previstos e selecionar a melhor ação para execução. Essa separação cria um gargalo:

1. Sobrecarga Computacional: A otimização de trajetória em tempo de teste é necessária.
2. Desacoplamento: O modelo de mundo aprendido não produz diretamente ações executáveis; o comportamento de malha fechada depende das escolhas do planejador externo, e não apenas da representação interna do modelo.

A questão central abordada por este trabalho é: Como a previsão visual explícita pode ser tornada diretamente utilizável para o controle de malha fechada executável sem depender de planejamento externo?

2. Metodologia: NavWAM

Os autores propõem o NavWAM (Navigation World Action Model), uma política de difusão-transformer que unifica a previsão futura, a estimativa de valor e a geração de ações em um único problema de predição conjunta.

Arquitetura Central

O NavWAM é construído sobre o Cosmos Predict2, um modelo de mundo de vídeo diffusion-transformer pré-treinado. Em vez de usar o modelo apenas para prever visões futuras para planejamento externo, o Nav de NavWAM trata as variáveis de navegação como uma sequência latente compartilhada (uma "tela latente" ou latent canvas).

• Representação da Tela Latente (Latent Canvas): O modelo opera em uma sequência latente fixa de nove quadros.
  • Quadros de Condicionamento (Observados): Um quadro em branco (para compressão temporal VAE), o estado atual do robô, a imagem do objetivo e a observação egocêntrica atual.
  • Quadros de Predição (Gerados): Um bloco de ação (action chunk) executável, um estado futuro, duas observações egocêntricas futuras e um valor escalar de progresso em relação ao objetivo.
• Objetivo Unificado: O modelo aprende a realizar o denoising desta sequência inteira simultaneamente. Isso transforma a navegação em um problema de denoising conjunto sobre:
  1. Percepção Futura: Prevendo visões egocêntricas futuras ($o_{t+H-1:t+H}$).
  2. Progresso do Objetivo: Estimando um valor escalar ($v_{t+H}$) que indica a proximidade do objetivo.
  3. Movimento Executável: Gerando blocos de ação ($a_{t:t+H-1}$).

Treinamento e Inferência

• Treinamento: O modelo é treinado usando um objetivo de difusão ($L_{diff}$) na tela latente. O quadro de ação é ponderado com maior peso para garantir que o sinal de ação de baixa dimensão não seja dominado pela perda de reconstrução de imagem de alta dimensão. Três modos de treinamento são utilizados:
  1. Modo de Política (Policy Mode): Condiciona no estado/observação/objetivo atuais; prevê ação, futuro e valor.
  2. Modo de Modelo de Mundo (World-Model Mode): Condiciona também na ação; prevê o futuro/valor resultante.
  3. Modo de Valor (Value Mode): Condiciona nos quadros futuros; prevê o valor.
• Inferência: Na inferência padrão de Modo de Política, o NavWAM recebe a observação atual e o objetivo, realiza o denoising da sequência e gera diretamente um bloco de ação. Este bloco é executado em um loop de horizonte recuante (receding-horizon loop).
  • Sem Planejador Externo: Ao contrário dos NWMs, o NavWAM não requer pesquisa do tipo CEM ou amostragem de candidatos durante a inferência padrão.
  • Best-of-N Opcional: O modelo suporta um modo opcional onde $N$ candidatos são amostrados e pontuados usando as cabeças auxiliares de modelo de mundo/valor, mas os resultados principais utilizam o modo de política padrão.

3. Principais Contribuições

1. Política NavWAM: Uma arquitetura inovadora que converte a previsão visual de estilo NWM em uma política produtora de ações para navegação visual condicionada por objetivo.
2. Formulação de Predição Conjunta: Um método para representar observações futuras, valores de progresso de objetivo e blocos de ação executáveis em uma sequência latente compartilhada, permitindo que a previsão futura suporte diretamente a geração de ações em malha fechada.
3. Desempenho sem Busca: Demonstração de que o NavWAM supera as linhas de base de modelos de mundo baseados em planejamento em termos de desempenho, sem a necessidade de otimização de trajetória via CEM em tempo de teste, permanecendo competitivo com grandes políticas de navegação direta.

4. Resultados Experimentais

Os autores avaliaram o NavWAM na navegação por imagem-objetivo usando GO STANFORD (para comparação com NWM) e SIT (para comparação com OmniVLA). A validação no mundo real foi realizada em um robô móvel Diablo em quatro ambientes internos.

Benchmarks Offline (GO STANFORD)

• vs. Linhas de Base Baseadas em Planejamento: O NavWAM superou significativamente o Cosmos Predict2 e o NPM em Erro de Trajetória Absoluto (ATE) e Erro de Pose Relativo (RPE).
  • NavWAM (com Fine-tuning): ATE 0.192, RPE 0.070.
  • NWM: ATE 0.453, RPE 0.107.
  • Cosmos Predict2: ATE 0.455, RPE 0.109.
• Preservação da Previsão (Foresight): Apesar de ser uma política produtora de ações, o NavWAM manteu uma alta Consistência de Sujeito (similaridade visual entre as visões futuras previstas e as reais) superando o NWM (0.668 vs. 0.524).
• Ablação: O estudo mostrou que a previsão de futuro apenas por imagem é insuficiente para a navegação. Adicionar supervisão de ação e valor foi crítico, sendo que a supervisão de valor proporcionou o melhor desempenho.

Comparação com Políticas Diretas (SIT)

• vs. OmniVLA: O NavWAM (usando um backbone de vídeo de 2B parâmetros) alcançou desempenho comparável ou ligeiramente superior em ATE e Taxa de Sucesso (SR) do que o OmniVLA (construído sobre um backbone OpenVLA de 7B parâmetros).
  • NavWAM: ATE 0.077 (h=4), SR 46.3%.
  • OmníVLA: ATE 0.086 (h=4), SR 45.4%.

Implantação no Mundo Real

• Configuração: 24 episódios de malha fechada nos ambientes de Escritório, Depósito, Sala de Reuniões e Corredor.
• Taxa de Sucesso: O NavWAM alcançou a maior taxa de sucesso (79.2%, 19/24 episódios), comparado ao OmniVLA (58.3%) e NWM (16.7%).
• Comportamento Qualitativo: O NavWAM demonstrou alcance de objetivo consistente, enquanto o NWM frequentemente derivava e o OmniVLA às vezes parava antes do tempo ou tomava caminhos menos diretos. As execções no mundo real confirmaram que as visões futuras previstas correspondiam qualitativamente às observações reais subsequentes.

5. Significância e Alegações

O artigo afirma que o NavWAM consegue unir a lacuna entre a previsão visual e o controle executável. Sua principal significância reside em demonstrar que:

1. A previsão visual não precisa ser um módulo de planejamento separado. Ao integrar a previsão de futuro, a estimativa de valor e a geração de ação em uma única sequência latente, o modelo aprende a usar a previsão diretamente para o controle.
2. Eficiência: Uma navegação de alto desempenho pode ser alcançada sem o custo computacional da otimização de trajetória via CEM em tempo de teste.
3. Escalabilidade: Um modelo com um backbone de 2B de parâmetros pode competir com políticas diretas de 7B parâmetros, fornecendo adicionalmente a interpretabilidade das previsões de visão futura.

Os autores concluem que a previsão futura é mais eficaz para a navegação robótica quando aprendida conjuntamente com os alvos de ação e valor que determinam o comportamento de malha fechada, em vez de como um passo de planejamento separado.

Limitações

Os autores notam modestamente que:

• A avaliação é atualmente limitada à navegação por imagem-objetivo em ambientes internos; objetivos de linguagem ou de objetos específicos são trabalhos futuros.
• O estudo no mundo real é limitado em escala (24 episódios).
• O modo opcional de amostragem best-of-N guiado por valor não foi utilizado nos resultados principais, e seu impacto na robustez ainda precisa ser estudado.