WorldMAP: Bootstrapping Vision-Language Navigation Trajectory Prediction with Generative World Models

Título: WorldMAP: Impulsionando a Previsão de Trajetória de Navegação Visão-Linguagem com Modelos de Mundo Generativos

1. O Problema

A navegação em robótica incorporada (embodied AI) baseada em observações egocêntricas (visão em primeira pessoa) e instruções em linguagem natural permanece um desafio central, especialmente em ambientes contínuos e não vistos anteriormente.

• Limitações dos Modelos Visão-Linguagem (VLMs): Embora os VLMs sejam excelentes na compreensão semântica e no "grounding" (ancoragem) de linguagem, eles frequentemente geram trajetórias instáveis ou fisicamente implausíveis quando tentam prever rotas diretamente a partir de uma única observação. Eles lutam para respeitar a geometria do cenário e evitar obstáculos.
• Limitações dos Modelos de Mundo: Os modelos de mundo generativos podem sintetizar visualizações futuras plausíveis para raciocínio de "olhar à frente" (look-ahead). No entanto, essas visões geradas, por si só, não fornecem os sinais estruturados e ancorados necessários para o aprendizado de navegação. O uso direto de visões imaginadas como evidência durante o tempo de teste (test-time) muitas vezes introduz ruído ou inconsistências geométricas que degradam o desempenho.
• A Lacuna: Existe uma necessidade de um mecanismo que converta as "futuras geradas" em supervisão estruturada para o aprendizado de trajetórias, em vez de usá-las apenas como evidência transitória.

2. Metodologia: WorldMAP

O WorldMAP é um framework de professor-aluno (teacher-student) que transforma a geração de modelos de mundo em um motor de supervisão para a previsão de trajetórias. A arquitetura é inspirada na decomposição "Mundo-Memória-Ação-Percepção".

A. O Professor (Teacher) - Geração de Supervisão Estruturada
O professor opera offline ou durante o treinamento e não é usado na inferência final. Seu objetivo é converter observações únicas e instruções em rótulos de trajetória (pseudo-labels) de alta qualidade.

1. Construção do Mundo:
   • Gera vídeos futuros curtos a partir de uma observação inicial usando um modelo de mundo.
   • Realiza reconstrução 3D (usando profundidade monocular) e constrói uma memória semico-espacial contendo embeddings visuais, legendas e poses de câmera para cada quadro gerado.
2. Grounding Consciente da Tarefa:
   • Recupera quadros relevantes da memória com base na instrução.
   • Usa um VLM para resumir a tarefa e um modelo de segmentação de vocabulário aberto (UniPixel) para identificar alvos (onde ir) e obstáculos (o que evitar) em múltiplas visões.
   • Projeta essas máscaras em um sistema de coordenadas Bird's Eye View (BEV) compartilhado.
3. Planejamento Explícito:
   • Constrói um mapa de custos (cost map) no plano BEV, onde obstáculos são bloqueados e áreas não observadas são tratadas conservadoramente.
   • Utiliza o método Fast Marching Method (FMM) para calcular o caminho de menor custo do início ao alvo, gerando uma trajetória de waypoints estruturada e geometricamente consistente.

B. O Aluno (Student) - Predição Leve
O aluno é um preditor de trajetória leve que aprende a imitar o professor.

• Arquitetura: Baseado em um VLM de código aberto compacto (ex: Qwen3-VL). Possui um decodificador de trajetória com uma cabeça de múltiplas hipóteses (prevê K trajetórias possíveis com suas respectivas pontuações de confiança).
• Treinamento: O aluno é treinado para prever trajetórias diretamente a partir de uma observação egocêntrica e instrução de linguagem, utilizando os pseudo-rótulos gerados pelo professor como supervisão.
• Inferência: Durante o teste, apenas o aluno é usado, tornando o sistema rápido e eficiente, sem a necessidade de rodar o modelo de mundo pesado.

3. Principais Contribuições

1. Novo Framework Professor-Aluno: Introduz um método que destila a supervisão derivada de planejamento (baseada em modelos de mundo) para um preditor leve que opera apenas com entradas visão-linguagem.
2. Motor de Geração de Trajetória Ancorada: Desenvolve um pipeline que converte futuros gerados em memória semico-espacial persistente e sinais de planejamento explícito, transformando a saída do modelo de mundo em supervisão aprendível, e não apenas em evidência de teste.
3. Desempenho Superior: Demonstra que é possível elevar um VLM de código aberto pequeno a um desempenho competitivo com modelos proprietários massivos através dessa abordagem de distilação.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark Target-Bench, focado em navegação para alvos semânticos em ambientes não estruturados.

• Métricas Principais: O WorldMAP alcançou o melhor desempenho em ADE (Erro de Deslocamento Médio) e FDE (Erro de Deslocamento Final) entre todos os métodos comparados.
  • Redução de 18,0% no ADE e 42,1% no FDE em relação à melhor linha de base concorrente (Gemini-3-Pro).
  • Desempenho competitivo em DTW (Dynamic Time Warping) normalizado.
• Comparação com VLMs Diretos: VLMs proprietários fortes (como GPT-5.4, o3) e modelos de código aberto falharam em produzir trajetórias estáveis e ancoradas quando usados diretamente para previsão.
• Comparação com Raciocínio em Tempo de Teste: O método MindJourney (que usa visões imaginadas durante o teste) performou pior que a linha de base direta, confirmando que visões adicionais não são automaticamente benéficas sem consistência geométrica.
• Ablação:
  • O uso combinado de Ground Truth (GT) e pseudo-rótulos do professor (filtrados por qualidade) produziu os melhores resultados.
  • O uso de apenas pseudo-rótulos ou apenas GT resultou em desempenho inferior, destacando a importância da combinação.

5. Significado e Conclusão

O trabalho propõe uma mudança de paradigma na navegação incorporada:

• Valor dos Modelos de Mundo: O valor principal dos modelos de mundo não está necessariamente em fornecer evidências imaginadas prontas para ação (action-ready evidence) durante o tempo de teste, mas sim em atuar como motores de síntese de supervisão estruturada.
• Estabilidade vs. Imagem: A navegação de longo alcance exige consistência geométrica que os modelos de mundo atuais ainda não fornecem de forma confiável em tempo real. O framework WorldMAP contorna isso usando o modelo de mundo para "ensinar" (via supervisão) um modelo mais simples a prever trajetórias corretas, extraindo a estrutura semântica e espacial correta e descartando as inconsistências visuais.
• Eficiência: Permite que modelos pequenos e de código aberto superem limitações de arquitetura através de um processo de treinamento rico em supervisão, sem o custo computacional de rodar modelos de mundo complexos em tempo de execução.

Em resumo, o WorldMAP demonstra que a fusão de modelos de mundo generativos com aprendizado por distilação professor-aluno é uma estratégia eficaz para superar as limitações atuais na previsão de trajetórias de navegação robusta.