Target-Bench: Can Video World Models Achieve Mapless Path Planning with Semantic Targets?

Resumo Técnico: Target-Bench

1. Problema e Motivação

Os Modelos de Mundo (World Models - WMs) baseados em vídeo, como o Sora e o Veo, demonstraram capacidades impressionantes na geração de vídeos realistas e na previsão da evolução temporal de cenas. No entanto, a capacidade desses modelos de realizar raciocínio semântico e planejamento de trajetória para tarefas de robótica permanece obscura e não quantificada.

O problema central abordado é a lacuna entre a fidelidade visual (gerar vídeos bonitos) e a utilidade funcional (gerar previsões que possam guiar um robô em direção a um objetivo semântico em um ambiente não estruturado e sem mapa). As avaliações existentes focam principalmente na qualidade visual ou consistência espaço-temporal, mas não avaliam se o modelo consegue inferir um caminho viável para atingir um alvo descrito em linguagem natural (ex: "vá até a cadeira vermelha" ou "vá para a saída").

2. Metodologia

O artigo apresenta o Target-Bench, o primeiro benchmark projetado para avaliar a capacidade de planejamento de caminho sem mapa (mapless path planning) de Modelos de Mundo de Vídeo em direção a alvos semânticos.

A. Dataset (Target Dataset)

• Coleta: Dados coletados por um robô quadrúpede (DEEP Robotics Lite 3) em 450 cenários (232 internos, 218 externos).
• Escala e Diversidade: 47 categorias semânticas (carros, bicicletas, pessoas, etc.), cobrindo ambientes diversos.
• Estrutura dos Dados: Cada amostra contém:
  • Sequência de vídeo (25Hz, ~10 segundos).
  • Trajetória de referência real (Ground Truth) baseada em SLAM (fusão LiDAR-IMU).
  • Prompt de alvo semântico (em linguagem natural).
  • Mapa de nuvem de pontos.
• Tipos de Alvos: Inclui alvos explícitos (nome do objeto) e implícitos (descrição de atributos ou funções), testando a capacidade de raciocínio do modelo.
• Divisão: 125 amostras para avaliação (benchmark) e 325 para treinamento (fine-tuning).

B. Pipeline de Avaliação (Target Benchmark)
O sistema de avaliação opera em duas etapas principais:

1. World-Decoder (Decodificador de Mundo):
   • Extrai trajetórias de câmera a partir dos vídeos gerados pelo modelo.
   • Utiliza métodos de reconstrução 3D de última geração: VGGT, SpaTracker e ViPE.
   • Recuperação de Escala: Como métodos monoculares (VGGT, SpaTracker) estimam movimento em escala desconhecida, o sistema aplica um mecanismo de recuperação de escala baseado no deslocamento real medido nos primeiros segundos do vídeo para converter a trajetória predita em unidades métricas reais.
2. Avaliação de Caminho (Path Evaluation):
   • Compara a trajetória predita com a trajetória real (Ground Truth).
   • Foca na tendência de aproximação e consistência direcional, em vez de apenas sobreposição exata de trajetória.

C. Métricas de Avaliação
O sistema utiliza cinco métricas complementares, agregadas em uma pontuação global ponderada (Weighted Overall - WO):

• ADE (Average Displacement Error): Erro médio de deslocamento.
• FDE (Final Displacement Error): Distância entre o ponto final predito e o real.
• MR (Miss Rate): Porcentagem de pontos fora de um limiar de tolerância (2.0m).
• SE (Soft Endpoint): Penalidade gaussiana para proximidade do ponto final ao alvo.
• AC (Approach Consistency): Avalia se a trajetória permanece dentro de um "corredor" progressivo ao redor do caminho real, permitindo múltiplas trajetórias válidas desde que a tendência de movimento seja correta.

3. Principais Contribuições

1. Primeiro Benchmark Sistemático: Introdução do Target-Bench para avaliar WMs em planejamento de caminho sem mapa com objetivos semânticos textuais.
2. Dataset Aberto e Rico: Disponibilização de um dataset de 450 cenários reais com robô, incluindo anotações de alvos explícitos e implícitos, trajetórias métricas e mapas.
3. Pipeline de Avaliação Inovador: Um sistema modular que reconstrói trajetórias a partir de vídeos gerados e avalia o desempenho focando na "tendência de movimento" e não apenas na sobreposição de pixels.
4. Estudo de Fine-tuning: Demonstração de que o ajuste fino (fine-tuning) de um modelo de código aberto em um conjunto de dados pequeno (325 amostras) supera significativamente modelos proprietários de última geração.

4. Resultados Experimentais

• Desempenho de Modelos "Off-the-Shelf" (Prontos para uso):

  • O melhor modelo disponível comercialmente, Wan2.2-Flash, alcançou uma pontuação global (WO) de apenas 0.341.
  • Modelos como Sora 2 e Veo 3.1 tiveram desempenho inferior, com erros de deslocamento (FDE) superiores a 1.9m e taxas de erro (MR) acima de 50%.
  • Isso revela uma lacuna significativa: os modelos geram vídeos visualmente coerentes, mas falham em planejar trajetórias precisas para objetivos semânticos.

• Impacto do Fine-tuning:

  • Ao ajustar o modelo de código aberto Wan2.2-TI2V-5B (5 bilhões de parâmetros) nos dados do Target-Bench, o desempenho saltou de 0.084 (base) para 0.330 (ajustado).
  • Com aumento de dados (data augmentation), o modelo atingiu 0.394, superando todos os modelos proprietários testados.
  • Isso prova que modelos de mundo podem aprender tarefas de navegação complexas com poucos dados reais.

• Alvos Implícitos vs. Explícitos:

  • Os modelos mostraram desempenho semelhante em alvos implícitos e explícitos, indicando que conseguem entender o contexto semântico, embora a precisão do planejamento ainda seja baixa.

• Horizonte de Planejamento:

  • A precisão do planejamento melhora à medida que o horizonte temporal diminui (ex: 4s vs 8s), sugerindo que os WMs são mais confiáveis em janelas de tempo curtas.

5. Significado e Conclusão

O trabalho Target-Bench estabelece um novo padrão para a avaliação de Modelos de Mundo em robótica. Ele demonstra que, embora a geração de vídeo tenha avançado, a capacidade de raciocínio espacial e planejamento ainda é o gargalo para a aplicação em robôs reais.

A descoberta mais impactante é que o ajuste fino (fine-tuning) é altamente eficaz. Modelos de grande escala, quando adaptados a dados específicos de robótica (mesmo em pequena escala), podem superar modelos genéricos massivos em tarefas de navegação. Isso sugere um caminho viável para a integração de WMs em sistemas robóticos autônomos para navegação em ambientes não estruturados, onde o robô pode prever o futuro visual e extrair um plano de ação sem depender de mapas pré-existentes.

O código e o dataset foram disponibilizados como open-source para fomentar pesquisas futuras nessa área.