Resumo Técnico: Pensando Adiante: Inteligência de Previsão em MLLMs e Modelos de Mundo

1. Definição do Problema

Os atuais Modelos de Visão-Linguagem (VLMs) e os benchmarks de direção autônoma focam predominantemente na percepção (compreensão do estado presente) e no planejamento reativo (decisões de controle imediato). Existe uma lacuna significativa na avaliação da Inteligência de Previsão (Foresight Intelligence): a capacidade de antecipar e raciocinar sobre eventos futuros complexos e de longo horizonte, particularmente sob incerteza e condições contrafatuais.

Benchmarks existentes (ex: DriveLM, OmniDrive) frequentemente restringem as consultas a ações imediatas ou geração de trajetória geométrica (erros de deslocamento L2). Eles falham em abordar:

• Raciocínio de longo horizonte: Antecipar consequências semânticas ao longo de períodos estendidos (ex: 12 segundos).
• Simulação contrafatual: Raciocinar sobre cenários de "e se" (ex: "Se o veículo ego virar à esquerda, o que acontece?").
• Consistência semântica de Modelos de Mundo (WMs): Embora os WMs possam gerar vídeos futuros visualmente realistas, permanece incerto se essas gerações são semanticamente coerentes e úteis para a tomada de decisão downstream.

2. Metodologia

2.1 Conjunto de Dados FSU-QA

Os autores introduzem o FSU-QA, um conjunto de dados de Visual Question Answering (VQA) derivado do dataset nuScenes, especificamente projetado para treinar e avaliar a Inteligência de Previsão.

• Construção de Dados: Utiliza vídeos de visão frontal (~15s) divididos em uma janela de observação histórica de 3 segundos e uma janela futura de 12 segundos.
• Hierarquia de Tarefas: O conjunto de dados organiza mais de 21.000 pares de QA em três níveis cognitivos:
  1. Baixo nível (Raciocínio Espaço-Temporal Dinâmico): Predição de estados de movimento do ego (velocidade, curva, mudanças de faixa) e posições/distâncias relativas de agentes ao longo de 12 segundos.
  2. Nível médio (Avaliação de Risco centrada em VRU): Inferência da intenção de pedestres, mudanças de posição relativa entre ego e VRU (Usuários Vulneráveis na Via), e identificação de áreas de risco dentro de 3 segundos.
  3. Alto nível (Raciocínio Causal): Predição Contrafatual (CFP). Os modelos devem prever resultados de ações hipotéticas (ex: "Se o veículo ego virar à esquerda com um raio constante...") baseando-se em restrições geométricas e mapas HD.
• Protocolo de Anotação: O ground truth para contrafatuais é gerado via verificações de interseção geométrica baseadas em regras usando trajetórias 3D e mapas HD, validadas por especialistas humanos (taxa de concordância de 89%).

2.2 Protocolo de Avaliação FSU-Bench

O benchmark avalia duas capacidades distintas:

1. Avaliação orientada a VLM: Avalia a capacidade de um VLM de prever resultados semânticos futuros dados o vídeo histórico ($V_{-T_h:0}$) e trajetórias ($Traj_{-T_h:0}$).
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0})$$
2. Avaliação de Modelo de Mundo (WM): Um paradigma de avaliação por procuração (proxy) para testar se os futuros gerados pelo WM ($\hat{V}_{1:T_f}, \hat{Traj}_{1:T_f}$) fornecem pistas semanticamente significativas. O VLM é aumentado com os dados futuros preditos:
   $$\hat{a} = \text{VLM}(q, V_{-T_h:0}, Traj_{-T_h:0}, \hat{V}_{1:T_f}, \hat{Traj}_{1:T_f})$$
   • Experimento de Controle: Para garantir que os ganhos não se devam à mera aumentação de tokens, os autores realizam experimentos de controle embaralhados (shuffled control experiments) onde previsões de WMs de cenas aleatórias e não relacionadas são utilizadas. Uma queda na precisão confirma que os ganhos de desempenho dependem da coerência semântica.

2.3 Modelos Avaliados

• VLMs: 13 modelos incluindo modelos de código fechado (GPT-5, Claude-Sonnet-4.5, Gemini-2.5 Pro) e de código aberto (Qwen2.5/3-VL, série Llama 4).
• Modelos de Mundo (WM): Epona (autoregressivo + DiT) e DrivingWorld (puramente autoregressivo).
• Ajuste Fino (Fine-tuning): O Qwen3-VL-8B foi ajustado no FSU-QA (Qwen3-VL-8B-FI) para testar a eficácia de treinamento do dataset.

3. Resultados Principais

3.1 Desempenho do VLM (Baseline)

• Dificuldade Geral: VLMs de última geração enfrentam desafios significativos na inteligência de previsão. Mesmo o melhor modelo (GPT-5) alcançou apenas ~48,66% de precisão geral.
• Disparidade de Tarefas: Os modelos performam bem em tarefas geométricas de baixo nível (ex: Mudança de Faixa: ~90-97%), mas lutam com avaliação de risco de nível médio e raciocínio contrafatual de alto nível (frequentemente <20% em tarefas CFP).
• Escala vs. Capacidade: O desempenho não está estritamente correlacionado com o tamanho dos parâmetros. Modelos de código aberto (ex: Qwen2.5-VL-72B) superaram alguns modelos de código fechado menores, mas todos os modelos exibiram fraquezas sistemáticas em interação multi-agente e contrafatuais críticos para a segurança.
• Impacto do Ajuste Fino: O ajuste fino do Qwen3-VL-8B no FSU-QA resultou em melhorias substanciais (Geral: 59,59%), superando todos os baselines zero-shot, incluindo modelos maiores como o GPT-5.

3.2 Avaliação do Modelo de Mundo

• Utilidade Semântica: Aumentar os VLMs com previsões geradas por WM geralmente melhorou o desempenho, mas os ganhos foram dependentes da arquitetura.
• DrivingWorld vs. Epona: O DrivingWorld proporcionou ganhos maiores e mais consistentes, particularmente em raciocínio relacional (Posição Relativa, Intenção de Pedestre). Os ganhos da Epona foram mais modestos e seletivos por tarefa.
• Validação: Os experimentos de controle embaralhados confirmaram que as melhorias de desempenho se devem à coerência semântica dos futuros preditos, e não apenas à adição de tokens visuais.

4. Contribuições Principais

1. Dataset FSU-QA: Um novo dataset de VQA focado em Inteligência de Previsão com 9 tipos de tarefas que abrangem desde percepção de baixo nível até raciocínio contrafatual de alto nível, abordando a falta de benchmarks de longo horizonte, multi-agente e "e se" em direção autônoma.
2. FSU-Bench & Protocolo Proxy: Um benchmark unificado que avalia tanto as capacidades de previsão de VLMs quanto a utilidade semântica de Modelos de Mundo através de um paradigma de avaliação por procuração, validado por experimentos de controle embaralhados.
3. Achados Empíricos:
   • Os atuais VLMs subperformam sistematicamente em raciocínio contrafatual de alto nível, uma lacuna que não é explicada apenas pela escala do modelo.
   • Dados gerados por Modelos de Mundo podem potencializar o raciocínio de previsão, mas a qualidade da coerência semântica varia significativamente entre arquiteturas.
   • O ajuste fino direcionado no FSU-QA preenche efetivamente a lacuna de previsão dentro do domínio nuScenes.

5. Significância e Alegações

O artigo afirma que a Inteligência de Previsão é uma capacidade distinta do planejamento reativo, exigindo cognição de nível de simulação em vez de apenas reconhecimento de padrões. Os autores postulam que:

• Benchmarks existentes são insuficientes para avaliar o raciocínio de longo horizonte e crítico para a segurança exigido pela direção autônoma.
• O FSU-QA fornece uma base principiológica para treinar modelos para antecipar futuros complexos.
• A avaliação de Modelos de Mundo via desempenho de QA downstream oferece uma métrica mais diagnóstica para utilidade no mundo real do que métricas padrão de geração de pixels (ex: FVD, FID).

Os autores concluem que, embora os modelos atuais lutem com a previsão de alto nível, a combinação de datasets direcionados (FSU-QA) e Modelos de Mundo aprimorados oferece um caminho viável a seguir. Eles observam que a generalização entre domínios (ex: para Waymo ou nuPlan) permanece um desafio aberto para trabalhos futuros.