How Can Driving World Models Do Counterfactual Prediction?

Resumo Técnico: Predição Contrafactual em Modelos de Mundo para Condução

Definição do Problema e Lacuna Causal
O artigo aborda uma incompatibilidade fundamental entre a capacidade pretendida dos modelos de mundo de condução (predição contrafactual) e a sua implementação padrão (predição condicionada diretamente à ação). Na condução autónoma, a predição contrafactual questiona: "Dado um registo de condução factual onde ocorreu um evento (ex: um carro a cortar a trajetória), o que é que a câmara teria registado se o veículo ego tivesse tomado uma ação diferente (ex: travar em vez de acelerar)?"

Os autores identificam que as "predições diretas" atuais condicionam o modelo apenas no histórico partilhado ($H$) e na ação alternativa ($a'$). Esta abordagem falha ao não incorporar a continuação factual ($F^+$)—a evidência observada do que realmente aconteceu após o histórico partilhado. De acordo com a "escada da causalidade" de Pearl, um verdadeiro contrafactual (Rung 3) requer abdução: inferir o estado específico do mundo ($w$) que gerou o resultado factual observado, para depois intervir com a nova ação. A predição direta, ao ignorar $F^+$, efetivamente faz a média sobre todos os mundos possíveis consistentes com o histórico ($p(w|H)$), em vez do mundo específico realizado no episódio ($p(w|H, F^+)$). Consequentemente, os modelos diretos geram frequentemente vídeos fluidos consistentes com a nova ação, mas omitem eventos específicos (como um carro a emergir) que estavam presentes no episódio.

Metodologia: Um Pipeline Sem Treino (Training-Free)
Para colmatar esta lacuna sem retreinar modelos existentes, os autores propõem um pipeline simples de tempo de inferência, fundamentado na receita causal de Abdução, Ação e Predição. O método opera sobre um modelo de mundo congelado e consiste em quatro etapas:

1. Abduzir (Reconstrução): Um modelo de estimativa de profundidade congelado processa a continuação factual ($F^+$) para estimar a profundidade métrica. Isto eleva os frames RGB 2D para uma nuvem de pontos 3D, reconstruindo as superfícies observadas do mundo realizado.
2. Transportar (Intervenção): O sistema aplica a trajetória alternativa do veículo ego ($a'$) à pose da câmara, mantendo o mundo 3D reconstruído fixo. Utilizando forward splatting e um depth buffer, os pontos 3D observados são reprojetados na vista contrafactual da câmara. Isto gera uma imagem de evidência deformada ($E_t$) e uma máscara de suporte ($M_t$) indicando quais os pixels determinados pela observação factual.
3. Completar (Predição): O modelo de mundo congelado tem a tarefa de gerar apenas as regiões não suportadas (áreas não visíveis no log factual ou ocluídas).
   • Para modelos de difusão, a entrada é uma codificação ruidosa da evidência factual mascarada por $M_t$. Durante o processo de denoising, as regiões de evidência são restauradas em cada passo para restringir a geração.
   • Para modelos autorregressivos, os tokens correspondentes à máscara de evidência são fixados aos valores de entrada, enquanto o modelo gera os tokens para as regiões restantes.
4. Combinar (Refinamento): O output do modelo de mundo é fundido com a evidência transportada. Uma função de ponderação ($\alpha_t$) garante que os pixels transportados fiáveis sejam preservados literalmente, enquanto as fronteiras são suavizadas para harmonizar cores e reduzir costuras (seams).

Benchmark e Avaliação
Uma vez que dados do mundo real não podem fornecer uma verdade fundamental (ground truth) contrafactual (não se pode observar dois futuros a partir de um único passado), os autores construíram um benchmark controlado utilizando o simulador CARLA.

• Configuração: Simulam um mundo com um evento predefinido (ex: um carro a emergir de uma rua lateral). Executam três cenários: (1) Execução factual ($F, a_{obs}$), (2) Execução contrafactual ($P, a'$) e (3) Execução nula onde o evento é suprimido ($U, a'$).
• Métricas:
  • Fração Recuperada ($Rec$): Mede o quanto a predição se assemelha à verdade fundamental contrafactual ($P$) versus a referência nula ($U$) usando similaridade de embeddings (DINOv2 e CLIP). Uma pontuação de 1 indica a recuperação perfeita do evento; 0 indica a omissão completa.
  • Fidelidade Perceptual: Mede a distância LPIPS entre a predição e a verdade fundamental contrafactual para avaliar a qualidade visual.

Resultados Principais
Experiências em dois modelos de mundo representativos (um modelo baseado em difusão e um modelo autorregressivo) produziram as seguintes conclusões:

• Falha da Predição Direta: As predições padrão condicionadas diretamente à ação falharam consistentemente em preservar os eventos específicos presentes na continuação factual. As suas pontuações de "fração recuperada" foram baixas, indicando que geraram futuros plausíveis, mas incorretos, onde o evento (ex: o carro a emergir) não ocorreu.
• Eficácia do Método: O pipeline proposto, que não requer treino, melhorou significativamente o desempenho. Aumentou substancialmente a fração recuperada, retendo com sucesso o sinal do evento que a predição direta perdeu.
• Qualidade Visual: O método reduziu a distância perceptual (LPIPS) em relação à verdade fundamental contrafactual, produzindo outputs que eram tanto semanticamente corretos (contendo o evento) como visualmente coerentes.

Significância e Alegações
O artigo não pretende ter resolvido a predição contrafactual para todos os cenários de condução ou ter introduzido uma nova arquitetura de aprendizagem. A sua significância reside em:

1. Diagnóstico: Fornecer uma explicação causal precisa de por que razão os modelos de mundo atuais falham em tarefas contrafactuais (a omissão da abdução/evidência da continuação factual).
2. Benchmarking: Estabelecer o primeiro benchmark controlado com verdades fundamentais contrafactuais correspondentes para medir quantitativamente este modo de falha específico.
3. Linha de Base Construtiva: Demonstrar que um simples procedimento geométrico de intervenção, sem necessidade de treino, pode recuperar a "evidência em falta" e melhorar significativamente a fidelidade contrafactual. Isto serve como ponto de referência para métodos futuros, sugerindo que uma melhor predição contrafactual poderá exigir a integração explícita da evidência observada no processo de geração, em vez de depender apenas do condicionamento da ação.

Os autores concluem que este trabalho visa chamar a atenção para a lacuna entre a predição direta e o verdadeiro raciocínio contrafactual, motivando o desenvolvimento de métodos que respeitem a estrutura causal de episódios de condução específicos.