Resumo Técnico: Discrete-WAM

Declaração do Problema

A condução autónoma exige fundamentalmente o raciocínio sobre como as ações do ego moldam a evolução do mundo circundante, em vez de apenas reagir a observações instantâneas. Os sistemas atuais de ponta a ponta (E2E) dependem tipicamente de mapeamentos diretos de estado-para-ação através de aprendizagem por imitação (behavior cloning), capturando correlações estatísticas sem modelar explicitamente a dinâmica condicionada à ação. Embora os modelos de mundo de latência contínua ofereçam uma forte continuidade, muitas vezes carecem da estrutura composicional necessária para o raciocínio causal através de futuros contrafatuais. Além disso, as abordagens existentes tratam frequentemente a modelação do mundo, a aprendizagem de políticas e a tomada de decisões como tarefas separadas ou objetivos auxiliares, falhando em estabelecer correspondências causais consistentes entre observações, ações e estados futuros induzidos dentro de um processo generativo unificado.

Metodologia: Discrete-WAM

Os autores propõem o Discrete-WAM, uma política de mundo visão-ação latente unificada que representa estados visuais futuros e ações do ego como tokens discretos alinhados. Este framework permite o raciocínio causal composicional através de futuros alternativos através de uma arquitetura de difusão discreta partilhada.

1. Representação Discreta Unificada

O Discrete-WAM converte observações contínuas e ações num espaço de tokens discretos partilhado:

• Tokenização de Visão: Observações de câmaras contínuas são codificadas em tokens semânticos discretos utilizando um tokenizador VQ-VAE pré-treinado.
• Tokenização de Ação: O movimento futuro contínuo é convertido numa representação compatível com tokens discretos sobre um vocabulário de aceleração. Os autores empregam uma estratégia de interpolação de rótulos suaves (soft-label) sobre uma grelha de aceleração 2D para evitar erros de quantização determinística rígida, permitindo que valores de controlo contínuos sejam preservados através de somas ponderadas de protótipos vizinhos.
• Tokens de Decisão: Condições de decisão de alto nível (ex: intenção de manobra, via alvo) são representadas como tokens de decisão esparsos e de baixa frequência ($D_t$).

2. Modelação de Política Hierárquica

Em vez de gerar ações futuras densas diretamente do contexto da cena, o Discrete-WAM decompõe a geração da política num processo hierárquico:

• Alto Nível: O modelo prevê um esqueleto de decisão esparso ($D_t$) que captura a intenção de manobra grosseira e escolhas de condução multimodais.
• Baixo Nível: Um planeador de tokens de ação baseado em difusão discreta gera trajetórias suaves e temporalmente consistentes condicionadas pela decisão prevista.
  Esta separação permite que o modelo selecione decisões multimodais no nível superior enquanto realiza trajetórias suaves no nível inferior, prevenindo o colapso de modos de condução alternativos.

3. Framework Generativo Unificado

O Discrete-WAM formula a condução autónoma como modelação de sequências sobre um espaço de tokens discretos partilhado, suportando três modos de treino complementares sob uma única arquitetura:

• Modelação do Mundo: Prevê tokens visuais futuros ($V_{t+1:t+H}$) condicionados pelo contexto da cena ($C_t$) e tokens de ação futuros ($A_{t+1:t+H}$).
• Modelação de Mundo-Política: Treina conjuntamente a previsão de visão e ação dentro de uma sequência de tokens intercalada, incentivando o acoplamento da geração da política com a evolução do mundo.
• Modelação de Política: Prevê a decisão de alto nível ($D_t$) seguida pela sequência de ação ($A_{t+1:t+H}$) condicionada pela decisão.

4. Treino e Pós-Treino

• Pré-treino Unificado: O modelo passa por um pré-treino de múltiplos estágios utilizando um objetivo de edição de tokens. Aprende a recuperar tokens corrompidos (visuais ou de ação) com base no contexto histórico e nos inputs de condicionamento. A função de perda combina entropia cruzada para classificação de tokens com perdas de reconstrução de movimento contínuo (aceleração, trajetória e posição) para garantir consistência física.
• Pós-Treino (RL): Para abordar comportamentos raros ou críticos para a segurança, os autores aplicam a Otimização de Política Relativa Agrupada (GRPO). O modelo amostra trajetórias candidatas, avalia-as com uma função de recompensa online (incorporando métricas de segurança e de regras críticas) e atualiza a política para refinar as combinações de decisão-trajetória.

5. Inferência e Edição

Durante a inferência, o Discrete-WAM utiliza geração de planeamento iterativo e edição sobre estados futuros. Uma estratégia de agendamento (ex: replace_confidence) atualiza seletivamente os tokens com base na confiança de previsão e entropia, permitindo um raciocínio não causal e globalmente consistente sobre futuros condicionados pela ação sem se comprometer com um único rollout progressivo.

Principais Contribuições

1. Política de Mundo Visão-Ação Unificada: A introdução de um framework que representa observações e ações do ego num espaço latente discreto partilhado, permitindo a modelação semântica alinhada e o racínio estruturado sobre futuros condicionados pela ação.
2. Framework de Difusão Discreta: Uma abordagem de pré-treino unificada para modelação de mundo e de ação que captura conjuntamente a dinâmica futura condicionada pela ação dentro de um único processo generativo, indo além de objetivos separados.
3. Planeamento Condicionado por Decisão Hierárquica: Uma demonstração de que a decomposição da política em esqueletos de decisão de alto nível e refinamento de ação de baixo nível melhora o desempenho do planeamento, ao mesmo tempo que permite a geração de futuros controláveis, raciocínio contrafatual e avaliação consciente da segurança.

Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de condução de grande escala, especificamente NAVSIM-v1 e NAVSIM-v2.

• Desempenho de Planeamento: O Discrete-WAM alcançou um desempenho de planeamento competitivo ou superior face a fortes baselines de ponta a ponta. No NAVSIM-v2, alcançou um score EPDMS de 90.4, superando métodos como WAM-Flow (87.0) e SparseDriveV2 (90.1). No NAVSIM-v1, alcançou um PDMS de 92.2, superando planeadores de estado da arte.
• Geração de Mundo: Em termos de qualidade generativa (FID e FVD), o Discrete-WAM superou modelos de mundo de condução generativos existentes (ex: Vista, DrivingWorld), atingindo um FID de 6.6 e FVD de 80.0, apesar de ser optimizado para planeamento de curto horizonte.
• Estudos de Ablação:
  • Pré-treino Unificado: Modelos inicializados com pré-treino unificado e afinados via LoRA (LoRA-SFT) superaram aqueles treinados do zero ou com fine-tuning total, indicando o valor de preservar o conhecimento de mundo-política pré-treinado.
  • Modelação de Decisão: A inclusão de tokens de decisão ($D_t$) melhorou significativamente as métricas de planeamento, confirmando que a orientação ao nível de decisão fornece um prior comportamental eficaz.
  • Pós-Treino: O pós-treino de RL melhorou ainda mais o EPDMS de 90.0 para 90.4, demonstrando o benefício de explorar combinações de decisão-trajetória.
  • Raciocínio Contrafatual: O modelo demonstrou uma forte correlação negativa entre "surpresa" (divergência KL entre rollouts fácticos e contrafatuais) e métricas de segurança de planeamento (PDMS), indicando a sua capacidade de capturar dinâmicas de cena críticas para a segurança.

Significância e Alegações

O artigo afirma que o Discrete-WAM oferece um caminho principiado para uma tomada de decisão mais fiável na condução autónoma, ao ir além da imitação reativa para o raciocínio estruturado de mundo-política. Ao unificar a modelação do mundo, a aprendizagem de política e a tomada de decisão num espaço de tokens discretos, o framework suporta:

• Geração Controlável: A capacidade de editar aspectos específicos de observações e trajetórias futuras.
• Raciocínio Contrafatual: A capacidade de raciocinar sobre futuros alternativos e avaliar riscos de segurança antes da execução.
• Predição Consciente da Segurança: A capacidade de identificar cenários de alta surpresa que correspondem a colisões ou violações de regras.

Os autores sustentam que esta abordagem aborda gargalos fundamentais na formulação de representação e na modelação generativa, fornecendo uma base escalável para a inteligência incorporada que pode generalizar através de diversos cenários de condução.