Resumo Técnico: Adaptive-WAM

Declaração do Problema

Grandes modelos de difusão de vídeo oferecem priors espaciotemporais ricos para o planejamento de direção autônoma, mas os atuais Modelos de Mundo-Ação (WAMs) frequentemente incorrem no custo computacional total da geração de vídeo futuro iterativo e da decodificação VAE, mesmo quando a implantação requer apenas uma trajetória de ego de baixa dimensão. As abordagens atuais tipicamente acoplam predição e ação através de um caminho de backbone predeterminado ou de um loop de denoising iterativo, criando uma rigidez desnecessária. A questão central abordada é: Quanto de um modelo de difusão de vídeo deve ser executado para tomar uma decisão de direção confiável?

Os autores identificam dois eixos frequentemente confundidos:

1. Timestep de Difusão de Vídeo: Controla o nível de ruído latente.
2. Profundidade do DiT: Controla o número de blocos de transformer avaliados.

Uma análise preliminar no NAVSIM revela que o desempenho do planejamento é amplamente insensível aos níveis de ruído de vídeo (timesteps), mas exibe uma variação significativa dependente da profundidade. Além disso, trajetórias fortes podem ser decodificadas de camadas intermediárias, e diferentes profundidades resolvem conjuntos de cenas parcialmente sobrepostos, sugerindo que uma execução de profundidade fixa é suboptimal.

Metodologia: Adaptive-WAM

O artigo propõe o Adaptive-WAM, um planejador de múltiplas saídas (multi-exit) orientado pela qualidade, construído sobre um backbone Wan2.2-TI2V-5B. A arquitetura desacopla o processo de geração de vídeo do processo de decisão de planejamento durante a inferência.

Arquitetura e Fluxo de Inferência

1. Backbone: O modelo utiliza o Wan2.2 video DiT. Durante a inferência, ele processa a imagem atual da câmera frontal e uma descrição de texto (derivada de metadados do mapa, velocidade do ego e histórico de manobras) em um índice de ruído de vídeo fixo ($s^* = 17$). Ele não consome vídeos futuros de verdade (ground-truth) nem realiza loops completos de denoising iterativo durante a implantação.
2. Cabeças de Trajetória de Múltiplas Saídas: Seis blocos intermediários do DiT (camadas 5, 9, 15, 18, 22 e 30) servem como pontos de saída. Em cada saída $\ell$, uma camada de projeção converte a representação oculta $h_\ell$ em tokens de condicionamento de trajetória, que são alimentados em uma cabeça de difusão de trajetória independente do tipo ReCogDrive-style de 5 passos. Cada cabeça gera uma única trajetória candidata.
3. Roteamento Adaptativo Orientado pela Qualidade:
   • Um classificador de qualidade de trajetória leve (baseado em um codificador DINOv2-Small ajustado e um MLP) avalia cada trajetória decodificada.
   • O classificador prevê componentes da métrica de planejamento (NC, DAC, DDC, TTC, EP, Comfort) em vez de uma ordenação estrita, reconhecendo que as recompensas de planejamento são frequentemente saturadas e empatadas.
   • Lógica de Decisão: O sistema mantém um pool de trajetórias decodificadas. Se a pontuação de qualidade prevista mais alta ($\hat{q}$) entre as saídas tentadas exceder um limiar $\eta$, a inferência termina e a melhor trajetória acumulada é retornada. Caso contrário, o sistema continua a execução a partir do estado oculto em cache para a próxima saída mais profunda.
   • Se nenhuma saída atingir o limiar, o sistema retorna por padrão a trajetória com a maior pontuação da saída final (camada 30).

Estratégia de Treinamento

• Adaptação de Domínio de Vídeo: O backbone Wan é adaptado usando LoRA (Low-Rank Adaptation), enquanto as projeções e cabeças de trajetória são totalmente otimizadas. O objetivo combina a perda nativa de difusão de vídeo com as perdas de difusão de trajetória para todas as saídas.
• Treinamento do Classificador: O classificador é ajustado em trajetórias geradas usando cross-entropy binária de rótulo suave contra alvos de componentes fornecidos pelo avaliador. Ele opera com isolamento de gradiente em relação ao ator para evitar a alteração da distribuição de trajetória.
• RL Apenas para o Planejador: Após o aprendizado por imitação, o backbone e o classificador são congelados. As cabeças de trajetória são refinadas usando DiffGRPO (um método de aprendizado por reforço apenas para o planejador), tratando a cadeia completa de denoising de 5 passos como uma única ação.

Principais Contribuições

1. Diagnóstico Sistemático: O artigo demonstra que o desempenho do planejamento de direção é robusto aos níveis de ruído de vídeo, mas altamente sensível à profundidade do DiT. Revela que características intermediárias fornecem um substrato de planejamento forte e que diferentes profundidades resolvem conjuntos distintos e não redundantes de cenas.
2. Arquitetura de Múltiplas Saídas Orientada pela Qualidade: O Adaptive-WAM introduz um mecanismo que aloca dinamicamente a profundidade do backbone com base na qualidade do plano atualmente decodificado, evitando a necessidade de geração completa de vídeo ou execução de profundidade fixa.
3. Compromisso Eficiência-Desempenho: O método alcança o estado da arte em desempenho de planejamento entre os planejadores de modelo de mundo comparados, reduzindo significativamente a latência de inferência ao pular computações desnecessárias para cenas "fáceis".

Resultados Experimentais

NAVSIM v1 e v2

• NAVSIM v1: O planejador de trajetória única adaptativa alcança 90.8 PDMS. Uma variante de saída fixa com 64 propostas (usando o bloco 22) atinge 92.6 PDMS, superando o baseline DriveVA.
• NAVISM v2: O Adaptive-WAM alcança 89.9 EPDMS, obtendo os melhores resultados relatados entre os planejadores de modelo de mundo de vídeo de visão frontal comparados.
• Latência: Em uma GPU A100, o planejador adaptativo apresenta uma latência média end-to-end de 170 ms. Isso é aproximadamente 10% mais rápido que um planejador de bloco-15 fixo (190 ms) e 47% mais rápido que um planejador de profundidade total fixa (320 ms).

Transferência Zero-Shot

Sem ajuste fino no domínio alvo, o modelo transfere para o nuScenes, alcançando um erro L2 médio de 0.88 m e uma taxa de colisão de 0.08%. Este desempenho é competitivo com o DriveVA (0.84 m, 0.06%), mas com custos de inferência substancialmente menores, já que o Adaptive-WAM evita a geração completa de vídeo.

Estudos de Ablação

• Backbone: O treinamento conjunto de LoRA do backbone Wan é crítico; congelar o backbone ou usar cache separado recupera apenas uma fração do desempenho.
• Classificador: O DINOv2-Small é suficiente para o classificador de qualidade; usar as características do backbone Wan para classificação oferece ganhos negligenciáveis (0.03 pontos) com um custo computacional muito maior.
• Profundidade: Embora o bloco 15 seja geralmente a saída fixa mais forte, a política adaptativa supera o bloco 15 ao selecionar dinamicamente camadas mais profundas para cenas difíceis.

Significância e Alegações

O artigo afirma que as características intermediárias do vídeo-DiT são representações de planejamento robustas que não requerem a síntese completa de imagem para serem eficazes. Ao acoplar cabeças de trajetória de múltiplas profundidades com um controlador de qualidade sensível a empates, o Adaptive-WAM demonstra um caminho prático dos grandes modelos generativos de mundo para políticas de direção eficientes e em tempo real.

Os autores enfatizam que sua abordagem:

• Evita o loop de denoising de classifier-free iterativo e a decodificação VAE necessários para a síntese de vídeo futuro.
• Aloca dinamicamente a computação com base na qualidade da trajetória em vez de se comprometer com uma única profundidade de leitura.
• Alcança resultados de estado da arte no NAVSIM enquanto mantém uma latência média menor do que os baselines de profundidade fixa mais fortes.

O trabalho sugere que, para o planejamento de direção autônoma, o "modelo de mundo" não precisa renderizar completamente o futuro; ele só precisa computar características latentes suficientes para decodificar uma trajetória confiável.