Resumo Técnico: Injeção de Norma sem Treinamento para Modelos de Mundo de Condução

Declaração do Problema

Modelos de mundo de condução baseados em grandes backbones de difusão de vídeo são capazes de gerar fluxos de sensores realistas, mas sofrem de uma falta crítica de controlabilidade. As estratégias de estado da arte atuais para impor normas de trânsito (por exemplo, aderir a limites de velocidade, evitar colisões) normalmente exigem o ajuste fino (fine-tuning) do backbone para cada nova restrição ou o condicionamento do modelo em layouts construídos manualmente (mapas, caixas delimitadoras) incorporados durante o treinamento. Essas abordagens são dispendiosas para escalar e impedem que um modelo implantado adicione ou repriorize regras no momento da amostragem. Os autores propõem a questão central: A controlabilidade exige treinamento de fato? Especificamente, um modelo de mundo congelado pode ser direcionado para satisfazer normas de condução apenas por meio de intervenções no tempo de amostragem?

Metodologia

O artigo propõe uma abordagem de orientação por energia sem treinamento aplicada a um modelo de mundo de fluxo retificado.

1. Arquitetura do Modelo

O backbone é um modelo Open-Sora 2.0 MM-DiT (Transformer de Difusão Multimodal) congelado, pós-treinado com LoRA para realizar o denoising conjunto de:

• Quadros de vídeo futuros (fluxo de imagem).
• Uma trajetória planejada do ego $x_{ego} \in \mathbb{R}^{T \times d}$ (fluxo de texto, onde $T=40$ quadros e $d=4$ componentes: $x, y, \theta, v$).
  Crucialmente, o modelo é treinado sem informações de agentes ou mapas, baseando-se apenas nos quadros passados observados.

2. Mecanismo de Orientação Sem Treinamento

Os autores adaptam o conceito de orientação baseada em energia para modelos de fluxo retificado. Em vez de retreinar, as normas de condução são injetadas como funções de energia diferenciáveis $E(\cdot)$ avaliadas na trajetória do ego limpa prevista $\hat{x}_0$ em cada etapa de amostragem.

O processo envolve:

1. Estimativa de Passo Único: No passo de tempo $t$, o modelo estima a amostra limpa $\hat{x}_0$ usando o campo de velocidade aprendido $v_\theta$:
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. Descida de Energia: Um passo de gradiente é tomado no espaço da trajetória limpa para minimizar a energia da norma de condução:
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   Aqui, $E(\hat{x}_0)$ é definida como um Erro Quadrático Médio (MSE) de atração em direção a um alvo contrafactual (por exemplo, um alvo de frenagem simulando um veículo à frente lento).
3. Correção de Velocidade: A estimativa atualizada é convertida de volta para uma correção de velocidade para a ODE de amostragem:
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. Estabilização: Para evitar que a trajetória se desvie da variedade de dados (data manifold) — um problema conhecido com orientação sem treinamento quando $\hat{x}_0$ é impreciso no início da amostragem — a correção de orientação por passo é limitada a um múltiplo fixo da própria velocidade do backbone. Um cronograma assimétrico $\lambda(t)$ é usado, definindo a orientação como zero próximo a $t=0$ e $t=1$ para evitar instabilidade numérica e permitir que o prior estabeleça a estrutura global.

Principais Contribuições

1. Formulação: Os autores enquadram a conformidade com as normas de condução como um problema de orientação por energia sem treinamento em um modelo de mundo de fluxo retificado, demonstrando que o conhecimento pode ser adicionado inteiramente no tempo de amostragem.
2. Validação Empírica: Eles demonstram que este método direciona com sucesso a trajetória do ego de um modelo de mundo construído sobre o Open-Sora 2.0 para um alvo de frenagem contrafactual (simulando um cenário de evasão de colisão traseira) sem retreinar o backbone.
3. Insight Arquitetural: O artigo identifica uma limitação crítica nas arquiteturas de geração conjunta atuais: embora a trajetória seja direcionada com sucesso, o vídeo gerado não segue a trajetória direcionada. Os autores atribuem essa falha ao mecanismo específico de acoplamento entre fluxos (cross-stream coupling, via atenção conjunta) no modelo atual, onde o fluxo de vídeo falha em propagar as mudanças induzidas no fluxo de trajetória.

Resultados Experimentais

Os autores avaliaram o método em 35 clipes amostrados usando um alvo de frenagem contrafactual:

• Controle de Trajetória: A orientação foi altamente eficaz para a trajetória. A trajetória orientada terminou a uma média de 1,3 metros do alvo de frenagem, comparado aos 13,6 metros da trajetória não orientada (factual).
• Consistência de Vídeo: Apesar da mudança significativa na trajetória do ego, o vídeo gerado não refletiu essa mudança. A diferença de fluxo óptico quadro a quadro entre os vídeos orientado e não orientado é estatisticamente indistinguível (uma mudança de $\lesssim 2\%$, dentro do ruído de variação entre os clipes).
• Conclusão sobre os Resultados: "O plano direcionado não move os pixels". O fluxo de vídeo permanece desacoplado do fluxo de trajetória sob a arquitetura atual.

Significância e Alegações

O artigo afirma que a conformidade com as normas de condução não requer retreinamento. Um modelo de mundo congelado pode ter sua trajetória planejada do ego direcionada no tempo de amostragem usando funções de energia diferenciáveis. Isso oferece um caminho para que modelos implantados se adaptem a novas regras ou priorizem restrições de segurança dinamicamente.

No entanto, os autores são modestos quanto ao estado atual da controlabilidade de ponta a ponta. Eles declaram explicitamente que o vídeo gerado ainda não segue a trajetória direcionada. Eles identificam o acoplamento entre fluxos (especificamente o bypass dos blocos de fluxo único em seu modelo modificado) como o obstáculo central. O artigo conclui que alcançar rollouts verdadeiramente controláveis de ponta a ponta requer um denoising conjunto mais profundo dos fluxos de vídeo e trajetória, propondo que rotear ambos os fluxos através dos blocos de fluxo único do backbone é o próximo passo necessário para alinhar o vídeo com a trajetória orientada.

O trabalho posiciona-se como uma ponte entre a orientação sem treinamento (previamente aplicada apenas a modelos de trajetória) e modelos de mundo controláveis (que anteriormente exigiam condicionamento em tempo de treinamento), destacando a lacuna arquitetural que ainda precisa ser fechada para o controle semântico total.