VectorWorld: Efficient Streaming World Model via Diffusion Flow on Vector Graphs

Título: VectorWorld: Modelo de Mundo em Streaming Eficiente via Fluxo de Difusão em Grafos Vetoriais

1. O Problema

A avaliação em loop fechado (closed-loop) de políticas de direção autônoma exige simulações interativas que vão além da simples reprodução de logs. No entanto, os modelos generativos de mundo existentes enfrentam três limitações críticas quando aplicados a simulações em tempo real e de longo alcance:

1. Inicialização sem Histórico (History-free Initialization): Muitos geradores produzem um "snapshot" estático no tempo $t=0$. Como as políticas reativas dependem de históricos de movimento recentes para inferir intenções, essa falta de contexto causa transientes de inicialização (como picos de jerk ou aceleração brusca) e interações instáveis no início da simulação.
2. Latência de Amostragem: Modelos baseados em difusão tradicional exigem múltiplos passos de denoising (solvers iterativos) para gerar gráficos estruturados de vias e agentes. Isso viola orçamentos de tempo real necessários para a "pintura externa" (outpainting) contínua durante a simulação.
3. Viabilidade Cinemática em Longo Alcance: Pequenas violações cinemáticas a cada passo, embora insignificantes em métricas de curto prazo, acumulam-se ao longo de quilômetros de simulação, levando a desvios estruturais e falhas catastróficas no loop fechado.

2. Metodologia

O VectorWorld propõe um modelo de mundo em streaming que gera incrementalmente "tiles" (lotes) vetoriais centrados no veículo (ego) de 64m x 64m, contendo grafos de vias e agentes. A arquitetura é composta por três inovações principais:

A. Interface de Estado de Interação com VAE Portão Consciente de Movimento

Para resolver o problema de inicialização, o VectorWorld não gera apenas estados estáticos. Ele introduz um código de histórico de movimento compacto para cada agente.

• Mecanismo: Utiliza um VAE (Variational Autoencoder) com portão consciente de movimento. Um mecanismo de gating aprende a fundir o estado estático e o código de movimento.
• Benefício: Para agentes estáticos (estacionados), o portão suprime o ruído do histórico, enquanto para agentes dinâmicos, preserva a dinâmica. Isso permite uma inicialização "quente" (warm-start) compatível com políticas condicionadas a histórico, eliminando transientes de jerk.

B. DiT Relacional com Portão de Borda (Edge-Gated Relational DiT)

Para a geração em tempo real, o modelo utiliza um Diffusion Transformer (DiT) projetado para grafos heterogêneos (nós de via e nós de agente).

• Atenção Condicional às Bordas: Diferente da atenção padrão, este módulo condiciona a passagem de mensagens nas características das bordas (conectividade entre vias, relação via-agente).
  • Viés Aditivo: Regula a conectividade preferencial.
  • Portão Multiplicativo: Modula a força da agregação de características, suprimindo agregações inconsistentes com a topologia.
• Objetivo: Preservar a topologia da via e as relações agente-via durante a conclusão de máscaras (masked completion), evitando quebras estruturais.

C. Fluxo de Difusão MeanFlow com Supervisão JVP (Solver-Free)

Para atingir a latência de tempo real, o modelo abandona os solvers iterativos de ODE/Diffusão.

• MeanFlow Intervalado: O modelo é treinado para prever a velocidade média em um intervalo de tempo, permitindo a amostragem em um único passo (one-step).
• Correção JVP (Jacobian-Vector Product): Para garantir que o passo único seja preciso e preserve as restrições de borda, o treinamento utiliza um objetivo de correção de primeira ordem baseado em JVP. Isso calibra o preditor de velocidade na fronteira, permitindo a geração de alta fidelidade sem iterações de solver.
• Resultado: Geração de latents em um único passo, decodificada para geometria vetorial em ~6ms por tile.

D. Política de NPC Alinhada à Física ($\Delta$Sim)

Para garantir a estabilidade em longas distâncias (1km+), o comportamento dos outros veículos (NPCs) é gerado por uma política chamada $\Delta$Sim.

• Ações Híbridas: Combina tokens discretos (vocabulário de vetores de deslocamento) com refinamento contínuo residual.
• Shaping de Logits Diferenciável: Aplica um custo cinemático diferenciável aos logits antes da amostragem, penalizando manobras inviáveis (ex: curvas impossíveis, aceleração lateral excessiva).
• Aprendizado DKAL: Uma função de perda que alinha a distribuição de ações com custos cinemáticos, reduzindo a dependência de heurísticas apenas no momento da inferência.

3. Principais Contribuições

1. Interface de Estado de Interação: Um VAE com portão que codifica seletivamente o histórico de movimento, permitindo inicializações compatíveis com políticas reativas.
2. DiT Relacional com Portão de Borda: Uma arquitetura de gerador que preserva explicitamente a topologia do grafo e as relações cruzadas (via-agente) através de atenção condicionada às bordas.
3. MeanFlow com JVP: Um método de treinamento que habilita a conclusão em um único passo (solver-free) com alta fidelidade, essencial para streaming em tempo real.
4. Política $\Delta$Sim: Um modelo de comportamento de NPCs que estabiliza simulações de longo alcance através de ações híbridas e alinhamento cinemático diferenciável.
5. Validação em Escala: Demonstração de simulações em loop fechado estáveis de mais de 1 km em conjuntos de dados reais (Waymo Open Motion e nuPlan).

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados Waymo Open Motion e nuPlan.

• Qualidade da Cena e Inicialização:
  • Redução significativa na taxa de colisão estática na inicialização (de ~9.3% para 3.01% no nuPlan).
  • Melhoria na distância do ponto final (EPD) e na fidelidade da estrutura do mapa (menor Fréchet Distance).
  • Preservação superior da continuidade das vias em interseções e fusões.
• Eficiência e Latência:
  • O VectorWorld gera um tile de 64m x 64m em ~6 ms (incluindo decodificação), operando dentro do orçamento de tempo real (<30ms).
  • Comparado a métodos de difusão multi-passos (que levam >100ms), o VectorWorld permite o streaming contínuo sem atrasos.
• Simulação em Loop Fechado (1km+):
  • Sucesso em realizar rollouts de mais de 1 km sem falhas catastróficas de topologia ou viabilidade.
  • Redução drástica no jerk do veículo ego ao usar inicialização com histórico (de 16.6 para 9.6).
  • Treinamento de Políticas: Ao re-treinar uma política PPO no VectorWorld, a taxa de sucesso em testes de estresse aumentou de 25.0% para 56.0%, demonstrando o valor do simulador para o treinamento de agentes.
• Transferência: Políticas treinadas no VectorWorld transferiram bem para outros backends (logs reais e ScenDream), indicando que o simulador não introduz viés de sobreajuste (overfitting) específico.

5. Significado e Impacto

O VectorWorld representa um avanço significativo na viabilidade de simuladores de direção autônoma baseados em aprendizado de máquina para uso em produção e pesquisa de loop fechado.

• Quebra de Gargalos: Resolve o dilema entre fidelidade (geralmente associada a solvers lentos) e velocidade (necessária para streaming), permitindo simulações contínuas de quilômetros.
• Realismo Estrutural: Ao focar na consistência topológica do grafo vetorial e no alinhamento cinemático, o modelo evita os erros cumulativos que tornam as simulações de longo alcance instáveis.
• Aplicabilidade: Permite a realização de testes de estresse (stress testing) e treinamento de políticas em cenários variados e seguros, reduzindo a necessidade de testes físicos arriscados e caros.

Em resumo, o VectorWorld estabelece um novo padrão para a geração de ambientes de direção autônoma, combinando eficiência computacional extrema com alta fidelidade estrutural e física.