SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

O artigo apresenta o SceneStreamer, um framework autoregressivo unificado que utiliza um modelo transformer para gerar cenários de tráfego contínuos e dinâmicos, permitindo a introdução e remoção de agentes ao longo de horizontes ilimitados e servindo como um ambiente de simulação de alta fidelidade para o treinamento e avaliação de sistemas de direção autônoma.

O essencial

Imagine que você está tentando ensinar um carro autônomo a dirigir. Para isso, você precisa de um "simulador" – um mundo virtual onde o carro pode praticar sem risco de bater em nada.

O problema é que a maioria dos simuladores atuais funciona como um filme antigo: eles apenas reproduzem gravações de trânsito real. Se o carro autônomo (o "herói") fizer uma manobra diferente do que estava no filme, os outros carros (os "figurantes") continuam agindo como se nada tivesse acontecido, o que é irreal e perigoso. Eles não reagem.

Aqui entra o SceneStreamer, a nova tecnologia apresentada neste paper. Vamos explicar como ele funciona usando uma analogia simples: o "Jogo de Palavras" do Trânsito.

1. O Trânsito como uma História (Tokens)

Em vez de ver carros como objetos físicos complexos, o SceneStreamer transforma tudo em uma sequência de palavras (chamadas de "tokens"), como se fosse escrever uma história.

• O Mapa é o cenário da história (as ruas, semáforos).
• Os Carros e Pedestres são os personagens.
• O Tempo é a página do livro que você está virando.

O SceneStreamer não "pensa" em física complexa de colisão. Ele apenas prevê a próxima palavra na história do trânsito.

2. A Mágica: "Prever a Próxima Palavra"

A grande inovação é que o SceneStreamer usa um modelo de Inteligência Artificial (semelhante ao que faz o ChatGPT escrever textos) para gerar o trânsito palavra por palavra, passo a passo.

Imagine que o sistema está escrevendo uma cena de trânsito:

1. Ele olha para o que já aconteceu (o passado).
2. Ele decide: "Ok, o próximo evento é um carro verde aparecendo na esquina" (isso é gerar um novo agente).
3. Depois, ele decide: "Agora, esse carro vai virar à direita" (isso é prever o movimento).
4. Em seguida: "O semáforo vai ficar amarelo".

Como ele faz isso passo a passo, ele pode:

• Criar novos personagens a qualquer momento: Um carro pode entrar na cena vindo de uma rua lateral, ou um pedestre pode atravessar a rua. O sistema não precisa saber de antemão quantos carros haverá.
• Reagir ao herói: Se o carro autônomo frear bruscamente, o SceneStreamer "escreve" a próxima palavra da história como: "O carro atrás freia também" ou "O pedestre para de atravessar". É um jogo de causa e efeito em tempo real.

3. A Analogia do "Dicionário de Trânsito"

Para que isso funcione, o SceneStreamer tem um "dicionário" muito organizado:

• Semáforos: São palavras simples (Verde, Amarelo, Vermelho).
• Carros: São descritos por 4 "palavras" especiais que dizem: "Sou um carro", "Estou na Rua X", "Minha velocidade é Y" e "Minha forma é Z".
• Movimento: É uma palavra que diz "Acelerar um pouco e virar um pouco".

O modelo aprendeu, lendo milhões de horas de trânsito real, qual é a "palavra" mais provável de vir a seguir. Se ele vê um carro parado no sinal vermelho, a próxima "palavra" provável é "o carro acelera quando o sinal fica verde".

4. Por que isso é importante para os Carros Autônomos?

Os pesquisadores treinaram um "cérebro" de carro autônomo (um agente de Aprendizado por Reforço) usando esse simulador.

• No simulador antigo (filme): O carro aprendia apenas a seguir o roteiro. Se algo inesperado acontecesse, ele travava.
• No SceneStreamer: O carro praticou em um mundo onde os outros carros reagem a ele. Ele aprendeu a lidar com situações caóticas, como um pedestre correndo para atravessar ou um carro cortando a frente.

O Resultado: Os carros treinados no SceneStreamer se tornaram muito mais robustos. Eles dirigem de forma mais segura e se adaptam melhor a situações novas, porque foram treinados em um mundo que "respira" e muda, não em um filme estático.

Resumo em uma frase

O SceneStreamer é como um roteirista de IA que escreve o trânsito em tempo real, criando novos carros e reagindo às suas ações, permitindo que os carros autônomos pratiquem em um mundo virtual que é tão vivo e imprevisível quanto o mundo real.

Resumo técnico

Resumo Técnico: SceneStreamer

1. O Problema

A simulação de tráfego realista e interativa é fundamental para o treinamento e avaliação de sistemas de direção autônoma (AD). No entanto, as abordagens existentes enfrentam limitações significativas:

• Reprodução de Logs (Log-Replay): Métodos baseados em replay de dados reais (ex: Waymo Open Dataset) não são interativos; os agentes de fundo não respondem às ações do veículo ego, limitando a avaliação em laço fechado.
• Modelos de Previsão de Movimento Estáticos: A maioria dos modelos de geração de cenários trata a previsão de movimento como um problema de "one-shot" (tiro único) ou assume um conjunto fixo de agentes. Isso impede a simulação de cenários de longo horizonte onde novos participantes (pedestres, carros) entram e saem dinamicamente da cena.
• Separação de Etapas: Métodos que geram condições iniciais e depois preveem o movimento (abordagens de duas etapas) são ineficientes, falham em compartilhar contexto entre as fases e não permitem a injeção de novos agentes durante a simulação.
• Desvio de Covariância: Pequenos erros de previsão em modelos unrollados acumulam-se, levando o simulador a estados fora da distribuição (OOD) e gerando resultados irreais.

2. Metodologia: SceneStreamer

O SceneStreamer propõe um framework unificado de geração autoregressiva que trata a cena de tráfego inteira como uma sequência única de tokens, permitindo a geração contínua e passo a passo.

A. Tokenização Unificada
A cena dinâmica é representada por uma sequência de tokens discretos agrupados, condicionada a tokens de mapa estáticos:

• Tokens de Mapa ( Representam segmentos da via (linhas, faixas) usando um encoder tipo PointNet. São fixos e servem como chaves/valores para atenção cruzada.
• Tokens de Semáforo (): Codificam o estado do sinal (verde, amarelo, vermelho) e sua localização no mapa.
• Tokens de Estado do Agente (): Para cada agente ativo, o modelo gera quatro tokens sequenciais:
  1. <SOA> (Start-of-Agent): Indicador de início.
  2. <TYPE>: Categoria (veículo, pedestre, ciclista).
  3. <MS> (Map Segment): ID do segmento de mapa onde o agente reside (ancoragem).
  4. <RS> (Relative States): Um vetor de 8 dimensões relativo ao segmento de mapa (dimensões físicas, offset longitudinal/lateral, resíduo de direção, velocidade relativa).
• Tokens de Movimento (): Codificam o comando de controle instantâneo (aceleração e taxa de guinada) discretizados em um espaço 2D.

B. Arquitetura do Modelo
O modelo utiliza uma arquitetura Encoder-Decoder Transformer:

• Encoder: Processa os tokens de mapa estáticos.
• Decoder: Gera tokens dinamicamente de forma autoregressiva.
• Mecanismo de Atenção em Grupos (Group Attention): Os tokens são organizados em grupos causais. Dentro de um grupo (ex: todos os tokens de movimento de um passo), a atenção é livre. Entre grupos, a atenção segue uma ordem causal (ex: tokens de movimento podem ver o estado atual do agente, mas não o futuro). Isso garante consistência semântica e temporal.
• Atenção Relativa: Utiliza vieses de atenção baseados em diferenças geométricas e temporais ($\Delta x, \Delta y, \Delta \psi, \Delta t$) para melhorar a generalização e reduzir a dependência de coordenadas globais.

C. Geração de Estado do Agente
Diferente de modelos que preveem todas as propriedades de um agente simultaneamente, o SceneStreamer usa uma abordagem hierárquica e autoregressiva para novos agentes:

1. Gera o tipo do agente.
2. Seleciona um segmento de mapa (âncora) onde o agente aparecerá.
3. Usa um cabeçote especializado (Relative State Head, um pequeno Transformer) para gerar as propriedades físicas e cinemáticas relativas a esse segmento de mapa.
   Isso evita combinações inválidas (ex: pedestres em faixas de alta velocidade) e garante consistência física.

D. Flexibilidade Operacional (State-Forcing)
O modelo suporta diferentes tarefas alterando quais tokens são "forçados" (input fixo) e quais são amostrados:

• Previsão de Movimento: Força o estado atual dos agentes e amostra o futuro.
• Geração de Cenário Completo: Amostra tanto o estado inicial quanto o movimento.
• Densificação de Cena: Força o estado de agentes existentes e amostra novos agentes para preencher a cena.
• Simulação em Laço Fechado: O estado do agente ego é atualizado com base na política de RL, e o SceneStreamer gera o comportamento dos outros agentes reagindo a essa mudança.

3. Contribuições Principais

1. Tokenização Unificada de Estado e Trajetória: Um único modelo autoregressivo que gera estados iniciais e trajetórias em uma sequência contínua, resolvendo a inconsistência de modelos de duas etapas.
2. Geração Autoregressiva de Estado do Agente: Um esquema inovador que gera o estado do agente (tipo, localização no mapa, cinemática) de forma sequencial e condicionada, permitindo a injeção dinâmica de novos agentes em qualquer momento da simulação.
3. Capacidade Versátil: O mesmo modelo pode realizar previsão de movimento, geração de cenários do zero, edição de cena (densificação) e simulação em laço fechado sem alterações na arquitetura.
4. Validação para RL: Demonstração de que treinar políticas de RL em cenários gerados pelo SceneStreamer resulta em planejadores mais robustos e generalizáveis do que em dados de replay.

4. Resultados Experimentais

Os experimentos foram conduzidos no Waymo Open Motion Dataset (WOMD).

• Qualidade do Estado Inicial: O SceneStreamer alcançou métricas competitivas (MMD - Maximum Mean Discrepancy) em posição, direção, tamanho e velocidade, superando ou igualando métodos de ponta como TrafficGen e UniGen. A ablação mostrou que a decodificação autoregressiva é crucial para evitar combinações inválidas de agentes.
• Previsão de Movimento: O modelo obteve erros de deslocamento (ADE/FDE) razoáveis. A versão completa (SceneStreamer-Full) mostrou maior diversidade de trajetórias (ADD/FDD) em comparação com a versão focada apenas em movimento.
• Treinamento de Planejadores (RL):
  • Políticas de RL treinadas com cenários do SceneStreamer superaram consistentemente as treinadas com Log-Replay.
  • A configuração com Geração Completa + Amostragem de Rejeição (Reject Sampling) e Treinamento Adaptativo (onde o agente ego reage em tempo real) obteve os melhores resultados: maior taxa de sucesso (76.2%), maior conclusão de rota (73.4%) e menor custo (colisões e saídas de pista).
• Desafio Waymo Sim Agents (WOSAC): O modelo alcançou desempenho competitivo em métricas de realismo e probabilidade comportamental, validando sua eficácia como simulador de propósito geral.

5. Significado e Impacto

O SceneStreamer representa um avanço significativo na simulação para direção autônoma ao:

• Superar a rigidez dos dados estáticos: Permite simulações de longo horizonte onde o ambiente evolui organicamente, com entrada e saída de agentes, imitando o tráfego real.
• Unificar tarefas: Elimina a necessidade de modelos separados para inicialização e previsão de movimento, simplificando o pipeline de simulação.
• Melhorar a segurança do RL: Ao fornecer um ambiente de treinamento reativo e diversificado, permite que os planejadores de direção autônoma aprendam a lidar com situações raras e interações complexas, resultando em sistemas mais seguros e robustos para o mundo real.

Em suma, o SceneStreamer transforma a geração de cenários de tráfego em um problema de previsão de próxima palavra (token), permitindo simulações contínuas, interativas e de alta fidelidade essenciais para o desenvolvimento da próxima geração de veículos autônomos.