VideoGAN-based Trajectory Proposal for Automated Vehicles

Resumo Técnico: Proposta de Trajetória Baseada em VideoGAN para Veículos Automatizados

Definição do Problema
O desafio central abordado neste trabalho é a geração de opções de trajetórias realistas e estatisticamente precisas para veículos automatizados (AVs). Embora a predição e o planejamento de trajetórias sejam fundamentais para uma operação altamente automatizada, os métodos existentes enfrentam limitações. Abordagens clássicas baseadas em regras têm dificuldade em modelar as distribuições complexas, de alta dimensão e multimodais que regem o comportamento conjunto de múltiplos agentes em ambientes interativos. Por outro lado, embora modelos de aprendizado profundo (DL), particularmente modelos generativos como Modelos de Difusão e Redes Adversárias Generativas (GANs), se destaquem na captura de futuros diversos, muitas abordagens espacialmente fundamentadas (que lidam bem com restrições de layout e pistas contextuais) dependem de arquiteturas baseadas em atenção que não aproveitam plenamente os benefícios de modelagem de distribuição dos modelos generativos. Além disso, há uma necessidade de métodos que possam lidar com trajetórias de comprimento variável (agentes entrando/saindo de cena) e manter o realismo físico em relação às distâncias de segurança e conformidade com sinais de trânsito sem incorrer nos altos custos computacionais associados aos modelos de difusão.

Metodologia
Os autores propõem um pipeline de três estágios que combina representação espacialmente fundamentada com geração de vídeo:

1. Rasterização de Dados Abstratos:
   O pipeline converte dados de tráfego abstratos do Waymo Open Motion Dataset em vídeos de grade de ocupação de visão aérea (BEV - Bird's-Eye View) de baixa resolução. Este processo envolve:

• Extração de linhas centrais das vias, estados temporais de semáforos e dados de agentes (coordenadas centrais, direção, tamanho da caixa delimitadora).
• Renderização desses elementos em coordenadas de imagem centradas no veículo ego. As linhas centrais das vias são renderizadas como linhas cinzas; semáforos como círculos coloridos; e agentes como retângulos.
• O veículo ego é renderizado em preto, enquanto outros agentes recebem cores aleatórias de um subespaço HSV para evitar confusão com semáforos ou marcações de estrada.
• O resultado é um conjunto de dados de vídeos BEV de baixa resolução (ex: 54 × 96 pixels) representando cenas de tráfego.

2. Treinamento de VideoGAN:
   Um modelo generativo de vídeo, especificmente um VideoGAN (baseado em LongVideoGAN), é treinado nos vídeos de grade de ocupação rasterizados. Os autores selecionaram GANs em vez de modelos de difusão para priorizar tempos de treinamento e inferência mais rápidos, observando que, embora os modelos de difusão ofereçam maior fidelidade visual, isso é menos crítico para a proposta de trajetória, onde a plausibilidade física e a viabilidade de condução são as métricas primárias. O modelo aprende a gerar cenas dinamicamente coerentes de comprimento arbitrário.

3. Extração de Trajetória:
   Dados de trajetória abstratos são extraídos dos vídeos gerados usando um pipeline de pós-processamento:

• Detecção de Objetos: Os frames são convertidos para o espaço de cor HSV. Máscaras são aplicadas para isolar semáforos (vermelho, verde, amarelo) e agentes. Uma técnica de mascaramento específica substitui as cores dos semáforos pela cor subjacente ocluída (ex: veículo ou estrada) para melhorar a detecção de agentes passando sob os sinais. A abertura morfológica suaviza os contornos, e características espaciais (centro, tamanho, forma) são extraídas.
• Correspondência de Objetos (Matching): Identidades são rastreadas entre frames usando uma matriz de custo baseada em proximidade espacial, similaridade de cor, razão de aspecto e consistência de tipo.
• Enriquecimento de Trajetória: IDs persistentes são atribuídos, e a velocidade instantânea e aceleração em relação ao veículo ego são computadas via interpolação.

Principais Contribuições

• Pipeline Generativo e Espacialmente Fundamentado: Os autores apresentam um método que aproveita a modelagem de distribuição de modelos generativos enquanto mantém as restrições de layout espacial das representações BEV.
• Rasterização Customizável: Um pipeline para converter dados de tráfego abstratos em vídeos de grade de ocupação BEV de baixa resolução, permitindo alta customização da composição da cena (ex: aumentando a frequência de cenários de curva).
• Procedimento de Extração: Um procedimento desenvolvido para extrair dados abstratos relativos a semáforos e usuários da via a partir da predição de vídeo frame a frame, usando detecção e correspondência.
• Eficiência: O sistema alcança tempos de inferência de aproximadamente 20 ms para uma cena de 15 segundos, tornando-o adequado para aplicações de tempo real, com treinamento concluído em 100 horas de GPU.

Resultos
Os autores avaliaram as trajetórias geradas contra o ground truth do Waymo Open Motion Dataset usando métricas qualitativas e quantitativas:

• Análise Qualitativa: As cenas geradas exibiram linhas de mapa realistas, dinâmica de usuários da via e interações com semáforos. Observou-se que os agentes aguardavam em luzes vermelhas, prosseguiam em luzes verdes e mantinham distâncias de segurança. O modelo modelou com sucesso comportamentos complexos, como curvas em interseções e agentes entrando/saindo da cena, embora uma ocasional mutação de identidade (divisão ou fusão) tenha sido observada próximo a cruzamentos.
• Análise Quantitativa (Parâmetros Estáticos):
  • Tamanhos de Objetos: A distribuição dos tamanhos dos agentes nos vídeos gerados foi bimodal e comparável aos dados reais, embora os veículos gerados fossem, em média, 10% maiores.
  • Distâncias e Densidade: A distância média centro-a-centro entre agentes e a densidade de tráfego (número de objetos por frame) foram notavelmente similares entre as cenas reais e as geradas.
  • Objetos Não Identificados: A distribuição de objetos não reconhecidos foi consistente, reforçando o realismo visual dos frames.
• Análise Quantitativa (Dinâmica):
  • Velocidade e Aceleração: As distribuições estatísticas de velocidades e acelerações relativas corresponderam aos dados de treinamento, capturando comportamentos de ultrapassagem, movimento conjunto e tráfego oposto.
  • Segurança: As distâncias mínimas de borda a borda confirmaram que os usuários da via mantiveram a separação apropriada.
• Conformidade com Sinais de Trânsito: A análise da velocidade do veículo ego em relação aos semáforos mostrou que o modelo aprendeu a parar em luzes vermelhas (velocidade ~0 km/h) e prosseguir em velocidades apropriadas para luzes verdes, demonstrando conformidade com sinais de trânsito dinâmicos.

Significância e Alegações
O artigo afirma demonstrar que modelos de geração de vídeo podem produzir cenas de tráfego e trajetórias que são tanto realistas quanto seguras em termos de interação entre agentes e conformidade com sinais de trânsito dinâmicos. Ao alcançar tempos de inferência de 20 ms, os autores posicionam seu método como um candidato viável para proposta de trajetória em tempo real em sistemas de direção autônoma. O trabalho destaca o potencial de combinar representações espacialmente fundamentadas com modelos generativos eficientes para superar as limitações de sistemas baseados em regras e modelos de difusão computacionalmente caros. Os autores observam que trabalhos futuros devem investigar modificações arquiteturais para lidar com cenas maiores e mais complexas e comportamentos específicos, como ceder a pedestres.