Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

Resumo Técnico: Geração de Cenários para Testes de Sistemas de Condução Autônoma Utilizando Registros de Falhas do Mundo Real

Definição do Problema
O principal desafio abordado é a ineficiência e a rigidez dos métodos de teste atuais para Sistemas de Condução Autônoma (ADS). As abordagens existentes dependem fortemente de modelos de cenários estáticos e projetados manualmente (por exemplo, protocolos Euro NCAP) ou de buscas baseadas em simulação que assumem representações de cenários fixas e focam na otimização de parâmetros numéricos dentro desses modelos. Esses métodos frequentemente falham em capturar as nuances contextuais ricas das falhas do mundo real encontradas em dados históricos de acidentes, como tipos de estradas específicos, zonas de obras ou dinâmicas de interação complexas. Além disso, há uma falta de um framework principial para extrair definições de cenários diretamente de narrativas de acidentes em linguagem natural e adaptá-las para testes de simulação específicos do sistema.

Metodologia
Os autores propõem um pipeline automatizado e modular de geração de cenários que utiliza registros de acidentes de ADS históricos (especificamente dados da NHTSA) para construir suítes de teste diversas. A abordagem integra dados categóricos e narrativas em linguagem natural através de um pipeline de três estágios baseado em Grandes Modelos de Linguagem (LLM):

1. Extração de Meta-Variáveis: O sistema identifica características categóricas dos registros de acidentes (ex: Tipo de Estrada, Movimento Pré-colisão do Veículo Próprio e do Parceiro de Colisão, Presença de Zona de Obras) para definir modelos de cenários de alto nível.
2. Geração de Cenários Baseada em LLM: O pipeline emprega três agentes de LLM sequenciais:
   • Agente de Parafraseamento: Processa narrativas brutas de acidentes para filtrar detalhes irrelevantes (ex: localização, tempo, relatórios de ferimentos) e retém apenas detalhes topológicos e contextuais necessários para a reconstrução. Ele também filtra cenários incompatíveis com o simulador alvo (ex: colisões traseiras causadas por negligência não-ego que não podem ser replicadas pela política ego específica sendo testada) e gera narrativas alternativas plausíveis.
   • Agente de Geração de Cenários: Recebe a narrativa parafraseada e o modelo de meta-variáveis definido para gerar uma instância de cenário específica ($z_s$). Isso inclui a codificação de parâmetros específicos, como trajetórias de agentes, velocidades e tipos de mapa compatíveis com o simulador (neste caso, o Metadrive).
   • Agente de Ajuste Fino (Fine-Tuning): Refina o cenário gerado com base em métricas de desempenho (ex: distância mínima) coletadas durante os rollouts de trajetória. Este passo ajusta iterativamente os parâmetros numéricos para estressar o sistema, potencialmente reduzendo as margens de segurança para revelar modos de falha.
3. Diversidade via Agrupamento (Clustering): Para garantir uma ampla cobertura dentro de um orçamento de teste limitado, os autores agrupam os registros de acidentes históricos usando k-means. As características de agrupamento incluem meta-variáveis codificadas em one-hot e embeddings de vetores de 6 dimensões das narrativas (gerados via all-MiniLM-L6-v2). Um cenário é gerado por cluster para representar distintos modos de falha.

Principais Contribuições

• Pipeline Automatizado: Os autores apresentam um procedimento inovador que automatiza a transição de relatórios de acidentes do mundo real para cenários prontos para simulação, utilizando tanto características categóricas quanto narrativas em linguagem natural.
• Adaptação Específica ao Sistema: O método introduz uma abordagem modular baseada em LLM para adaptar registros históricos a restrições e políticas específicas de sistemas, indo além do design de modelos estáticos.
• Framework de Validação: A abordagem é validada pela geração de uma suíte de testes para uma política IDM no simulador Metadrive usando registros de acidentes de ADS da NHTSA de 2021.

Resultados Experimentais
Os autores avaliaram o pipeline usando dados da NHTSA de 2021, resultando em 20 clusters distintos de cenários.

• Precisão: 17 dos 20 cenários gerados corresponderam perfeitamente aos modelos de meta-variáveis pretendidos. Os três erros envolveram falhas menores na direção do movimento do parceiro de colisão ou presença de zona de obras, o que os autores observam que pode ser otimizado via agente de ajuste fino.
• Diversidade e Teste de Estresse: O agrupamento capturou com sucesso 11 dos 14 modelos de cenários naturalmente presentes nos dados históricos filtrados. O processo de ajuste fino reduziu significamente a distância mínima entre veículos em 14 dos 16 cenários que exigiam ajuste, criando efetivamente cenários de "quase colisão" ou colisões.
• Insights do Sistema: Os testes gerados revelaram características comportamentais específicas da política IDM:
  • A política evitou com sucesso colisões frontais, mas exibiu movimentos oscilatórios indesejados e frenagem precoce ao evitar veículos que se moviam em linha reta.
  • A política foi menos reativa a obstáculos pequenos (ex: cones em zonas de obras) em comparação com veículos grandes, levando a colisões em cenários de zona de obras.
  • Cenários de movimento lateral resultaram em colisões laterais, destacando modos de falha específicos que nem sempre são capturados por modelos padrão.

Significância e Alegações
O artigo afirma que sua abordagem fornece uma maneira fundamentada de unir a lacuna entre dados de falhas do mundo real não estruturados e testes de simulação estruturados. Ao utilizar registros históricos, o método alivia o esforço manual necessário para projetar modelos de cenários e garante que os testes cubram tanto condições de falha comuns quanto incomuns. Os autores enfatizam que seus cenários gerados são compatíveis com métodos de teste de baixo nível existentes (como Otimização Bayesiana ou amostragem MCMC), permitindo maior iteração sobre parâmetros numéricos. O trabalho demonstra que os LLMs podem transformar efetivamente descrições de falhas em linguagem natural em casos de teste executáveis e específicos do sistema, revelando vulnerabilidades do sistema dentro de um orçamento de teste limitado (20 cenários).

Limitações e Trabalhos Futuros
Os autores reconhecem limitações, incluindo a falta de uma definição unificada para "cobertura" em testes, o que complica a busca por geração diversa. Eles também observam que fixar uma política específica limita a capacidade de replicar totalmente os movimentos do veículo ego em todos os cenários desejados. As direções de trabalhos futuros incluem estender o pipeline para gerar condições visuais para políticas baseadas em visão e usar LLMs para criar narrativas de falhas sintéticas onde os dados do mundo real estão ausentes.