Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing

Este artigo apresenta o ScenarioFuzz, uma metodologia pioneira de fuzzing baseada em cenários que utiliza redes viárias, mutações especializadas e um modelo de rede neural gráfica para otimizar a descoberta de falhas em sistemas de direção autônoma, reduzindo custos de tempo em 60,3% e identificando 58 bugs em seis sistemas testados.

O essencial

Imagine que você é um diretor de teatro muito exigente, e o seu "ator principal" é um carro autônomo (um carro que se dirige sozinho). O seu trabalho é garantir que esse ator não cometa erros graves no palco, como bater em alguém ou passar num sinal vermelho.

O problema é que o mundo real é caótico e imprevisível. Testar o carro em todas as situações possíveis na vida real seria impossível, caro e perigoso. Então, os cientistas usam simuladores de computador para criar "palcos" virtuais.

Aqui está a explicação do que os autores deste artigo fizeram, usando uma analogia simples:

1. O Problema: O "Roteiro" Errado

Antes, para testar esses carros, os pesquisadores precisavam criar um roteiro pré-definido. Eles diziam: "Coloque um pedestre aqui, um carro ali, faça chover e veja o que acontece".

• O problema: Isso é como tentar encontrar um erro em um filme apenas assistindo a cenas que você já escolheu. Você pode perder momentos importantes onde o ator erra porque o roteiro não previa aquela situação. Além disso, criar esses roteiros manualmente é lento e cansativo.

2. A Solução: "ScenarioFuzz" (O Diretor Improvisado)

Os autores criaram uma nova ferramenta chamada ScenarioFuzz. Em vez de ter um roteiro fixo, eles criaram um sistema que age como um diretor de teatro que conhece o passado.

Aqui está como funciona, passo a passo:

A. O "Mapa do Tesouro" (A Base de Dados)

Em vez de inventar onde colocar os carros e pedestres aleatoriamente (o que poderia criar situações impossíveis, como um pedestre aparecendo dentro de um prédio), o sistema primeiro "caminha" pelo mapa digital da cidade (como o Google Maps, mas para carros).

• A analogia: É como se o sistema lesse o mapa da cidade e dissesse: "Ok, aqui é uma esquina, aqui tem um semáforo, aqui é uma rua reta". Ele cria uma biblioteca de sementes (cenários iniciais) que são sempre realistas e fazem sentido no trânsito.

B. O "Laboratório de Mutação" (Criando o Caos Controlado)

Agora que temos um cenário realista, o sistema começa a fazer "mutações". Imagine que você tem uma receita de bolo perfeita. O sistema começa a mudar os ingredientes:

• "E se chover muito forte?" (Mudança de clima).
• "E se aparecer um pedestre de repente?" (Adição de objetos).
• "E se o carro tiver que fazer uma curva fechada?" (Mudança de caminho).
• O segredo: Eles usam duas estratégias. Uma é tentar coisas totalmente aleatórias para ver o que acontece. A outra é pegar um cenário que quase deu errado e fazer pequenas alterações ao redor dele para ver se consegue forçar um erro.

C. O "Criticão Inteligente" (A Rede Neural)

Aqui está a parte mais brilhante. O sistema gera milhares de cenários mutados. Testar todos eles no computador demoraria uma eternidade.

• Eles treinaram um cérebro artificial (uma Rede Neural) para atuar como um "crítico de teatro".
• Esse crítico olha para o cenário mutado e diz: "Esse aqui parece perigoso, vamos testar primeiro!" ou "Esse aqui é chato, o carro vai dirigir normal, não vamos perder tempo".
• Ele aprende com os testes anteriores. Se o carro errou em uma situação de chuva com pedestres, o sistema aprende a procurar mais situações parecidas.

D. O Palco e o Resultado

O sistema pega os cenários mais promissores (os mais perigosos) e roda a simulação no carro autônomo.

• Se o carro bater, passar no vermelho ou ficar preso, o sistema grava o erro e para.
• Eles descobriram 58 erros (bugs) em 6 sistemas diferentes de carros autônomos.
• Eles também agruparam esses erros em 54 categorias de acidentes comuns (como "carro não vê criança deitada no chão" ou "carro confunde luz do sol com sinal vermelho").

Por que isso é importante?

Imagine que você está testando um novo avião. Se você só testar em dias de sol e céu limpo, você nunca saberá se o avião aguenta uma tempestade.

• Métodos antigos: Testavam apenas em "dias de sol" ou em situações que os humanos já imaginaram.
• O método deles (ScenarioFuzz): É como um diretor que cria milhares de tempestades, neblinas e pedestres imprevisíveis, mas de forma inteligente, focando apenas nas situações onde o avião (ou o carro) provavelmente vai falhar.

O resultado: Eles conseguiram encontrar erros muito mais rápido (60% mais rápido) e encontraram o dobro de erros perigosos do que os métodos anteriores, tudo isso sem precisar de um roteiro pré-definido, apenas usando a inteligência do mapa e a experiência dos testes passados.

Em resumo, eles ensinaram o computador a ser um detetive de acidentes que sabe exatamente onde procurar as falhas, em vez de apenas chutar onde elas podem estar.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing", apresentado em português:

Título: Dance of the ADS: Orquestrando Falhas por meio de Fuzzing de Cenários Informado Historicamente

1. Problema

Com o avanço dos Sistemas de Direção Autônoma (ADS) em direção a níveis mais altos de autonomia (Nível 4 e 5), a verificação de segurança torna-se extremamente complexa devido à natureza probabilística das redes neurais profundas, à multiplicidade de módulos e à vasta variedade de ambientes externos.

• Desafio Principal: A geração de cenários de teste eficazes que induzam falhas no ADS.
• Limitações Atuais:
  • Métodos baseados em cenários pré-definidos são limitados em escopo e exigem bibliotecas de cenários manuais e custosas.
  • Abordagens de "fuzzing" cego (como o Drivefuzz), que selecionam pontos aleatórios em mapas, geram cenários irrealistas (ex: pedestres ou veículos em locais impossíveis, trajetórias inatingíveis), resultando em alto custo computacional e baixa eficiência na descoberta de bugs.
  • Falta de um mecanismo para filtrar eficientemente quais cenários mutados têm maior probabilidade de causar erros, desperdiçando recursos de simulação.

2. Metodologia: O Framework ScenarioFuzz

O artigo propõe o ScenarioFuzz, uma metodologia de fuzzing baseada em cenários que não depende de um script ou cenário inicial pré-definido. A abordagem é inspirada em um "coreógrafo" que entende o passado para criar novos desafios. O fluxo de trabalho divide-se em quatro etapas principais:

A. Construção do Corpus (Mineração de Mapas - Map Crawling)

• Em vez de escolher pontos aleatórios, o sistema utiliza a tecnologia de Map Crawling para analisar redes viárias (formato OPENDRIVE) em simuladores como o CARLA.
• O algoritmo constrói grafos topológicos, segmenta e classifica estradas por tipo e extrai dados essenciais (pontos de caminho, semáforos, infraestrutura).
• Resultado: Criação de um "corpus de sementes de cenário" rico em informações, que define limites realistas para o fuzzing, garantindo que os cenários gerados tenham viabilidade física e lógica.

B. Mutação de Cenários (Estratégia de Duas Etapas)
O sistema aplica mutadores especializados em elementos do cenário (clima, objetos, poças, missão do veículo) utilizando uma estratégia híbrida:

1. Mutação Aleatória (Global): Explora amplamente o espaço de entrada.
2. Mutação de Vizinhança Aleatória (Local): Após identificar um cenário promissor (baixa pontuação de direção), o sistema gera variações próximas aos atributos atuais para explorar localmente regiões de alta risco.

• Mutadores: Incluem alteração de clima (chuva, neblina, ângulo solar), objetos (pedestres, veículos com diferentes aparências e comportamentos), poças (atrito do solo) e missão do veículo.

C. Filtragem de Sementes (Modelo de Avaliação de Cenários - SEM)

• Para evitar a execução de cenários inofensivos, os candidatos mutados são convertidos em dados de grafos (nós representam waypoints, objetos e sinais; arestas representam caminhos).
• Um modelo de Rede Neural de Grafos (GNN), especificamente um Graph Attention Transformer, é treinado com dados históricos de testes.
• O modelo prevê a probabilidade de um cenário mutado resultar em uma falha (colisão, excesso de velocidade, etc.) e filtra as sementes, selecionando apenas as de maior risco para execução no simulador.

D. Monitoramento e Análise

• Um detector de comportamentos errôneos monitora o ADS em tempo real (colisões, farol vermelho, invasão de faixa, travamento).
• Ao encontrar uma falha, o cenário é registrado.
• Agrupamento (Clustering): Utiliza-se um método de clustering auto-supervisionado nas trajetórias de colisão para categorizar e resumir os tipos de falhas, identificando padrões recorrentes.

3. Contribuições Principais

1. ScenarioFuzz: Um framework de fuzzing inovador que opera sem cenários iniciais pré-definidos, utilizando um corpus extraído automaticamente de mapas de rede viária.
2. Corpus de Sementes: Uma metodologia para extrair e estruturar dados de redes viárias (OPENDRIVE) para servir como base segura e realista para a geração de cenários.
3. Modelo de Filtragem GNN: Uso de uma Rede Neural de Grafos treinada historicamente para prever e filtrar sementes de alto risco, otimizando o processo de fuzzing.
4. Descoberta de Bugs e Categorização: Identificação de 58 bugs em seis sistemas diferentes e a categorização de 54 categorias de cenários de alto risco propensos a colisões.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis sistemas ADS (incluindo Autoware, LAV, Transfuser, NEAT e agentes lógicos) no simulador CARLA.

• Eficiência: O ScenarioFuzz reduziu o tempo de execução médio em 60,3% em comparação com o método Drivefuzz.
• Descoberta de Falhas: O número de cenários de erro descobertos por unidade de tempo aumentou em 103%.
• Comparação com SOTA: Em testes de um único semente, o método superou o AV-Fuzzer e o SAMOTA na diversidade e quantidade de cenários de colisão, especialmente em cruzamentos e interseções em T, onde métodos anteriores falharam devido à falta de planejamento de trajetórias realistas.
• Cobertura de Código: O método demonstrou maior cobertura de código nos módulos de planejamento e controle, evitando que o sistema ficasse preso em cenários locais ineficazes.
• Bugs Encontrados: Foram descobertos 58 bugs, incluindo falhas na detecção de objetos baixos (crianças, pessoas deitadas), erros de fusão de sensores devido a ruído, incapacidade de reconhecer semáforos em simulação e vulnerabilidades em sistemas end-to-end a certas cores e condições de iluminação.

5. Significado e Impacto

O trabalho representa um avanço significativo na segurança de sistemas autônomos ao:

• Eliminar a dependência de cenários manuais: Automatiza a criação da base de testes, tornando-a escalável e adaptável a diferentes mapas.
• Aumentar a realismo e a eficiência: Ao garantir que os cenários de teste sejam geometricamente viáveis e filtrados por inteligência artificial, reduz o custo computacional e aumenta a probabilidade de encontrar falhas críticas.
• Fornecer insights de segurança: A categorização de 54 tipos de cenários de colisão oferece um guia valioso para o desenvolvimento de sistemas mais robustos e para a criação de benchmarks de segurança futuros.

Em resumo, o ScenarioFuzz orquestra a descoberta de falhas de forma inteligente, combinando a exploração estrutural de mapas com a aprendizagem histórica de dados de teste para expor vulnerabilidades críticas em sistemas de direção autônoma que métodos tradicionais poderiam ignorar.