Collaborative Multi-Agent Testing for Emergent Failure Discovery in Autonomous Driving Systems

Resumo Técnico: CREAD – Teste Colaborativo Multiagente para Descoberta de Falhas Emergentes em Sistemas de Condução Autónoma

Definição do Problema
Os Sistemas de Condução Autónoma (ADS) são sistemas de mundo aberto e críticos para a segurança, onde as falhas surgem não apenas de defeitos em módulos individuais (perceção, planeamento, controlo), mas também de interações complexas entre eles. A investigação atual em testes trata frequentemente as funções críticas — geração de perturbações, avaliação comportamental e seleção de casos de teste — como etapas sequenciais e fracamente acopladas, em vez de papéis coordenados. Esta separação limita a capacidade de descobrir consistentemente falhas raras e de alta consequência, particularmente aquelas que emergem da "cauda longa" de cenários críticos para a segurança. Além disso, as abordagens existentes, incluindo a síntese guiada por LLM e o fuzzing guiado por feedback, têm dificuldade em direcionar a exploração para famílias de cenários diversas e relevantes para a segurança sem gerar casos de teste redundantes, e carecem de mecanismos para reutilizar eficazmente evidências intermédias entre as fases de geração e validação.

Metodologia: O Framework CREAD
Os autores propõem o CREAD (CollaboRative for Emergent ADS behaviour Discovery), um framework de teste multiagente colaborativo concebido para coordenar a geração de perturbações, a validação e a exploração de busca através de uma arquitetura de quadro negro (blackboard) e de um Agente Orquestrador. Ao contrário de frameworks anteriores que se focam primariamente na construção de cenários realistas, o CREAD trata o teste de ADS como um processo colaborativo de ciclo fechado.

O framework instancia atualmente três papéis coordenados:

1. Agente de Fuzzing de Perceção: Gera perturbações estruturadas orientadas para a perceção e variantes de cenários. Na implementação atual, utiliza um LLM (GLM-5-Turbo) para refinar modelos de cenários semente em casos de teste específicos envolvendo configurações de tráfego, estados do veículo (ego state) e presets de perceção (ex: nevoeiro, chuva, noite). Executa os cenários em duas passagens: uma execução de base (baseline) e uma execução perturbada.
2. Agente de Validação Metamórfica: Avalia a consistência comportamental comparando as execuções de base e as perturbadas. Deteta inconsistências relevantes para a segurança (ex: colisões, quase-colisões, saídas de faixa ou falhas de perceção) onde a execução perturbada exibe mudanças comportamentais desproporcionais em relação à execução de base.
3. Agente Orquestrador: Coordena as prioridades globais de teste utilizando um arquivo inspirado numa abordagem de Qualidade-Diversidade (QD) de nível grosseiro. Não gera cenários por si próprio, mas seleciona quais os cenários de base para revisitar ou mutar com base em pontuações heurísticas derivadas do rendimento de falhas, severidade, novidade e diversidade. Prioriza famílias de cenários subexploradas, mas promissoras.

Mecanismo Chave: Colaboração via Quadro Negro (Blackboard)
Os agentes interagem de forma assíncrona através de um quadro negro partilhado que armazena cenários de base, cenários perturbados, traços de execução, resultados de validação e resumos de cobertura. Este design permite que o Orquestrador utilize o feedback do Validador para guiar o Fuzzer para famílias de cenários específicas, criando um ciclo fechado onde funções de teste complementares se informam mutuamente durante o processo de busca.

Avaliação Experimental
Os autores avaliaram o CREAD utilizando o simulador HighwayEnv em dois ambientes: Highway (estrada reta estruturada) e Roundabout (interações mais densas e ricas). O estudo empregou um design de ablação comparando três configurações ao longo de 50 iterações cada:

• Colaborativo (Sistema Completo): Ambos os agentes com quadro negro e orquestração.
• Não-colaborativo: Ambos os agentes executados sequencialmente sem quadro negro ou orquestração.
• Agente Único (Baseline): Apenas o Fuzzer de Perceção.

O ADS testado foi uma política heurística determinística para isolar o efeito da arquitetura de teste, e a degradação da perceção foi modelada como corrupção de estado estruturada, em vez de uma simulação completa de sensores.

Resultos

• Impacto da Colaboração (RQ1): No ambiente Highway, a configuração colaborativa melhorou significativamente a descoberta de falhas, aumentando de 14 para 52 falhas por 100 cenários em comparação com o baseline não-colaborativo, mantendo a diversidade de falhas e aumentando a taxa de falhas de perceção. No ambiente Roundabout, a configuração colaborativa produziu 52 falhas por 100 cenários, desempenho ligeiramente inferior ao baseline não-colaborativo (58 falhas), mas mostrando uma melhoria marginal na diversidade de falhas.
• Impacto da Arquitetura Multiagente (RQ2): A configuração multiagente não-colaborativa melhorou a descoberta de falhas em relação ao baseline de agente único em ambos os ambientes. Em Highway, as falhas subiram de 12 para 14 por 100 cenários; em Roundabout, o aumento foi mais substancial, de 38 para 58 por 100 cenários.

Significância e Alegações
O artigo afirma que o CREAD introduz um novo paradigma para o teste de ADS ao organizar distintos papéis de teste (fuzzing, validação, coordenação) como agentes interativos em vez de etapas isoladas. A principal contribuição é a evidência empírica de que o teste multiagente colaborativo pode melhorar a descoberta de falhas, particularmente em ambientes específicos como o cenário de Highway, onde supera tanto os baselines de agente único como os não-colaborativos.

Os autores enquadram modestamente o trabalho atual como uma instanciação de prova de conceito focada no fuzzing de perceção, observando que a arquitetura é extensível aos módulos de planeamento e controlo. Eles reconhecem limitações, incluindo o uso de um simulador leve (HighwayEnv) em vez de plataformas de alta fidelidade como o CARLA, o uso de uma política de condução (ego policy) heurística em vez de um controlador aprendido, e a abstração da degradação da perceção. O artigo conclui que, embora o teste colaborativo seja uma direção promissora para a descoberta de falhas emergentes, os seus benefícios dependem do ambiente, sendo necessário mais trabalho para validar o framework em simulações de maior fidelidade e com controladores de ADS mais complexos.