Collaborative Multi-Agent Testing for Emergent Failure Discovery in Autonomous Driving Systems

Technische Samenvatting: CREAD – Collaboratieve Multi-Agent Testmethodiek voor het Ontdekken van Emergente Fouten in Autonome Rijsystemen

Probleemstelling
Autonome Rijsystemen (ADS) zijn veiligheidskritische systemen in een open wereld waarbij fouten niet alleen voortkomen uit defecten binnen individuele modules (perceptie, planning, controle), maar ook uit complexe interacties tussen deze modules. Huidig testonderzoek behandelt kritieke functies – zoals perturbatiegeneratie, gedragsbeoordeling en testgevalselectie – vaak als losjes gekoppelde, sequentiële stappen in plaats van gecoördineerde rollen. Deze scheiding beperkt het vermogen om consistent zeldzame, hoog-consequente fouten te ontdekken, met name die welke emergeren uit de "long tail" van veiligheidskritische scenario's. Bovendien worstelen bestaande benaderingen, inclusief LLM-gestuurde synthese en feedback-gestuurde fuzzing, vaak met het sturen van exploratie naar diverse, veiligheidsrelevante scenariofamilies zonder redundante testgevallen te genereren, en ze missen mechanismen om intermediair bewijs effectief te hergebruiken tussen de generatie- en validatiefases.

Methodologie: Het CREAD-framework
De auteurs stellen CREAD voor (CollaboRative for Emergent ADS behaviour Discovery), een collaboratief multi-agent testframework dat is ontworpen om perturbatiegeneratie, validatie en zoekexploratie te coördineren via een gedeelde blackboard-architectuur en een Orchestrator Agent. In tegenstelling tot eerdere frameworks die zich primair richten op realistische scenario-constructie, behandelt CREAD het testen van ADS als een gesloten-lus collaboratief proces.

Het framework instantieert momenteel drie gecoördineerde rollen:

1. Perception Fuzzer Agent: Genereert gestructureerde, perceptie-georiënteerde perturbaties en scenariovarianten. In de huidige implementatie gebruikt het een LLM (GLM-5-Turbo) om gesede scenario-templates te verfijnen naar specifieke testgevallen die betrekking hebben op verkeersconfiguraties, ego-toestanden en perceptie-presets (bijv. mist, regen, nacht). Het voert scenario's uit in twee passes: een baseline-run en een geperturbeerde run.
2. Metamorphic Validator Agent: Beoordeelt de gedragsconsistentie door de baseline- en de geperturbeerde executies te vergelijken. Het detecteert veiligheidsrelevante inconsistenties (bijv. botsingen, bijna-botsingen, afwijkingen van de rijstrook of perceptiefouten) waarbij de geperturbeerde run disproportionele gedragsveranderingen vertoont ten opzichte van de baseline.
3. Orchestrator Agent: Coördineert globale testprioriteiten met behulp van een grofmazig Quality-Diversity (QD)-geïnspireerd archief. Deze genereert zelf geen scenario's, maar selecteert welke baseline-scenario's opnieuw bezocht of gemuteerd moeten worden op basis van heuristische scores afgeleid van foutopbrengst, ernst, nieuwheid en diversiteit. Het geeft prioriteit aan onderverkende maar veelbelovende scenariofamilies.

Kernmechanisme: Blackboard Collaboratie
Agents interageren asynchroon via een gedeeld blackboard dat baseline-scenario's, geperturbeerde scenario's, executietracés, validatie-uitkomsten en coverage-samenvattingen opslaat. Dit ontwerp stelt de Orchestrator in staat om feedback van de Validator te gebruiken om de Fuzzer te sturen naar specifieke scenariofamilies, waardoor een gesloten lus ontstaat waarbij complementaire testfuncties elkaar tijdens het zoekproces informeren.

Experimentele Evaluatie
De auteurs evalueerden CREAD met behulp van de HighwayEnv simulator in twee omgevingen: Highway (gestructureerd recht wegdek) en Roundabout (dichter, rijkere interacties). De studie maakte gebruik van een ablatie-ontwerp waarbij drie configuraties werden vergeleken over 50 iteraties elk:

• Collaborative (Full System): Beide agents met blackboard en orchestratie.
• Non-collaborative: Beide agents worden sequentieel uitgevoerd zonder blackboard of orchestratie.
• Single-Agent (Baseline): Alleen de Perception Fuzzer.

Het te testen ADS was een deterministisch heuristisch beleid om het effect van de testarchitectuur te isoleren, en perceptie-degradatie werd gemodelleerd als gestructureerde staat-corruptie in plaats van volledige sensor-simulatie.

Resultaten

• Impact van Collaboratie (RQ1): In de Highway-omgeving verbeterde de collaboratieve configuratie de ontdekking van fouten aanzienlijk, waarbij het aantal fouten steeg van 14 naar 52 per 100 scenario's vergeleken met de niet-collaboratieve baseline, terwijl de foutdiversiteit behouden bleef en de perceptiefout-ratio toenam. In de Roundabout-omgeving leverde de collaboratieve configuratie 52 fouten per 100 scenario's op, wat iets onderdeed van de niet-collaboratieve baseline (58 fouten), maar wel een marginale verbetering in foutdiversiteit liet zien.
• Impact van Multi-Agent Architectuur (RQ2): De niet-collaboratieve multi-agent configuratie verbeterde de ontdekking van fouten ten opzichte van de single-agent baseline in beide omgevingen. In Highway steeg het aantal fouten van 12 naar 14 per 100 scenario's; in Roundabout was de stijging substantiëler, van 38 naar 58 fouten per 100 scenario's.

Betekenis en Claims
Het artikel claimt dat CREAD een nieuw paradigma introduceert voor ADS-testen door onderscheidende testrollen (fuzzing, validatie, coördinatie) te organiseren als interagerende agents in plaats van geïsoleerde stappen. De primaire bijdrage is empirisch bewijs dat collaboratief multi-agent testen de ontdekking van fouten kan verbeteren, met name in specifieke omgevingen zoals de Highway-setting, waar het beter presteert dan zowel single-agent als niet-collaboratieve multi-agent baselines.

De auteurs kaderen het huidige werk bescheiden als een proof-of-concept instantiatie gericht op perceptie-fuzzing, waarbij zij opmerken dat de architectuur uitbreidbaar is naar planning- en controlemodules. Zij erkennen beperkingen, waaronder het gebruik van een lichtgewicht simulator (HighwayEnv) in plaats van high-fidelity platforms zoals CARLA, het gebruik van een heuristisch ego-beleid in plaats van een geleerd controller, en de abstractie van perceptie-degradatie. Het artikel concludeert dat hoewel collaboratief testen een veelbelovende richting is voor de ontdekking van emergente fouten, de voordelen omgevingsafhankelijk zijn en dat verdere arbeid vereist is om het framework te valideren in simulaties met hogere getrouwheid en met complexere ADS-controllers.