Technische Samenvatting: CoCoMagic voor Differentiële Metamorfe Testen van Autonome Systemen

1. Probleemstelling

Autonome Systemen (AS's), met name Autonome Rijsystemen (ADS's), ondergaan frequente iteratieve updates die modelhertraining, hyperparameteroptimalisatie en architecturale wijzigingen omvatten. Deze updates brengen het risico met zich mee dat onbedoelde gedragsdegradaties of veiligheidsviolaties worden geïntroduceerd die niet aanwezig waren in eerdere versies. Het testen van deze systemen staat voor drie primaire uitdagingen:

1. Het Orakelprobleem: In complexe, open-ended omgevingen is het vaak onhaalbaar om een grondwaarheid (ground-truth) verwachte output te definiëren voor elk scenario.
2. Scenario-realisme: Kunstmatig geconstrueerde edge cases kunnen zwaktes blootleggen, maar missen vaak praktische relevantie. Falen in scenario's die lijken op operationele omstandigheden uit de echte wereld is kritischer voor veiligheidsbeoordeling.
3. Interpreteerbaarheid: Wanneer gedragsverschillen worden gedetecteerd tussen versies, ontbreekt het ontwikkelaars vaak aan actieerbare inzichten in de oorzaken (bijvoorbeeld specifieke omgevingsfactoren of interacties) die deze divergenties veroorzaken.

Bestaande op zoek gebaseerde testmethoden worstelen vaak met computationele efficiëntie in hoogdimensionale ruimtes en falen in het systematisch vergelijken van versies om door updates veroorzaakte degradaties te isoleren. Bovendien identificeert standaard Differentiële Testen (DT) outputverschillen, maar kan het zonder een testorakel geen veiligheidsimplicaties beoordelen, terwijl standaard Metamorfe Testen (MT) het orakelprobleem aanpakt maar mogelijk niet efficiënt versiespecifieke divergenties targett.

2. Methodologie: CoCoMagic

De auteurs stellen CoCoMagic (Cooperative Co-evolutionary differential and Metamorphic Automated Generator for Interpretable Cases) voor, een raamwerk dat Differentiële Testen, Metamorfe Testen en Coöperatieve Co-evolutionaire Algoritmen (CCEA) integreert met een interpreteerbaarheidslaag.

2.1 Kernraamwerk

CoCoMagic formuleert de generatie van testgevallen als een beperkt zoekprobleem om paren van bronscenario's ($s$) en metamorfe perturbaties ($q$) te vinden die het verschil in schendingen van Metamorfe Relaties (MR) maximaliseren tussen een referentieversie ($V_{ref}$) en een testversie ($V_{test}$).

• Differentiële Testen (DT): Vergelijkt de outputs van twee AS-versies onder identieke inputs om gedragsdivergenties te detecteren.
• Metamorfe Testen (MT): Adres het orakelprobleem door MR's te definiëren—relaties tussen inputs en verwachte outputrelaties (bijvoorbeeld "als een voetganger verschijnt, moet de snelheid afnemen"). Schendingen treden op wanneer de outputrelatie niet geldt.
• Coöperatief Co-evolutionair Algoritme (CCEA): De zoekruimte wordt ontbonden in twee co-evoluerende populaties:
  1. Bronscenario's ($P_s$): Vertegenwoordigen de initiële operationele omstandigheden.
  2. Perturbaties ($P_q$): Vertegenwoordigen transformaties afgeleid van MR's (bijvoorbeeld het toevoegen van een voetganger, het veranderen van het weer).
     Individuen uit beide populaties werken samen om volledige oplossingen te vormen (paren van scenario-perturbatie). De fitness van een individu wordt bepaald door zijn beste samenwerking met leden van de tegenovergestelde populatie.

2.2 Sleutelmechanismen

• Fitnessfunctie: Het doel is om het absolute verschil in de omvang van MR-schendingen tussen $V_{ref}$ en $V_{test}$ te maximaliseren:
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  waarbij $E$ de omvang van de MR-schending kwantificeert.
• Beperkte Zoek & Realisme: Om ervoor te zorgen dat gegenereerde testgevallen praktisch relevant zijn, wordt de zoektocht beperkt door een set uitvoeringsscenario's ($S$) verzameld uit runs van het systeem in de echte wereld. Een dissimilariteitsmetriek straft oplossingen af die significant afwijken van deze realistische scenario's, waardoor de zoektocht wordt geleid naar operationeel plausibele omstandigheden.
• Runtime Initialisatie (RI): De initiële populatie wordt gezaaid met scenario's die zijn bemonsterd uit de set uitvoeringsscenario's $S$, in plaats van willekeurige generatie, om convergentie naar realistische faalmodi te versnellen.
• Interpreteerbaarheid (Root Cause Analysis): Na de generatie maken de auteurs gebruik van het RuleFit-algoritme. RuleFit traint een model op de geïdentificeerde testgevallen om mensleesbare regels te extraheren (bijvoorbeeld "ALS snelheid > 70km/u EN mistig, DAN neemt schending toe"). Dit verklaart waarom de versies divergeren, door specifieke scenario-attributen te koppelen aan de waargenomen gedragsverschillen.

3. Belangrijkste Bijdragen

1. Nieuwe Testmethode: De introductie van CoCoMagic, dat uniek MT en DT combineert binnen een coöperatief co-evolutionair raamwerk om specifiek gedragsdivergenties tussen AS-versies te targeten.
2. Realisme-gestuurde Zoektocht: De integratie van beperkingen en strategieën voor runtime-initialisatie om ervoor te zorgen dat gegenereerde testgevallen operationele omstandigheden uit de echte wereld weerspiegelen, waarmee de "realismegap" in geautomatiseerd testen wordt aangepakt.
3. Integratie van Interpreteerbaarheid: De opname van een op RuleFit gebaseerde analyselaag die hoogdimensionale testresultaten omzet in actieerbare, mensleesbare regels voor debugging en veiligheidsbeoordeling.
4. Empirische Validatie: Een uitgebreide evaluatie op een industrieel ADS (InterFuser) binnen de Carla-simulator, waarbij superioriteit wordt aangetoond ten opzichte van baselijn-zoekmethoden.

4. Experimentele Resultaten

De auteurs evalueerden CoCoMagic tegen Willekeurige Zoektocht (RS) en een Standaard Genetisch Algoritme (SGA) met behulp van het InterFuser ADS in de Carla-simulator.

• Effectiviteit (RQ1): CoCoMagic identificeerde aanzienlijk meer onderscheidende testgevallen die MR-schendingen onthulden dan de baselines. Het bereikte een gemiddelde fitness (ernst van de discrepantie) 53% hoger dan SGA en 40% hoger dan RS.
• Efficiëntie (RQ2): CoCoMagic ontdekte sneller onderscheidende oplossingen, met een verbetering van 126% in het Area Under the Curve (AUC) ten opzichte van SGA en 169% ten opzichte van RS. Het verminderde ook de uitvoeringstijd met ongeveer 17% ten opzichte van de baselines, deels omdat het minder ongeldige (simulator-crashende) scenario's genereerde.
• Invloed van Beperkingen en Initialisatie (RQ3):
  • Het toepassen van beperkingen en Runtime Initialisatie (RI) verbeterde de Gemiddelde Uitvoeringsafstand (AED) aanzienlijk, waardoor testgevallen ~50% meer leken op realistische uitvoeringsscenario's.
  • Deze focus op realisme resulteerde echter in een afweging: een vermindering in het totale aantal gevonden onderscheidende oplossingen (tot ~34% vermindering met gecombineerde RI en beperkingen) en een lichte afname in de ernst van de meest extreme gevonden edge cases.
• Interpreteerbaarheid (RQ4):
  • Nauwkeurigheid: RuleFit bereikte een nauwkeurigheid die vergelijkbaar was met complexe black-box modellen (Random Forest en GBDT) terwijl het een compacte set regels produceerde (~29 regels versus duizenden paden in GBDT).
  • Expertvalidatie: Industriële experts beoordeelden de gegenereerde regels als zeer begrijpelijk (gemiddelde score 4,0/5,0) en nuttig voor het prioriteren van testomstandigheden (gemiddelde score 3,8/5,0).

5. Betekenis en Claims

Het artikel beweert dat CoCoMagic een efficiënte, effectieve en interpreteerbare aanpak biedt voor differentiële testen van evoluerende autonome systemen. De betekenis hiervan ligt in:

• Overbruggen van de Orakelkloof: Door MR's te gebruiken, valideert het veiligheids eigenschappen zonder grondwaarheid-outputs nodig te hebben.
• Versie-bewust Testen: In tegenstelling tot eerdere methoden die een enkele versie testen, optimaliseert CoCoMagic expliciet voor verschillen tussen versies, wat regressietesten en updatevalidatie direct ondersteunt.
• Actieerbare Inzichten: Het interpreteerbaarheidscomponent gaat verder dan het simpelweg markeren van fouten door de specifieke omstandigheden (bijvoorbeeld weer, snelheid, nabijheid van objecten) uit te leggen die ervoor zorgen dat een update de prestaties degradeert, waardoor gerichte debugging wordt ondersteund.
• Praktische Toepasbaarheid: Het gebruik van beperkingen zorgt ervoor dat de testinspanning zich richt op scenario's die waarschijnlijk voorkomen bij implementatie, waardoor de praktische waarde van het testproces voor veiligheidskritieke systemen toeneemt.

De auteurs houden een bescheiden standpunt aan en erkennen dat hoewel hun methode realisme en efficiëntie verbetert, er een inherente afweging bestaat tussen het verkennen van de volledige breedte van de zoekruimte (het vinden van zeldzame, ernstige edge cases) en het focussen op realistische, operationeel onderbouwde scenario's. Ze positioneren CoCoMagic als een hulpmiddel om menselijk oordeel bij veiligheidsbeoordeling te ondersteunen, in plaats van te vervangen.