💻 computer science

Constrained Co-evolutionary Metamorphic Differential Testing for Autonomous Systems with an Interpretability Approach

Dieser Beitrag stellt CoCoMagic vor, ein neuartiges automatisiertes Testframework, das eine eingeschränkte ko-evolutionäre Suche und einen Interpretierbarkeitsansatz einsetzt, um effektiv realistische Testfälle zur Identifizierung und Diagnose von Verhaltensabweichungen zwischen Versionen autonomer Systeme zu generieren.

Ursprüngliche Autoren: Hossein Yousefizadeh, Shenghui Gu, Lionel C. Briand, Ali Nasr

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hossein Yousefizadeh, Shenghui Gu, Lionel C. Briand, Ali Nasr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein selbstfahrendes Auto, das ständig lernt und Updates erhält, ähnlich wie ein Smartphone, das eine neue Softwareversion erhält. Das Problem ist, dass jedes Mal, wenn das Auto ein Update erhält, das Risiko besteht, dass etwas, das zuvor perfekt funktionierte, plötzlich versagt oder sich seltsam verhält. Wie testet man das? Man kann es nicht einfach überallhin fahren und auf das Beste hoffen, und man kann nicht immer genau vorhersagen, wie die „perfekte" Reaktion in jeder einzelnen Verkehrssituation aussehen sollte (wie etwa auf einer überfüllten Straße, auf der Fußgänger in alle Richtungen rennen).

Dieser Artikel stellt ein neues Werkzeug namens CoCoMagic vor, um dieses Problem zu lösen. Denken Sie an CoCoMagic als einen superintelligenten, automatisierten „Finde-den-Unterschied"-Spieleleiter, der speziell für selbstfahrende Autos entwickelt wurde.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das „Finde-den-Unterschied"-Spiel (Differential Testing)

Normalerweise fragt man beim Testen von Software: „Ist das richtig oder falsch?" Bei selbstfahrenden Autos ist es jedoch oft schwer zu sagen, was die „richtige" Antwort ist. Stattdessen stellt CoCoMagic eine andere Frage: „Verhält sich die neue Version des Autos anders als die alte Version?"

Es nimmt das alte Auto (die „Referenz") und das neue Auto (den „Test") und fährt sie durch exakt dieselben virtuellen Szenarien. Wenn das alte Auto für einen Fußgänger bremst, das neue Auto jedoch beschleunigt, markiert CoCoMagic dies als „Divergenz". Es muss nicht unbedingt wissen, ob das Beschleunigen im Vakuum falsch ist; es weiß nur, dass die beiden Versionen unterschiedlich handeln, was ein rotes Tuch ist, das untersucht werden muss.

2. Die „Was-wäre-wenn"-Szenarien (Metamorphic Testing)

Manchmal reicht es nicht aus, dieselbe Route zu fahren, um Fehler zu finden. CoCoMagic verwendet einen Trick namens Metamorphic Testing. Stellen Sie sich ein Szenario vor, in dem ein Auto in der Sonne fährt. CoCoMagic erstellt dann ein „Folge"-Szenario, in dem es plötzlich zu regnen beginnt oder ein Fußgänger auf die Straße tritt.

Es prüft auf Konsistenzregeln. Eine Regel könnte beispielsweise lauten: „Wenn es zu regnen beginnt, sollte das Auto bremsen."

Altes Auto: Sieht Regen, bremst ab. (Gut)
Neues Auto: Sieht Regen, fährt weiter schnell. (Schlechte Divergenz)

CoCoMagic generiert automatisch Tausende dieser „Was-wäre-wenn"-Änderungen, um zu sehen, ob das neue Auto diese grundlegenden Sicherheitsregeln bricht.

3. Die „evolutionäre" Suche (Cooperative Co-evolution)

Die Welt des Fahrens ist riesig. Es gibt unendliche Kombinationen aus Wetter, Verkehr und Straßentypen. Man kann sie nicht alle testen. CoCoMagic verwendet einen evolutionären Ansatz, ähnlich wie die Natur die am besten angepassten Tiere auswählt.

Es erstellt eine „Population" von Testszenarien (wie eine Gruppe verschiedener Fahrsituationen).
Es erstellt auch eine „Population" von Änderungen (wie das Hinzufügen eines Fußgängers oder das Ändern des Wetters).
Diese beiden Gruppen „paaren" sich und „mutieren", um neue, interessantere Szenarien zu schaffen.
Das System behält die Szenarien, die die größten Unterschiede zwischen dem alten und dem neuen Auto aufdecken, und verwirft die langweiligen. Im Laufe der Zeit entwickelt es eine Reihe hochwirksamer Tests, die sehr gut darin sind, versteckte Fehler zu finden.

4. Realistisch bleiben (Constraints)

Ein großes Problem beim automatisierten Testen ist, dass es oft unmögliche Situationen erzeugt, wie ein Auto, das an der Decke fährt, oder einen Fußgänger, der aus dem Nichts erscheint. Diese sind nicht nützlich, weil sie im echten Leben nicht vorkommen.

CoCoMagic verfügt über einen „Realitätscheck"-Filter. Es betrachtet Daten von echten Autos, die auf echten Straßen fahren. Es zwingt seine Suche, nahe an diesen realen Bedingungen zu bleiben. Es ist, als würde man sagen: „Finde mir Fehler, aber nur Fehler, die tatsächlich an einem Dienstagnachmittag in einer belebten Stadt passieren könnten, nicht in einer Fantasiewelt." Dies stellt sicher, dass die Tests für Ingenieure praktisch und nützlich sind.

5. Der „Detektiv"-Bericht (Interpretability)

Wenn CoCoMagic einen Unterschied findet, sagt es nicht einfach nur: „Fehler gefunden." Es agiert wie ein Detektiv. Es verwendet eine Technik namens RuleFit, um einen einfachen, für Menschen lesbaren Bericht zu verfassen, der erklärt, warum der Unterschied aufgetreten ist.

Anstatt einer verwirrenden Wand aus Code könnte es sagen:

„Das neue Auto hat nur dann nicht gebremst, wenn es geregnet hat UND ein Fußgänger auf der linken Straßenseite stand."

Dies hilft Entwicklern, sofort die spezifischen Bedingungen zu verstehen, die das Problem verursachen, damit sie es beheben können.

Die Ergebnisse

Die Autoren testeten CoCoMagic an einem erstklassigen selbstfahrenden System unter Verwendung eines Simulators namens Carla. Sie stellten fest, dass:

Es mehr Fehler findet: Es entdeckte signifikant mehr Unterschiede zwischen den Fahrzeugversionen als Standard-Testmethoden.
Es sie schneller findet: Es benötigte weniger Computerzeit, um diese Fehler zu finden.
Es realistische Fehler findet: Die von ihm generierten Tests lagen viel näher an realen Fahrsituationen als diejenigen anderer Methoden.
Es sich selbst erklärt: Die von ihm generierten Regeln waren für menschliche Experten leicht zu verstehen und zu verwenden, um Reparaturen zu priorisieren.

Kurz gesagt ist CoCoMagic eine intelligente, effiziente und realistische Methode, um sicherzustellen, dass selbstfahrende Autos bei einem Update nicht versehentlich das sichere Fahren verlernen. Es hilft Ingenieuren, die „Finde-den-Unterschied"-Momente zu erkennen, bevor sie zu echten Unfällen werden.

Technische Zusammenfassung: CoCoMagic für differenzielle metamorphe Tests autonomer Systeme

1. Problemstellung

Autonome Systeme (AS), insbesondere autonome Fahrsysteme (ADS), durchlaufen häufig iterative Updates, die ein erneutes Trainieren von Modellen, das Abstimmen von Hyperparametern und architektonische Änderungen beinhalten. Diese Updates bergen das Risiko, unbeabsichtigte Verhaltensverschlechterungen oder Sicherheitsverletzungen einzuführen, die in früheren Versionen nicht vorhanden waren. Das Testen dieser Systeme steht vor drei Hauptherausforderungen:

Das Orakel-Problem: In komplexen, offenen Umgebungen ist es oft nicht machbar, für jedes Szenario eine erwartete Ausgabe als Ground Truth zu definieren.
Szenario-Realismus: Künstlich konstruierte Randfälle können Schwächen aufdecken, fehlen aber häufig an praktischer Relevanz. Ausfälle in Szenarien, die realen Betriebsbedingungen ähneln, sind für die Sicherheitsbewertung kritischer.
Interpretierbarkeit: Wenn zwischen Versionen Verhaltensunterschiede festgestellt werden, fehlt Entwicklern oft handlungsrelevante Einsicht in die Ursachen (z. B. spezifische Umweltfaktoren oder Interaktionen), die diese Abweichungen antreiben.

Bestehende testbasierte Suchmethoden kämpfen häufig mit der Recheneffizienz in hochdimensionalen Räumen und versagen darin, Versionen systematisch zu vergleichen, um updatesbedingte Verschlechterungen zu isolieren. Darüber hinaus identifiziert das Standard-Differential Testing (DT) zwar Ausgabeunterschiede, kann aber ohne ein Testorakel keine Sicherheitsimplikationen bewerten, während das Standard-Metamorphe Testing (MT) das Orakel-Problem adressiert, aber möglicherweise nicht effizient versionsspezifische Abweichungen gezielt ansteuert.

2. Methodik: CoCoMagic

Die Autoren schlagen CoCoMagic (Cooperative Co-evolutionary differential and Metamorphic Automated Generator for Interpretable Cases) vor, ein Framework, das Differential Testing, Metamorphes Testing und kooperative ko-evolutionäre Algorithmen (CCEA) mit einer Interpretierbarkeitsschicht integriert.

2.1 Kern-Framework

CoCoMagic formuliert die Generierung von Testfällen als ein eingeschränktes Suchproblem, um Paare aus Quell-Szenarien ( $s$ ) und metamorphen Perturbationen ( $q$ ) zu finden, die den Unterschied in den Verletzungen metamorpher Relationen (MR) zwischen einer Referenzversion ( $V_{ref}$ ) und einer Testversion ( $V_{test}$ ) maximieren.

Differential Testing (DT): Vergleicht die Ausgaben zweier AS-Versionen unter identischen Eingaben, um Verhaltensabweichungen zu erkennen.
Metamorphes Testing (MT): Adressiert das Orakel-Problem durch die Definition von MRs – Relationen zwischen Eingaben und erwarteten Ausgabebeziehungen (z. B. „Wenn ein Fußgänger erscheint, sollte die Geschwindigkeit sinken"). Verletzungen treten auf, wenn die Ausgabebeziehung nicht gilt.
Kooperativer Ko-Evolutionärer Algorithmus (CCEA): Der Suchraum wird in zwei ko-evolvierende Populationen zerlegt:
1. Quell-Szenarien ( $P_s$ ): Repräsentieren die initialen Betriebsbedingungen.
2. Perturbationen ( $P_q$ ): Repräsentieren Transformationen, die von MRs abgeleitet sind (z. B. Hinzufügen eines Fußgängers, Wetteränderung).
  Individuen aus beiden Populationen arbeiten zusammen, um vollständige Lösungen (Szenario-Perturbation-Paare) zu bilden. Die Fitness eines Individuums wird durch seine beste Zusammenarbeit mit Mitgliedern der gegenüberliegenden Population bestimmt.

2.2 Schlüsselmechanismen

Fitness-Funktion: Das Ziel ist es, den absoluten Unterschied im Ausmaß der MR-Verletzungen zwischen $V_{ref}$ und $V_{test}$ zu maximieren:
$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$
wobei $E$ das Ausmaß der MR-Verletzung quantifiziert.
Eingeschränkte Suche & Realismus: Um sicherzustellen, dass generierte Testfälle praktisch relevant sind, wird die Suche durch eine Menge von Ausführungsszenarien ( $S$ ) eingeschränkt, die aus realen Systemläufen gesammelt wurden. Eine Dissimilaritätsmetrik bestraft Lösungen, die erheblich von diesen realistischen Szenarien abweichen, und lenkt die Suche hin zu betrieblich plausiblen Bedingungen.
Laufzeit-Initialisierung (RI): Die initiale Population wird mit Szenarien gesät, die aus dem Satz der Ausführungsszenarien $S$ entnommen wurden, anstatt durch zufällige Generierung, um die Konvergenz hin zu realistischen Ausfallmodi zu beschleunigen.
Interpretierbarkeit (Ursachenanalyse): Nach der Generierung wenden die Autoren den RuleFit-Algorithmus an. RuleFit trainiert ein Modell auf den identifizierten Testfällen, um für Menschen lesbare Regeln zu extrahieren (z. B. „WENN Geschwindigkeit > 70 km/h UND neblig, DANN steigt die Verletzung"). Dies erklärt, warum sich die Versionen unterscheiden, indem es spezifische Szenarioattribute mit den beobachteten Verhaltensunterschieden verknüpft.

3. Hauptbeiträge

Neuartige Testmethode: Die Einführung von CoCoMagic, das MT und DT auf einzigartige Weise innerhalb eines kooperativen ko-evolutionären Frameworks kombiniert, um gezielt Verhaltensabweichungen zwischen AS-Versionen zu adressieren.
Realismus-gesteuerte Suche: Die Integration von Einschränkungen und Laufzeit-Initialisierungsstrategien, um sicherzustellen, dass generierte Testfälle reale Betriebsbedingungen widerspiegeln und so die „Realismuslücke" im automatisierten Testen schließen.
Integration der Interpretierbarkeit: Die Einbeziehung einer auf RuleFit basierenden Analysschicht, die hochdimensionale Testergebnisse in handlungsrelevante, für Menschen lesbare Regeln für das Debugging und die Sicherheitsbewertung umwandelt.
Empirische Validierung: Eine umfassende Evaluation an einem industrietauglichen ADS (InterFuser) innerhalb des Carla-Simulators, die die Überlegenheit gegenüber Baseline-Suchmethoden demonstriert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten CoCoMagic im Vergleich zu Random Search (RS) und einem Standard-Genetischen Algorithmus (SGA) unter Verwendung des InterFuser ADS im Carla-Simulator.

Wirksamkeit (RQ1): CoCoMagic identifizierte signifikant mehr verschiedene Testfälle, die MR-Verletzungen aufdeckten, als die Baselines. Es erreichte eine durchschnittliche Fitness (Schweregrad der Diskrepanz), die 53 % höher als bei SGA und 40 % höher als bei RS war.
Effizienz (RQ2): CoCoMagic entdeckte verschiedene Lösungen schneller und erzielte eine Verbesserung der Fläche unter der Kurve (AUC) um 126 % gegenüber SGA und 169 % gegenüber RS. Es reduzierte zudem die Ausführungszeit um etwa 17 % im Vergleich zu den Baselines, teilweise weil es weniger ungültige (Simulator-Abstürze verursachende) Szenarien generierte.
Auswirkung von Einschränkungen und Initialisierung (RQ3):
- Die Anwendung von Einschränkungen und Laufzeit-Initialisierung (RI) verbesserte die durchschnittliche Ausführungsentfernung (AED) signifikant und machte Testfälle ca. 50 % ähnlicher zu realen Ausführungsszenarien.
- Dieser Fokus auf Realismus führte jedoch zu einem Trade-off: einer Verringerung der Gesamtzahl der gefundenen verschiedenen Lösungen (bis zu ca. 34 % Reduktion bei kombinierter RI und Einschränkungen) und einer leichten Abnahme der Schwere der extremsten gefundenen Randfälle.
Interpretierbarkeit (RQ4):
- Genauigkeit: RuleFit erreichte eine Genauigkeit, die mit komplexen Black-Box-Modellen (Random Forest und GBDT) vergleichbar war, während es einen kompakten Satz von Regeln erzeugte (~29 Regeln gegenüber Tausenden von Pfaden in GBDT).
- Expertenvalidierung: Industrielle Experten bewerteten die generierten Regeln als hochgradig verständlich (durchschnittliche Punktzahl 4,0/5,0) und nützlich für die Priorisierung von Testbedingungen (durchschnittliche Punktzahl 3,8/5,0).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CoCoMagic einen effizienten, effektiven und interpretierbaren Ansatz für das differenzielle Testen sich entwickelnder autonomer Systeme bietet. Ihre Bedeutung liegt in:

Überbrückung der Orakel-Lücke: Durch die Verwendung von MRs validiert es Sicherheitseigenschaften ohne Notwendigkeit von Ground-Truth-Ausgaben.
Versionsbewusstes Testen: Im Gegensatz zu früheren Methoden, die eine einzelne Version testen, optimiert CoCoMagic explizit für Unterschiede zwischen Versionen und unterstützt so direkt Regressionstests und Update-Validierungen.
Handlungsrelevante Einsichten: Die Interpretierbarkeitskomponente geht über das bloße Markieren von Ausfällen hinaus, indem sie die spezifischen Bedingungen (z. B. Wetter, Geschwindigkeit, Objektnähe) erklärt, die dazu führen, dass ein Update die Leistung verschlechtert, und damit gezieltes Debugging unterstützt.
Praktische Anwendbarkeit: Die Verwendung von Einschränkungen stellt sicher, dass die Testbemühungen sich auf Szenarien konzentrieren, die im Einsatz wahrscheinlich auftreten, was den praktischen Wert des Testprozesses für sicherheitskritische Systeme erhöht.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass ihre Methode zwar Realismus und Effizienz verbessert, aber ein inhärenter Trade-off zwischen der Erforschung der gesamten Breite des Suchraums (Finden seltener, schwerwiegender Randfälle) und dem Fokus auf realistische, betrieblich fundierte Szenarien besteht. Sie positionieren CoCoMagic als Werkzeug, das menschliche Urteilsfähigkeit bei der Sicherheitsbewertung zu unterstützen, anstatt sie zu ersetzen.