🤖 machine learning

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

Das Papier schlägt SeFaR vor, ein neuartiges Framework, das hierarchische Konzeptmodellierung und generative KI nutzt, um die semantische Robustheit tiefer neuronaler Netze systematisch zu testen, indem es realistische, anforderungenserhaltende Perturbationen erzeugt und durch einen adaptiven Feedbackprozess fehlerverursachende Merkmale identifiziert.

Ursprüngliche Autoren: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Auto zu fahren oder einen felsigen Planeten wie den Mars zu durchqueren. Sie geben dem Roboter eine Reihe von Regeln, wie zum Beispiel: „Wenn ein Auto vor dir ist, beschleunige nicht.“ Aber hier ist der Haken: Roboter lernen, indem sie Bilder betrachten, und sie können überraschend albern sein. Sie könnten verwirrt sein, wenn das Auto vor ihnen blau statt rot ist oder wenn der Himmel in ein staubiges Orange umschlägt. Dies ist die Welt der Deep Neural Networks (Tiefe Neuronale Netze), der kluge Software-Kern hinter selbstfahrenden Autos und Weltraum-Rovern. Während diese Systeme großartig darin sind, Dinge unter perfekten Bedingungen zu erkennen, geraten sie oft ins Straucheln oder machen Fehler, wenn die Welt seltsam, dunkel oder einfach anders wird als das, was sie in der Schule gelernt haben.

Um diese Roboter sicher zu halten, müssen wir sie nicht nur mit zufälligem Rauschen testen, sondern mit semantischen Merkmalen. Denken Sie an diese als die „bedeutungsvollen“ Teile eines Bildes: die Farbe eines Autos, die Art des Wetters oder die Form eines Felsens. Die große Frage, die sich Forscher stellen, lautet: „Wenn wir die Farbe des Autos ändern, aber die Regel ‚nicht beschleunigen‘ wahr bleibt, wird der Roboter dann immer noch Panik bekommen?“ Dieses Paper stellt einen neuen Weg vor, um diese Frage zu beantworten, indem es über das bloße Verändern von Pixeln hinausgeht und stattdessen die Geschichte eines Bildes auf eine kontrollierte, intelligente Weise verändert.

Die „Was wäre wenn?“-Maschine des Roboters

Lernen Sie SeFaR kennen (Semantic Feature-aware Robustness Testing). Sie können sich SeFA als einen sehr kreativen, leicht schelmischen Kunstlehrer für Roboter vorstellen. Seine Aufgabe ist es, die „Regeln“ eines Roboters und eine Menge Bilder, die diesen Regeln folgen, zu nehmen und dann zu fragen: „Was passiert, wenn wir nur eine einzige Sache an dem Bild ändern, wie zum Beispiel eine Limousine in einen Lastwagen zu verwandeln, oder das Wetter in einen Staubsturm zu ändern, während der Rest der Szene exakt gleich bleibt?“

Die meisten alten Methoden, um Roboter zu testen, waren so, als würde man ihnen Sand in die Augen streuen oder ihre Sicht verschwimmen lassen. Das ist nicht besonders hilfreich, denn das echte Leben ist nicht einfach nur verschwommen; es ist voller spezifischer Veränderungen, wie etwa ein grünes Licht, das Rot wird, oder ein Fußgänger, der auftaucht. SeFA ist anders. Es verwendet ein spezielles „hierarchisches Konzeptmodell“, das wie ein Stammbaum der Ideen ist. An der Spitze haben Sie breite Kategorien wie „Fahrzeug“ oder „Wetter“. Wenn Sie die Zweige hinuntergehen, werden Sie spezifischer: „Fahrzeug“ teilt sich in „Lastwagen“ oder „Limousine“ auf, und „Farbe“ teilt sich in „Blau“, „Grün“ oder sogar „Türkis“ auf.

SeFA nutzt leistungsstarke KI-Werkzeuge namens Diffusionsmodelle (denken Sie an sie als superintelligente digitale Maler), um die Bilder neu zu zeichnen. Wenn Sie ihm sagen: „Verändere das Auto zu einem blauen Lastwagen“, malt es einen blauen Lastwagen in die Szene, ohne die Straße, den Himmel oder die anderen Autos zu verändern. Es prüft dann, ob der Roboter immer noch den Regeln folgt. Wenn der Roboter plötzlich beschließt, zu beschleunigen, weil das Auto nun blau ist, entlarvt SeFA ihn!

Die Detektivarbeit

Der wirklich coole Teil ist, wie SeFA den exakten Grund findet, warum der Roboter versagt hat. Manchmal versagt der Roboter aufgrund einer spezifischen Farbe, wie zum Beispiel „Türkis“, für die die Schöpfer des Roboters ihn gar nicht erst getestet haben. SeFA agiert wie ein Detektiv. Es betrachtet die fehlerhaften Bilder und nutzt ein anderes KI-Werkzeug (ein Vision-Language-Modell), um zu beschreiben, was sich geändert hat. Es könnte sagen: „Hey, das Auto wurde türkis, und das ist der Grund, warum der Robot Panik bekommen hat.“

Das Paper testete dies in drei verschiedenen Szenarien:

Selbstfahrende Autos (SGSM): Testen von Regeln wie „Wenn ein Auto 10 Meter vor einem ist, beschleunige nicht.“
Ein Campus-Rover (RRAV): Testen, ob er Verkehrskegel und Menschen erkennen kann.
Ein Mars-Rover (AI4MARS): Testen, ob er große Felsen auf der Marsoberfläche entdecken kann.

Was sie herausgefunden haben

Die Forscher fanden heraus, dass SeFA ein sehr guter Künstler ist. Wenn es die Bilder veränderte, hielt es die Regeln in durchschnittlich 93,4 % der Fälle ein. Das bedeutet, es hat erfolgreich die Farbe des Autos oder das Wetter geändert, ohne versehentlich die Regel zu brechen (wie zum Beispiel das Auto verschwinden zu lassen).

Aber die wahre Überraschung lag in den Fehlern. SeFA entdeckte, dass Roboter überraschend zerbrechlich sind.

Bei den Fahrtests verursachte die Änderung der Autofarbe zu Grün, dass der Roboter in etwa 39,7 % der Fälle versagte. Die Änderung zu einem Lastwagen verursachte Fehlfunktionen in 10,5 % der Fälle.
Noch interessanter: Wenn sie Änderungen kombinierten – wie einen grünen Lastwagen –, sprang die Fehlerrate auf 25,5 %.
Für den Mars-Rover war ein Staubsturm ein großes Problem, der zu Fehlern führte, während andere Wetteränderungen ihn nicht so sehr störten.

Das Paper legt nahe, dass diese Fehler passieren, weil die Roboter auf „spurious correlations“ (scheinbare Korrelationen) angewiesen sind – sie raten basierend auf Dingen, die eigentlich nicht wichtig sein sollten, wie etwa einem speziellen Blauton oder dem Schatten eines Baumes, anstatt auf der eigentlichen Regel zu basieren.

Das Fazっit

SeFA sagt uns nicht nur, dass ein Roboter versagt hat; es sagt uns, warum, indem es das spezifische „Merkmal“ findet, das das Gehirn des Roboters überfordert hat. Es fand heraus, dass Roboter oft fragil sind und versagen, wenn sie auf spezifische, realistische Veränderungen stoßen, wie ein türkisfarbenes Auto oder einen Staubsturm, selbst wenn diese Änderungen die Sicherheitsregeln nicht verletzen.

Die Autoren sind zuversichtlich, dass diese Methode gut funktioniert, um diese verborgenen Schwächen zu finden. Sie haben gezeigt, dass wir durch das systematische Erkunden dieser „Was wäre wenn?“-Szenarien Fehler aufdecken können, die beim Standardtest übersehen werden. Während sie nicht behaupteten, das Problem der Robotersicherheit jemals endgültig gelöst zu haben, haben sie demonstriert, dass SeFA ein leistungsstarkes neues Werkzeug ist, um sicherzustellen, dass unsere zukünftigen Roboter nicht durch eine einfache Farbänderung oder einen plötzlichen Staubsturm verwirrt werden. Es ist ein Schritt in Richtung der Gewissheit, dass wir das Steuer nicht an einen Roboter übergeben, der panisch wird, nur weil der Himmel ein wenig anders aussieht.

Technisches Resümee: SeFaR – Semantische Merkmalsbewusste Robustheitsprüfung von tiefen neuronalen Netzen

1. Problemstellung

Tiefe neuronale Netze (DNNs) werden zunehmend in sicherheitskritischen Bereichen wie autonomen Fahrzeugen, unbemannten Luftfahrtsystemen und der Weltraumerkundung eingesetzt. Während diese Modelle eine starke empirische Genauigkeit aufweisen, versagen sie häufig in seltenen, unterrepräsentierten oder semantisch komplexen Szenarien, was zu unsicherem Verhalten führt. Die Validierung der Leistung über alle relevanten Szenarien hinweg ist eine Herausforderung, insbesondere in Umgebungen wie der Weltraumerkundung, in denen die Datenerhebung unter realen Bedingungen teuer und unpraktikabel ist.

Bestehende Testansätze konzentrieren sich oft auf Pixel-Ebene-Transformationen oder Manipulationen im latenten Raum, die möglicherweise nicht mit bedeutsamen semantischen Änderungen korrespondieren. Andere Methoden, die Simulatoren oder Szenengraphen nutzen, sind begrenzt darin, die reale perzeptive Variabilität zu erfassen. Obwohl jüngste generative Modelltechniken das Bildediting und die Repräsentationsanalyse vorangebracht haben, sind sie nicht für die systematische Robustheitsbewertung von Downstream-Vision-Modellen gegenüber unbeabsichtigten semantischen Variationen konzipiert. Speziell mangelt es an Frameworks, die in der Lage sind, die Robustheit eines Modells in Bezug auf semantische Merkmale systematisch zu bewerten, die orthogonal zu (unrelevant für) den funktionalen Anforderungen des Systems stehen, aber dennoch die Entscheidungen des Modells beeinflussen.

2. Methodik: Das SeFaR-Framework

Die Autoren schlagen SeFaR (Semantic Feature-aware Robustness) vor, ein Framework für die systematische, semantische merkmalszentrierte Prüfung von Vision-Modellen. Das Framework bewertet die Robustheit von Modellen, indem es realistische Perturbationen entlang semantischer Merkmale erzeugt, welche die Erfüllung von High-Level-Anforderungen bewahren, während sie potenziell Fehler aufzeigen.

Kernkomponenten

Hierarchisches Konzeptmodell (Forest of Feature Trees - FFT):
- SeFaR nutzt ein neuartiges hierarchisches Konzeptmodell, das als Wald aus Feature-Trees organisiert ist. Diese Struktur erstreckt sich über mehrere Abstraktionsebenen, von groben Faktoren (z. B. Hintergrund, Objekttyp) bis hin zu feingranularen Attributen (z. B. spezifische Farben, Posen).
- Das Modell ermöglicht domänenspezifisches Expertenwissen (gefüllt durch Experten) und unterstützt die „Open World“-Modellierung über Platzhalter (z. B. _) für nicht spezifizierte Merkmale.
- Merkmale werden mittels logischer Operatoren (or, xor) definiert, um Beziehungen (z. B. „ist-ein“ oder „ist-Teil-von“) darzustellen.
Perturbation und Verletzungserkennung:
- Inputs: Ein neuronales Netzwerk ( $N$ ), eine formalisierte Korrektheitsanforderung ( $\phi = \phi_x \Rightarrow \phi_y$ ), eine Menge von Inputs, die die Anforderung erfüllen ( $D$ ), und eine strukturierte Menge semantischer Merkmale ( $F_\phi$ ), die als invariant erwartet werden.
- Prozess: Das Framework verwendet ein hochmodernes Diffusionsmodell (speziell Qwen-Image-Edit) als Perturbationsoperator ( $\Delta$ ). Gegeben ein Eingabebild und einen natürlichen Sprachprompt, der ein zu änderndes Merkmal spezifiziert, generiert das Modell fotorealistische Variationen, die das Zielmerkmal verändern, während die restliche Szenensemantik erhalten bleibt.
- Verifizierung: Die perturbierten Bilder werden gegen die Postbedingung der Anforderung ( $\phi_y$ ) geprüft. Wenn das Modell die Postbedingung verletzt, obwohl die Voraussetzung ( $\phi_x$ ) erfüllt war, wird eine Verletzung protokolliert.
Adaptive Fehleranalyse und Entdeckung:
- Merkmalslokalisierung: Um die spezifischen semantischen Faktoren zu identifizieren, die zu Fehlern führen, nutzt SeFaR ein Vision-Language-Modell (VLM) (speziell Qwen2.5-VL), um Paare von Original- und perturbierten Bildern zu analysieren. Das VLM wird angewiesen, die Unterschiede in natürlicher Sprache zu beschreiben.
- Semantische Aggregation: Textuelle Beschreibungen der Änderungen werden mittels eines Sentence Transformers eingebettet und geclustert, um gemeinsame fehlerinduzierende Konzepte zu identifizieren. Dieser Prozess kann zuvor unbekannte Merkmale (z. B. die Farbe „Teal“ oder das Wetter „Staubsturm“) entdecken, die nicht in der ursprünglichen benutzerdefinierten Hierarchie vorhanden waren.
- Iterative Verfeinerung: Das Framework nutzt einen feedbackgesteuerten adaptiven Prozess. Detektierte Fehler-Merkmale werden verwendet, um die Feature-Hierarchie für nachfolgende Runden zu verfeinern, indem entweder robuste Merkmale entfernt, risikoarme Merkmale depriorisiert oder tiefere Pfade im Baum für Merkmale exploriert werden, die Fehler verursacht haben.

3. Hauptbeiträge

Das Paper skizziert fünf primäre Beiträge:

SeFaR-Framework: Ein systematisches, semantisch-merkmalszentriertes Test-Framework, das die Robustheit von Vision-Modellen gegenüber Variationen semantischer Merkmale evaluiert, die orthogonal zu den Anforderungen stehen.
Hierarchisches Konzeptmodell: Eine strukturierte Repräsentation (FFT), die die Exploration des semantischen Merkmalsraums erleichtert, die Aufnahme von benutzerdefiniertem Domänenwissen ermöglicht und die Entdeckung nicht spezifizierter Merkmale unterstützt.
Diffusionsbasierte Generierung: Der Einsatz von Diffusionsmodellen zur Generierung anforderungskonservierender, fotorealistischer semantischer Variationen, um Nicht-Robustheit in realistischen, seltenen Szenarien zu detektieren.
Adaptive Entdeckung: Ein Mechanismus zur Entdeckung merkmalsorientierter Fehlererklärungen durch VQA-basierte semantische Analyse, der Testsets generiert, die die Merkmals-Nicht-Robustheit des Modells bezeugen.
Empirische Evidenz: Demonstration der Anwendbarkeit von SeFaR anhand von drei distinkten Fallstudien, die die Fähigkeit zeigen, Anforderungen zu erfüllen und gleichzeitig neue Merkmale zu identifizieren, die Modellentscheidungen beeinflussen.

4. Evaluierung und Ergebnisse

Die Autoren evaluierten SeFAr auf drei Datensätzen, die unterschiedliche Einsatzumgebungen repräsentieren:

SGSM: Autonomes Fahren (CARLA-Simulator) mit Anforderungen aus dem Virginia Driving Code.
RRAV: NASA-Rover-Navigation auf Campusstraßen (Hindernisvermeidung von Kegeln und Fußgängern).
AI4MARS: Mars-Terrain-Navigation (Identifizierung großer Felsen).

Wichtigste Erkenntnisse:

Erhaltung der Voraussetzung (RQ1): SeFaR erreichte konsistent eine hohe Erfüllung der Voraussetzungen (Durchschnitt 93,4 % über alle Datensätze). Dies bestätigt die Fähigkeit des Frameworks, semantische Merkmale zu perturbieren, ohne die Voraussetzungen der Sicherheitsanforderungen zu verletzen.
Offenlegung der Robustheit (RQ2): Das Framework konnte effektiv semantische Merkmale aufzeigen, für die Modelle nicht robust waren.
- Im SGSM-Fall verursachten spezifische Fahrzeugfarben (Grün, Blau) und Typen (LKW) signifikante Fehlerraten (z. B. 39,7 % Fehlerquote bei grünen Fahrzeugen).
- In AI4MARS wurde „Staubsturm“ als fehlerinduzierendes Wetterereignis identifiziert, ein Szenario, das in den ursprünglichen Trainingsdaten nicht vorhanden war.
- Kombinierte semantische Änderungen (z. B. Beleuchtung + Verkehrsschildmast) verstärkten die Vulnerabilität des Modells oft, wobei die Fehlerraten in spezifischen Kombinationen über 50 % erreichten.
Entdeckung unbekannter Merkmale: Die Analyse identifizierte erfolgreich Merkmale, die nicht im ursprünglichen benutzerdefinierten Modell enthalten waren, wie etwa spezifische Farbtöne (Teal) und Umweltbedingungen (Staubsturm), was die Fähigkeit des Frameworks demonstriert, brüchige Verhaltensweisen aufzudecken.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SeFaR eine neuartige Kombination aus hierarchischer semantischer Modellierung, diffusionsbasierter Generierung und feedbackgesteuerter Exploration bietet. Die Bedeutung liegt in:

Systematische Entdeckung: Ermöglicht die systematische Identifizierung von Szenarien, die sicherheitskritische Ausfälle in realen Einsätzen verursachen können, insbesondere solche, die durch seltene oder unterrepräsentierte semantische Variationen induziert werden.
Erklärbarkeit: Die direkte Verknüpfung aufgedeckter Fehler mit spezifischen semantischen Merkmalen liefert Entwicklern handlungsrelevantes Feedback über die Ursachen von Nicht-Robustheit.
Praktischer Nutzen: Positionierung von SeFAR als praktisches Werkzeug zur Verbesserung der Zuverlässigkeit von Vision-basierten Systemen, indem es über das Testen auf Pixelebene hinaus zu einer Robustheitsbewertung auf semantischer Ebene geht.

Die Autoren wahren einen bescheidenen Ton hinsichtlich der Validitätsbedrohungen und räumen ein, dass die Effektivität des Frameworks von der Qualität der zugrunde liegenden Foundation-Modelle und der Prompting-Strategien abhängt und dass breitere Studien unter Nutzung von Experten-geschriebenen Domänen-Ontologien ein natürlicher nächster Schritt sind.