Robust Adversarial Quantification via Conflict-Aware Evidential Deep Learning

Die vorgestellte Arbeit führt Conflict-Aware Evidential Deep Learning (C-EDL) ein, eine leichte Nachbearbeitungsmethode, die durch die Quantifizierung von Repräsentationswidersprüchen mittels diverser Transformationen die Robustheit von Evidential Deep Learning gegenüber adversariellen Angriffen und Out-of-Distribution-Daten signifikant verbessert, ohne dass ein Nachtraining erforderlich ist.

Das Wesentliche

🛡️ Der unsichtbare Wächter: Wie KI sicherer wird

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas zu selbstsicheren Freund. Er ist ein KI-Modell, das Bilder erkennt. Wenn er ein Bild von einer Katze sieht, sagt er: „Das ist eine Katze!" – und er ist sich zu 100 % sicher. Das ist toll, wenn es wirklich eine Katze ist.

Aber was passiert, wenn er ein Bild von einem Hund sieht, das aber so aussieht, als wäre es eine Katze? Oder wenn jemand das Bild absichtlich manipuliert hat (ein sogenannter „Adversarial Attack"), damit er es falsch erkennt?

Der normale KI-Freund würde trotzdem sagen: „Das ist eine Katze!" und dabei extrem selbstsicher sein. Das ist gefährlich, besonders in Bereichen wie autonomem Fahren oder Medizin. Er merkt nicht, dass er unsicher ist.

🧩 Das Problem: Der „Ein-Spur"-Fehler

Die aktuelle Methode, die als „Evidential Deep Learning" (EDL) bekannt ist, versucht, Unsicherheit zu messen. Aber sie funktioniert wie ein Ein-Spur-Modell: Sie schaut sich das Bild nur einmal an und trifft eine Entscheidung. Wenn das Bild manipuliert ist oder völlig fremd aussieht, täuscht sie sich oft und bleibt trotzdem selbstsicher.

💡 Die Lösung: C-EDL – Der „Meinungsstreit"-Detektor

Die Forscher aus York und Zypern haben eine neue Methode namens C-EDL (Conflict-aware Evidential Deep Learning) entwickelt.

Stell dir C-EDL nicht als einen einzelnen Experten vor, sondern als einen Rat von fünf verschiedenen Gutachtern, die sich das selbe Bild ansehen, aber aus leicht unterschiedlichen Perspektiven.

1. Die Transformation (Der Blickwinkel-Wechsel):
   Bevor der Rat entscheidet, nimmt C-EDL das Bild und macht kleine, harmlose Veränderungen daran. Es dreht es ein bisschen, verschiebt es oder fügt ein wenig Rauschen hinzu.

   • Die Analogie: Stell dir vor, du hast ein Foto von einem Hund. Du drehst das Foto leicht, hältst es schräg oder schaust es durch eine Brille mit leichtem Filter an. Ein echter Hund sieht immer noch wie ein Hund aus, egal wie du ihn ansiehst.

2. Der Meinungsstreit (Der Konflikt):
   Jetzt schaut sich der Rat das Bild in diesen verschiedenen Versionen an.

   • Szenario A (Normales Bild): Alle fünf Gutachter sagen: „Das ist eine Katze!" Sie sind sich einig. Kein Konflikt. Die KI bleibt ruhig und sagt: „Ich bin mir sicher."
   • Szenario B (Manipuliertes oder fremdes Bild): Hier wird es interessant. Gutachter 1 sagt: „Das sieht aus wie eine Katze." Gutachter 2 sagt: „Moment, bei dieser Drehung sieht es eher wie ein Auto aus." Gutachter 3 ist verwirrt.
   • Der Clou: C-EDL merkt diesen Konflikt (den Meinungsstreit). Es sagt: „Aha! Wenn ich das Bild nur ein bisschen verändere, sind sich meine eigenen Meinungen nicht einig. Das bedeutet, ich sollte vorsichtig sein!"

3. Die Reaktion (Die Dämpfung):
   Sobald C-EDL diesen Konflikt bemerkt, dämpft es die Selbstsicherheit des Modells. Statt zu schreien: „Das ist eine Katze!", sagt es leise: „Ich bin mir bei diesem Bild nicht sicher, vielleicht ist es gar keine Katze."

   • Die Metapher: Es ist wie ein Feuerwehrmann, der bei Rauch (Konflikt) nicht einfach weiterläuft, sondern sofort den Alarm drückt und sagt: „Hier ist etwas faul, wir müssen aufpassen!"

🚀 Warum ist das so genial?

• Kein Neulernen nötig: C-EDL muss das KI-Modell nicht von Grund auf neu trainieren. Es ist wie ein Nachrüst-Set (ein „Post-hoc"-Ansatz). Du kannst es einfach auf jede bereits trainierte KI legen, und sie wird sofort sicherer.
• Super-effizient: Es kostet kaum Rechenzeit. Es ist nicht so schwerfällig wie andere Methoden, die das Modell tausendfach durchlaufen lassen müssten.
• Ergebnisse: In Tests hat C-EDL gezeigt, dass es bis zu 90 % besser darin ist, manipulierte Bilder zu erkennen als die alten Methoden. Es lässt sich nicht so leicht täuschen.

🎯 Zusammenfassung in einem Satz

C-EDL ist wie ein vorsichtiger Sicherheitschef, der nicht nur auf das Ergebnis schaut, sondern prüft, ob das KI-Modell bei kleinen Änderungen am Bild immer noch dieselbe Meinung hat. Wenn die Meinungen auseinandergehen, weiß der Chef: „Hier stimmt etwas nicht, wir vertrauen dem Ergebnis nicht!"

Dadurch werden KI-Systeme viel robuster gegen Betrug und Fehler, ohne dass sie langsamer werden oder ihre Intelligenz verlieren.

Technische Zusammenfassung

1. Problemstellung

Die Zuverlässigkeit von Deep-Learning-Modellen ist in sicherheitskritischen Anwendungen (z. B. autonomes Fahren, Gesundheitswesen) von entscheidender Bedeutung. Modelle müssen in der Lage sein, Unsicherheit zu erkennen, insbesondere bei Out-of-Distribution (OOD) Eingaben (Daten, die stark von der Trainingsverteilung abweichen) und adversariellen Eingaben (subtil manipulierten Daten, die das Modell täuschen sollen).

Ein vielversprechender Ansatz zur Unsicherheitsquantifizierung (UQ) ist das Evidential Deep Learning (EDL). EDL modelliert Klassifizierungswahrscheinlichkeiten als Dirichlet-Verteilungen und kann epistemische (Wissens-) und aleatorische (Daten-) Unsicherheit in einem einzigen deterministischen Vorwärtsdurchlauf schätzen. Dies macht EDL effizient und skalierbar.

Das Hauptproblem: Trotz seiner Effizienz ist EDL anfällig für adversarielle Angriffe. Da es auf einem einzigen deterministischen Durchlauf basiert, neigt es dazu, bei gestörten Eingaben übermäßig selbstbewusste (overconfident) Fehler zu machen. Das Modell erkennt die Unsicherheit nicht, wenn das Eingabesignal durch Gradienten-basierte Angriffe (wie PGD) manipuliert wird, und klassifiziert OOD-Daten fälschlicherweise als In-Distribution (ID). Bestehende Erweiterungen von EDL oder Post-hoc-Methoden (wie Smoothed EDL) verbessern die Robustheit nur unzureichend oder erfordern teure Neuentwicklungen.

2. Methodik: Conflict-Aware Evidential Deep Learning (C-EDL)

Die Autoren stellen C-EDL vor, einen leichten Post-hoc-Ansatz, der auf einem bereits trainierten EDL-Modell aufsetzt, ohne dass ein erneutes Training erforderlich ist. Der Ansatz basiert auf der Dempster-Shafer-Theorie, wonach die Aggregation mehrerer Evidenzquellen zu zuverlässigeren Überzeugungen führt.

Der Workflow von C-EDL umfasst drei Hauptschritte:

1. Eingabe-Augmentierung und Evidenz-Generierung:

   • Für jede Eingabe $x$ werden $T$ metamorphe Transformationen $\{\tau_1, \dots, \tau_T\}$ angewendet. Diese Transformationen sind label-erhaltend (z. B. leichte Rotation, Verschiebung oder Rauschen bei Bildern), ändern also die Semantik nicht, aber die pixelbasierte Darstellung.
   • Jede transformierte Version wird durch das vortrainierte EDL-Modell geführt, was eine Menge von Dirichlet-Parametern (Evidenzvektoren) $\mathcal{A} = \{\alpha^{(1)}, \dots, \alpha^{(T)}\}$ erzeugt.

2. Konfliktmessung (Conflict Measurement):
   C-EDL quantifiziert die Diskrepanz zwischen den Ansichten durch zwei komplementäre Maße:

   • Intra-Klassen-Variabilität ($C_{intra}$): Misst die Schwankung der Evidenz für eine einzelne Klasse über die verschiedenen Transformationen hinweg (Standardabweichung geteilt durch den Mittelwert). Hohe Variabilität deutet auf instabile epistemische Unsicherheit hin.
   • Inter-Klassen-Konflikt ($C_{inter}$): Misst Fälle, in denen das Modell konkurrierende Klassen gleichzeitig mit hoher Evidenz unterstützt (z. B. wenn zwei Klassen fast gleiche Wahrscheinlichkeiten haben). Dies wird durch eine spezielle Formel berechnet, die das Verhältnis der minimalen zur maximalen Evidenz und die Gesamtstärke der Evidenz berücksichtigt.
   • Gesamtkonflikt-Score ($C$): Beide Maße werden zu einem einzigen Score $C \in (0, 1]$ kombiniert, der die Diskrepanz aggregiert.

3. Konfliktbewusste Anpassung (Conflict Adjustment):

   • Die aggregierten Dirichlet-Parameter $\bar{\alpha}_k$ werden basierend auf dem Konflikt-Score $C$ skaliert.
   • Es wird eine exponentielle Abklingfunktion angewendet: $\tilde{\alpha}_k = \bar{\alpha}_k \times \exp(-\delta C)$.
   • Effekt: Bei hohem Konflikt (typisch für OOD oder adversarielle Daten) wird die Gesamtevidenz reduziert, was die Unsicherheit ($u = K/S$) erhöht und die Vorhersage weniger selbstbewusst macht. Bei niedrigem Konflikt (typisch für saubere ID-Daten) bleibt die Evidenz weitgehend erhalten, um die Genauigkeit nicht zu beeinträchtigen.

3. Hauptbeiträge

1. C-EDL-Post-hoc-Ansatz: Eine neue Methode zur Verbesserung der Unsicherheitsschätzung von EDL-Modellen durch label-erhaltende Transformationen und Konfliktanalyse.
2. Theoretische Garantien: Ein Beweis, dass der Konflikt-Score $C$ beschränkt ist (zwischen 0 und 1), monoton mit zunehmendem Konflikt wächst und gegen 0 konvergiert, wenn alle Transformationen identische, konzentrierte Dirichlet-Parameter liefern.
3. Umfassendes Benchmarking: Evaluation über diverse Datensätze (MNIST, CIFAR, SVHN, etc.), verschiedene OOD-Szenarien (nahe und ferne OOD) und Angriffsarten (gradientenbasiert und nicht-gradientenbasiert).

4. Ergebnisse

Die experimentelle Evaluation zeigt, dass C-EDL den State-of-the-Art (SOTA) in Bezug auf die Erkennung von OOD- und adversariellen Daten deutlich übertrifft:

• Reduktion der Abdeckung (Coverage): C-EDL reduziert die Abdeckung (den Anteil der Daten, die das Modell akzeptiert) für OOD-Daten um bis zu 55 % und für adversarielle Daten um bis zu 90 % im Vergleich zu SOTA-EDL-Varianten (wie I-EDL, S-EDL, H-EDL).
• Beibehaltung der ID-Genauigkeit: Die Genauigkeit auf sauberen In-Distribution-Daten bleibt nahezu unverändert (nahe dem Deckelwert), und die ID-Abdeckung sinkt nur marginal. Dies beweist, dass die Robustheitsgewinne nicht auf Kosten der Leistung auf normalen Daten erzielt werden.
• Robustheit gegenüber Angriffstypen: C-EDL ist effektiv gegen gradientenbasierte Angriffe (L2-PGD, FGSM) und nicht-gradientenbasierte Angriffe (Salt-and-Pepper-Rauschen).
• Vergleich mit MC-Dropout: Die Verwendung von metamorphen Transformationen (C-EDL Meta) ist effektiver als die Verwendung von Monte-Carlo-Dropout (C-EDL MC), da die strukturierten, semantisch erhaltenen Perturbationen eine bessere Grundlage für die Erkennung epistemischer Unsicherheit bieten.
• Effizienz: Obwohl zusätzliche Transformationen durchgeführt werden, bleibt der Rechenaufwand gering. Die Inferenzzeit ist deutlich niedriger als bei anderen Post-hoc-Methoden wie Smoothed EDL (S-EDL), die viele gestörte Stichproben benötigen.

5. Bedeutung und Fazit

C-EDL bietet eine leichte, nachträgliche Lösung, um die Schwachstelle der Überzeugungssicherheit bei EDL-Modellen unter adversariellen Bedingungen zu beheben. Durch die Quantifizierung von Diskrepanzen in label-erhaltenden Ansichten kann das System zuverlässig erkennen, wann es sich in einem unsicheren Zustand befindet, ohne das ursprüngliche Modell neu trainieren zu müssen.

Dies ist besonders wichtig für den Einsatz von KI in Edge-AI-Systemen und sicherheitskritischen Umgebungen, wo Rechenressourcen begrenzt sind und die Fähigkeit, OOD- oder manipulierte Eingaben zu verwerfen, entscheidend für die Sicherheit ist. Die Methode stellt einen signifikanten Schritt hin zu robusteren und vertrauenswürdigeren KI-Systemen dar.