🤖 AI

A Robust Out-of-Distribution Detection Framework via Synergistic Smoothing

Dieser Beitrag stellt ROSS vor, ein robustes nachgelagertes Framework zur Erkennung von Out-of-Distribution-Daten, das Median-Glättung nutzt, um lokale Instabilität von Scores zu quantifizieren und dadurch einen state-of-the-art symmetrischen Schutz gegen sowohl score-minimierende als auch score-maximierende adversariale Angriffe erreicht.

Ursprüngliche Autoren: Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitsbeamten (eine KI), der an der Tür eines Clubs steht. Dieser Beamte ist hervorragend darin, reguläre Mitglieder (In-Distribution-Daten) zu erkennen und weiß normalerweise, wann er sie hereinlassen muss. Allerdings hat der Beamte einen gefährlichen Fehler: Wenn ein Fremder (Out-of-Distribution-Daten) eine überzeugende Verkleidung aufsetzt oder den Beamten mit einer bestimmten Art von Rauschen täuscht, könnte der Beamte sie selbstbewusst hereinlassen und denken, sie seien ein Mitglied. Dies stellt ein Sicherheitsrisiko dar.

Die Arbeit stellt ein neues System namens ROSS (Robust OOD Detector via Synergistic Smoothing) vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „launische" Beamte

Aktuelle Sicherheitsbeamte (KI-Detektoren) sind oft „richtungsabhängig".

Manche Beamten sind darauf trainiert, nervös zu werden, wenn jemand zu perfekt aussieht. Wenn ein Trickbetrüger den Fremden etwas mehr „mitglied-ähnlich" aussehen lässt, gerät der Beamte in Verwirrung und lässt ihn herein.
Andere Beamten sind darauf trainiert, nervös zu werden, wenn jemand zu unordentlich aussieht. Wenn ein Trickbetrüger den Fremden etwas mehr „fremd-ähnlich" aussehen lässt, gerät der Beamte in Verwirrung.
Der Fehler: Diese Beamten sind anfällig für bestimmte Arten von Tricks. Wenn Sie wissen, wie man Beamten A täuscht, können Sie die Sicherheit umgehen.

2. Die Lösung: Der „Stabilitätstest"

ROSS ändert das Spiel. Anstatt den Fremden nur einmal zu betrachten, bittet ROSS den Beamten, den Fremden 25 Mal zu betrachten, während er jedes Mal die Kamera leicht schüttelt oder ein wenig statisches Rauschen zum Bild hinzufügt.

Stellen Sie es sich so vor:

Das echte Mitglied (In-Distribution): Wenn Sie von einem echten Mitglied 25 Mal mit einer wackeligen Kamera ein Foto machen, sieht es immer noch wie dieselbe Person aus. Sein Gesicht ist stabil. Das Vertrauen des Beamten schwankt nicht viel.
Der Betrüger (Out-of-Distribution): Wenn Sie von einem Betrüger 25 Mal mit einer wackeligen Kamera ein Foto machen, könnte das Bild in einer Aufnahme wie eine Katze aussehen, in einer anderen wie ein Felsbrocken und in der nächsten wie eine Unschärfe. Die Meinung des Beamten schwankt wild. Sie sind instabil.

3. Die Zwei-Schritte-Prüfung

ROSS verwendet zwei spezifische Werkzeuge, um seine Entscheidung zu treffen:

A. Der „Median" (Der Mittelweg)
Anstatt den Durchschnitt der 25 Meinungen des Beamten zu nehmen (was durch einen einzigen seltsamen Ausreißer verzerrt werden kann), nimmt ROSS die mittlere Meinung. Das ist so, als würde man eine Menschenmenge nach einer Schätzung fragen und die lautesten, extremsten Stimmen ignorieren. Dies ergibt einen „geglätteten" Score, der schwerer zu täuschen ist.

B. Das „Instabilitätsmessgerät" (Die MAD)
ROSS misst, wie stark die Meinung des Beamten während dieser 25 Schüttelbewegungen hin und hergesprungen ist.

Wenig Springen (Stabil): „Okay, das sieht wie ein Mitglied aus, und es sah jedes Mal, wenn ich die Kamera schüttelte, wie ein Mitglied aus." -> Hohe Zuverlässigkeit.
Viel Springen (Instabil): „Das sah einmal wie ein Mitglied aus, aber beim nächsten Mal wie ein Hund." -> Niedrige Zuverlässigkeit.

4. Das „Vertrauens-Tor" (Das Sicherheitsnetz)

Hier kommt der clevere Teil. Die Arbeit stellt fest, dass ein totaler Fremder manchmal sehr stabil aussehen kann (z. B. ein Bild einer soliden grauen Wand). Wenn der Beamte nur auf Stabilität achten würde, könnte er denken: „Wow, diese Wand ist sehr konsistent, lassen Sie sie herein!"

ROSS verhindert dies durch ein Vertrauens-Tor:

Es gewährt nur einen „Stabilitätsbonus", wenn der Fremde bereits mit hohem Vertrauen wie ein Mitglied aussieht.
Wenn der Fremde wie ein Mitglied aussieht, aber instabil ist, wird er abgelehnt.
Wenn der Fremde wie ein Mitglied aussieht und stabil ist, erhält er einen „Super-Boost" für seinen Score.
Wenn der Fremde wie ein Fremder aussieht, wird er unabhängig von der Stabilität abgelehnt.

5. Warum es „symmetrisch" ist (Der beste Teil)

Frühere Methoden waren wie ein Schloss, das nur funktioniert, wenn man den Schlüssel in eine Richtung drückt. Wenn man ihn in die andere Richtung zog, ging es kaputt.

ROSS ist ein „symmetrisches" Schloss. Da es nicht darauf ankommt, den Score nach oben oder unten zu drücken, sondern betrachtet, wie wackelig der Score ist, wirkt es sowohl gegen Angreifer, die versuchen, die KI dazu zu bringen, den Fremden für ein Mitglied zu halten, ALS AUCH gegen Angreifer, die versuchen, die KI dazu zu bringen, ein Mitglied für einen Fremden zu halten.

Zusammenfassung der Ergebnisse

Die Autoren testeten dies an Standard-Bilddatensätzen (wie CIFAR-10 und ImageNet). Sie stellten fest, dass:

ROSS viel schwerer zu täuschen ist als frühere Methoden.
Es die Fähigkeit des Systems, Fälschungen zu erkennen, um bis zu 40 % im Vergleich zu älteren Methoden unter Angriff verbessert hat.
Es als „Plug-in"-Upgrade funktioniert. Sie müssen die gesamte KI nicht neu trainieren; Sie fügen einfach diese „Stabilitätsprüfung"-Schicht auf bestehenden Systemen hinzu.

Kurz gesagt: ROSS macht KI-Sicherheitsbeamte weniger anfällig für Verkleidungen, indem es überprüft, ob das Vertrauen des Beamten standhält, wenn die Welt ein wenig wackelig wird.

Technische Zusammenfassung: Ein robuster Framework zur Erkennung von Out-of-Distribution-Daten durch synergistische Glättung

Problemstellung

Tiefe neuronale Netze (DNN) werden zunehmend in sicherheitskritischen Anwendungen eingesetzt, bleiben jedoch anfällig für adversariale Perturbationen und Verteilungsverschiebungen. Obwohl Methoden zur Erkennung von Out-of-Distribution (OOD)-Daten als entscheidender Schutzmechanismus dienen, um neue oder bösartige Eingaben zu identifizieren, zeigen neuere Studien, dass auch die aktuell besten OOD-Detektoren selbst anfällig für adversariale Angriffe sind. Konkret kann ein Angreifer Eingaben erstellen, die OOD sind, aber fälschlicherweise als In-Distribution (ID) klassifiziert werden, wodurch die erste Verteidigungslinie des Systems effektiv außer Kraft gesetzt wird.

Bestehende, auf Perturbationen basierende Detektoren wie ODIN und PRO versuchen, die Erkennung durch gerichtete Optimierungen (z. B. Erhöhung oder Verringerung von Konfidenzwerten) zu verbessern. Die Autoren identifizieren jedoch einen kritischen Mangel in diesen Ansätzen: Sie weisen eine asymmetrische Verwundbarkeit auf. Ein Detektor, der gegen Angriffe zur Minimierung von Werten optimiert ist, wird oft anfällig für Angriffe zur Maximierung von Werten, und umgekehrt. Diese gerichtete Verzerrung untergräbt die Zuverlässigkeit der OOD-Erkennung in dynamischen, adversarialen Umgebungen.

Methodik: Das ROSS-Framework

Die Autoren schlagen ROSS (Robust OOD Detector via Synergistic Smoothing) vor, ein modellagnostisches, nachgelagertes Framework, das darauf ausgelegt ist, symmetrische Robustheit gegen sowohl wertminimierende als auch wertmaximierende Angriffe zu erreichen. ROSS erfordert kein erneutes Training des zugrunde liegenden DNN und kann auf jede bestehende OOD-Scoring-Technik angewendet werden (z. B. MSP, Energy, GEN, fDBD).

Der Kern von ROSS besteht darin, $N$ verrauschte Varianten einer Eingabe $x$ durch Hinzufügen zufälliger Perturbationen zu generieren. Aus dem resultierenden „Score-Stapel" berechnet ROSS zwei robuste Statistiken, die auf der Theorie robuster Statistik basieren:

Median-Score ( $S_{med}$ ): Der Median des Score-Stapels, der eine geglättete zentrale Tendenz des OOD-Scores darstellt.
Score-Stabilität ( $\sigma_{med}$ ): Die Median Absolute Deviation (MAD) des Score-Stapels, die die lokale Instabilität der Score-Landschaft quantifiziert.

Schlüsselerkenntnis: Instabilität als Signal

Die Autoren beobachten, dass ID-Stichproben typischerweise in glatten Bereichen der Score-Landschaft liegen und unter Perturbationen varianzarme Scores liefern (hohe Stabilität). Im Gegensatz dazu befinden sich OOD-Stichproben in unregelmäßigen Bereichen, in denen kleine Perturbationen große Score-Schwankungen hervorrufen (hohe Instabilität).

Die Scoring-Funktion

ROSS kombiniert diese Metriken unter Verwendung eines konfidenzbewussten Gate-Mechanismus zu einem endgültigen Score ( $S_{ROSS}$ ). Der endgültige Score ist definiert als:
$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$
Wobei:

$S_{95}$ ein Konfidenzschwellenwert ist (das 5. Perzentil der ID-Validierungsverteilung).
$\Delta_{score} = \max(0, S_{med} - S_{95})$ sicherstellt, dass der Stabilitätsbonus nur angewendet wird, wenn der Median-Score den Konfidenzschwellenwert überschreitet.
$\lambda$ ein Hyperparameter ist, der die Größe des Stabilitätsbonus steuert.

Diese Formulierung stellt sicher, dass Stabilität nur für hochkonfidente, ID-ähnliche Stichproben belohnt wird. Sie verhindert, dass „weit entfernte OOD"-Stichproben, die zwar stabil sein könnten, aber ein geringes Vertrauen aufweisen, eine künstliche Score-Verbesserung erhalten. Durch die Verwendung von Median und MAD ist die Methode inhärent resistent gegen gradientenbasierte Manipulation und Ausreißer.

Hauptbeiträge

Identifizierung asymmetrischer Verwundbarkeit: Die Arbeit ist die erste, die systematisch analysiert und nachweist, dass bestehende, auf Perturbationen basierende OOD-Detektoren (wie PRO und ODIN) unter asymmetrischer Robustheit leiden, indem sie gegen eine Angriffsrichtung verteidigen, aber gegenüber der entgegengesetzten Richtung anfällig bleiben.
Vorschlag von ROSS: Ein neuartiges, nachgelagertes Framework, das lokale Score-Instabilität als Konfidenzmultiplikator nutzt. Im Gegensatz zu früheren Arbeiten ist ROSS nicht-gerichtet und gradientenfrei und erreicht symmetrische Robustheit gegen sowohl PGD-min- als auch PGD-max-Angriffe.
Zerlegung von Stabilität und Konfidenz: Durch umfangreiche Ablationsstudien isolieren die Autoren die Beiträge der Score-Stabilität und der Konfidenz-Schwellenwertsetzung und zeigen, dass beide für eine effektive Trennung von ID/OOD entscheidend sind.
Empirische Validierung: Umfassende Evaluierung auf CIFAR-10, CIFAR-100 und ImageNet, die zeigt, dass ROSS konsistent besser abschneidet als Baseline-Detektoren und frühere, auf Perturbationen basierende Methoden.

Experimentelle Ergebnisse

Die Autoren evaluierten ROSS auf Standard-Benchmarks unter Verwendung vortrainierter ResNet-18- und ResNet-50-Modelle.

Baseline-Leistung: Auf sauberen Daten erreicht ROSS State-of-the-Art-Leistung. Beispielsweise erzielte ROSS auf CIFAR-10 mit dem GEN-Basis-Score eine durchschnittliche AUROC von 84,72 % und einen FPR95 von 45,77 % und übertraf damit die Median-only-Baseline ( $S_{med}$ ) sowie das naive Verhältnis ( $S_{med}/\sigma_{med}$ ).
Adversariale Robustheit: Unter PGD-Angriffen ( $\epsilon = 8/255$ $ϵ = 8/255$ ) zeigt ROSS eine signifikante Resilienz.
- Auf CIFAR-10 kollabierte die AUROC der MSP-Baseline unter PGD-max-Angriffen auf 3,76 %, während ROSS-MSP eine AUROC von 52,65 % beibehielt.
- Auf CIFAR-100 verbesserte ROSS-fDBD die AUROC unter PGD-max-Angriffen von 11,02 % (Baseline) auf 44,72 %.
Symmetrische Verteidigung: Im Gegensatz zu PRO und ODIN, die bei Angriffen aus der „falschen" Richtung erheblich an Leistung verlieren, behält ROSS eine konsistente Leistung gegen sowohl PGD-min- als auch PGD-max-Angriffe bei. Die Autoren berichten über Verbesserungen von bis zu 40 AUROC-Punkten gegenüber früheren, auf Perturbationen basierenden Methoden unter starken Angriffen.
Effizienz: Trotz der Notwendigkeit von $N=25$ Vorwärtsdurchläufen führt die parallelisierbare Natur der Inferenz auf modernen GPUs zu einer Latenzerhöhung von nur 1,2-fach im Vergleich zu einem einzelnen Vorwärtsdurchlauf, was eine praktische Bereitstellung ermöglicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ROSS eine praktische, leichte und einfach bereitstellbare erste Verteidigungslinie für die OOD-Erkennung bietet. Ihre primäre Bedeutung liegt in der Verschiebung des Paradigmas von der gerichteten Optimierung (die asymmetrische Schwächen erzeugt) hin zur synergistischen Glättung (die statistische Stabilität nutzt).

Die Autoren behaupten, dass ROSS erfolgreich saubere Genauigkeit und adversariale Robustheit ausbalanciert, ohne die Rechenkosten eines adversarialen Re-Trainings. Durch die nahtlose Integration in bestehende OOD-Scoring-Ansätze erhöht es die Vertrauenswürdigkeit automatisierter Systeme in Open-World-Umgebungen, in denen unbekannte oder bösartige Eingaben unvermeidlich sind. Die Arbeit legt nahe, dass die Quantifizierung lokaler Instabilität ein robusterer Proxy für die OOD-Erkennung ist als der bloße Versuch, Scores in eine bestimmte Richtung zu drängen.

Zukünftige Arbeiten, wie von den Autoren notiert, zielen darauf ab, dieses Framework über gradientenbasierte Angriffe hinaus zu erweitern, um Verteilungsverschiebungen einzubeziehen, die durch generative Modelle und reale Korruptionen verursacht werden.