💻 computer science

Certified vs. Empirical Adversarial Robust-ness via Hybrid Convolutions with Attention Stochasticity

Die Arbeit stellt HyCAS vor, ein neuartiges adversariales Verteidigungsframework, das deterministische spektrale Normalisierung mit stochastischen Aufmerksamkeits- und Projektionsmechanismen vereint, um gleichzeitig die Lücke zwischen zertifizierter L2- und empirischer L∞-Robustheit zu verringern und dabei eine starke Generalisierung über diverse Bildgebungs-Benchmarks hinweg zu gewährleisten.

Ursprüngliche Autoren: Joy Dhar, Song Xia, Manish Kumar Pandey, Maryam Haghighat, Azadeh Alavi, Ferdous Sohel, Wenyu Zhang, Nayyar Zaidi

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joy Dhar, Song Xia, Manish Kumar Pandey, Maryam Haghighat, Azadeh Alavi, Ferdous Sohel, Wenyu Zhang, Nayyar Zaidi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitsbeamten (eine KI), der an einem Gebäude Ausweise überprüft. Dieser Beamte ist hervorragend darin, Menschen zu erkennen, doch ein cleverer Dieb (ein „adversarialer Angriff") kann eine winzige, fast unsichtbare Maske tragen oder seine Körperhaltung nur geringfügig verändern, um den Beamten zu täuschen und ihn hereinzulassen.

Lange Zeit haben Sicherheitsforscher zwei verschiedene Wege versucht, dieses Problem zu lösen:

Der „Härtungs"-Ansatz: Die Augen des Beamten schärfen und ihn auf Tausende von gefälschten Masken trainieren. Dies funktioniert in der Praxis gut, aber man kann zu 100 % mathematisch nie sicher sein, dass der Beamte nicht durch einen neuen Trick getäuscht wird.
Der „Verblindungs"-Ansatz: Dem Beamten eine Augenbinde geben und ihn bitten, den Ausweis anhand einer unscharfen, verrauschten Version des Gesichts zu erraten. Dies bietet eine mathematische Garantie (ein „Zertifikat"), dass er innerhalb eines bestimmten Abstands nicht getäuscht wird, macht den Beamten jedoch deutlich langsamer und weniger präzise beim Erkennen echter Personen.

HyCAS ist ein neues Sicherheitssystem, das versucht, das Beste aus beiden Welten zu vereinen. Es ist so, als würde man dem Beamten eine Brille mit speziellen, intelligenten Gläsern geben, die eine superscharfe Linse mit einer eingebauten, sich bewegenden Nebelmaschine kombinieren.

So funktioniert HyCAS, aufgeteilt in einfache Teile:

1. Das „starre Skelett" (Der deterministische Kern)

Zunächst baut das System ein sehr strenges, starres Skelett für das Gehirn des Beamten. In mathematischen Begriffen ist dies ein 1-Lipschitz-Netzwerk.

Die Analogie: Stellen Sie sich vor, das Gehirn des Beamten besteht aus Stahlträgern. Egal wie stark Sie auf den Input (den Ausweis) drücken oder ziehen, die innere Struktur kann sich nur um einen winzigen, vorhersehbaren Betrag verbiegen. Dies verhindert, dass der Dieb eine „Schwachstelle" findet, um sich hindurchzuzwängen.

2. Der „sich bewegende Nebel" (Die stochastischen Teile)

Ein starres Skelett allein ist noch immer vorhersehbar. Wenn ein Dieb genau weiß, wie sich der Stahl verbiegt, kann er ihn dennoch täuschen. Daher fügt HyCAS zwei Schichten „Nebel" hinzu, die sich jedes Mal ändern, wenn der Beamte einen Ausweis betrachtet:

Zufällige Projektionen: Stellen Sie sich vor, der Beamte betrachtet den Ausweis plötzlich durch ein Kaleidoskop, das Farben und Muster jedes Mal zufällig neu anordnet.
Aufmerksamkeitsrauschen: Stellen Sie sich vor, das Sehvermögen des Beamten bekommt ein wenig statisches Rauschen oder „Schnee" auf dem Bildschirm, aber das Rauschen bewegt sich auf kontrollierte Weise.
Die Analogie: Da sich der Nebel und das Kaleidoskop jedes Mal ändern, kann der Dieb keinen einzelnen Trick planen, der zweimal funktioniert. Er muss raten, und seine Vermutung wird wahrscheinlich scheitern.

3. Die „magische Fusion" (Hybride Faltungen)

Der Artikel nennt dies HyCAS. Es nimmt das starre Stahlskelett und mischt es mit dem sich bewegenden Nebel.

Das Ergebnis: Selbst mit all dieser Zufälligkeit ist das System mathematisch noch immer „starr" (nun ein 2-Lipschitz-Netzwerk). Das bedeutet, die Forscher können immer noch ein mathematisches Zertifikat ausstellen, das besagt: „Wir garantieren, dass dieser Beamte von keiner Verkleidung getäuscht wird, die kleiner als X ist."
Der Vorteil: Im Gegensatz zur alten „Verblindungs"-Methode verliert dieses System nicht seine Fähigkeit, echte Menschen klar zu sehen. Es bleibt scharf, während es für Diebe unvorhersehbar bleibt.

Was haben sie bewiesen?

Die Forscher testeten diesen neuen Beamten an einer Vielzahl von „Gebäuden" (Datensätzen):

Standard-Gebäude: Wie CIFAR-10 und ImageNet (Alltagsfotos).
Spezialisierte Gebäude: Wie medizinische Röntgenbilder (Brustaufnahmen), Hautläsionsfotos und Gesichtserkennung.

Die Ergebnisse:

Stärkere Garantien: HyCAS bewies, dass es Angriffe besser abwehren kann als frühere „zertifizierte" Methoden. Beispielsweise verbesserte es bei medizinischen Röntgenbildern den garantierten Sicherheitsabstand um etwa 7,3 %.
Bessere reale Verteidigung: Es leistete auch gegen starke, reale Hacking-Versuche (empirische Angriffe) eine bessere Arbeit als frühere „empirische" Methoden und verbesserte die Sicherheit bei Hautläsionsdaten um bis zu 3,1 %.
Kein Kompromiss: Normalerweise macht eine sicherere Systeme ein System dümmer (geringere Genauigkeit bei normalen Aufgaben). HyCAS schaffte es, sicherer zu werden, ohne seine Fähigkeit zu opfern, normale Bilder korrekt zu identifizieren.

Der Haken (Kosten)

Der Artikel ist ehrlich bezüglich des Nachteils. Um diesen „intelligenten Nebel" funktionieren zu lassen, muss das System viel mehr Mathematik betreiben.

Die Analogie: Es ist so, als würde man drei Beamte anstatt eines einstellen oder einen Beamten bitten, gleichzeitig durch drei verschiedene Kaleidoskope zu schauen.
Die Kosten: Das System benötigt etwa 15-mal mehr Rechenleistung (FLOPs) und benötigt länger zur Verarbeitung eines Bildes als ein Standard-Beamter. Die Autoren geben jedoch an, dass dies in hochriskanten Situationen (wie medizinische Diagnose oder Sicherheit) akzeptabel ist, wo es sich lohnt, 100 % sicher zu sein, auch wenn mehr Zeit und Geld investiert werden müssen.

Zusammenfassung

HyCAS ist ein neuer Weg, KI zu bauen, die mathematisch beweisbar (man kann beweisen, dass sie sicher ist) und praktisch robust (sie hält Hacker in der realen Welt tatsächlich auf) ist. Dies erreicht es, indem es eine starre Struktur aufbaut und diese dann mit kontrollierter Zufälligkeit durcheinanderwirbelt, wodurch es für Angreifer unmöglich wird vorherzusagen, wie die KI reagieren wird, während die KI gleichzeitig scharf genug bleibt, um ihre Aufgabe zu erfüllen.

Technische Zusammenfassung: Zertifizierte versus empirische adversarische Robustheit durch hybride Faltungen mit stochastischer Aufmerksamkeit (HyCAS)

1. Problemstellung

Deep-Learning-Modelle in der Computer Vision bleiben anfällig für adversarische Angriffe, was erhebliche Risiken für sicherheitskritische Anwendungen wie autonomes Fahren, Betrugserkennung und klinische Entscheidungsunterstützung birgt. Bestehende Verteidigungsstrategien lassen sich im Allgemeinen in zwei Kategorien einteilen, die beide erhebliche Einschränkungen aufweisen:

Empirische Verteidigungen: Methoden wie Adversarial Training (AT) maximieren die Robustheit gegenüber spezifischen Angriffen, bieten jedoch oft keine formalen Garantien und sind anfällig für stärkere, maßgeschneiderte Angriffe (z. B. APGD, AutoAttack).
Zertifizierte Verteidigungen: Techniken wie Randomized Smoothing (RS) liefern nachweisbare Robustheitsgarantien (typischerweise unter $\ell_2$ -Normen), leiden jedoch häufig unter einem starren Trade-off, bei dem große Rauschbudgets die saubere Genauigkeit (clean accuracy) beeinträchtigen, oder sie versagen bei der Generalisierung gegenüber starken empirischen $\ell_\infty$ -Angriffen.

Darüber hinaus werden viele bestehende Verteidigungen primär auf natürlichen Bilddatensätzen validiert, wodurch ihre Wirksamkeit auf domainspezifische Verteilungen, wie etwa medizinische Bildgebung, ungewiss bleibt. Es besteht ein kritischer Bedarf an einer Verteidigung, die gleichzeitig die Lücke zwischen nachweisbaren $\ell_2$ -Zertifikaten und empirischer $\ell_\infty$ -Robustheit schließt und dabei eine starke Generalisierung über diverse Bildgebungs-Benchmarks hinweg aufrechterhält.

2. Methodik: HyCAS

Die Autoren schlagen Hybrid Convolutions with Attention Stochasticity (HyCAS) vor, eine randomisierte Verteidigungsarchitektur, die deterministische Lipschitz-Bedingungen mit stochastischem Glätten vereint. Die Kerninnovation besteht in der Injektion kontrollierter, datenunabhängiger Zufälligkeit innerhalb der Netzwerkarchitektur und nicht ausschließlich am Eingang, um ein global $\le 2$ -Lipschitz-Netzwerk zu schaffen, das eine formale Zertifizierung zulässt.

Architektonische Komponenten

HyCAS ersetzt Standard-Faltungsschichten durch drei parallele Ströme, von denen jeder so konzipiert ist, dass er $\le 2$ -Lipschitz ist. Diese Ströme werden über ein datenunabhängiges, pro-Kanal konvexes Gate fusioniert.

FDPAN (Frequency-aware Deterministic Projection with Attention Noise):
- Kombiniert einen deterministischen 1-Lipschitz-Kern mit zwei randomisierten Residuen.
- Kern: Nutzt eine Tiefpass-Discrete-Cosine-Transform (DCT)-Maske, um fragile Hochfrequenzbänder zu entfernen, gefolgt von einer orthogonalen Jacobi-Matrix (1-Lipschitz) zum Kanal-Scrambling und einer spektral normalisierten Faltung (SNC).
- Stochastizität: Injiziert Randomized Attention Noise (RANI) unmittelbar nach dem deterministischen Kern und erneut als Residuum, wodurch sichergestellt wird, dass der Strom $\le 2$ -Lipschitz bleibt.
SNCAN (Spectrally Normalized Convolutions with Attention Noise):
- Ersetzt Standard-Faltungen durch Spektral-normalisierte Faltungen (SNC), um eine 1-Lipschitz-Schranke für den Kernel durchzusetzen.
- Integriert das RANI-Modul, um feingranulare, datenunabhängige Stochastizität einzufügen, wodurch der deterministische Block in eine randomisierte Verteidigung umgewandelt wird, während die $\le 2$ -Lipschitz-Hülle beibehalten wird.
RPFAN (Random Projection Filter with Attention Noise):
- Nutzt Johnson-Lindenstrauss-Einbettungsgarantien durch zufällige Projektionsfilter.
- Pre-mix: Verwendet einen orthogonalen $1\times1$ -Kanalmixer, um die Kanalenergie auszugleichen.
- Spektralnormalisierung: Wendet ein batch-bewusstes, zweistufiges Power-Iteration-Schema an, um den zufälligen Projektionsfilter neu zu skalieren und sicherzustellen, dass er 1-Lipschitz ist.
- Stochastizität: Kombiniert die 1-Lipschitz-Projektion mit dem RANI-Modul, um eine $\le 2$ -Lipschitz-Schranke zu erreichen.
RANI (Randomized Attention Noise Injection):
- Ein Mechanismus, der eine beschränkte, datenunabhängige Aufmerksamkeitsmaske $M_\omega \in [0, 1]^d$ in die Merkmalskarten injiziert.
- Formal ist für eine deterministische Abbildung $h$ die RANI-Ausgabe $\hat{h} = h \odot M_\omega$ .
- Die Arbeit beweist, dass diese Operation 2-Lipschitz ist und damit deterministische 1-Lipschitz-Blöcke effektiv in randomisierte 2-Lipschitz-Blöcke umwandelt.

Theoretische Garantien

Lipschitz-Konstante: Die Autoren beweisen, dass jeder einzelne Strom (FDPAN, SNCAN, RPFAN) individuell $\le 2$ -Lipschitz ist. Die konvexe Fusion dieser Ströme erhält diese Schranke.
Zertifikat: Durch Mittelung der Logits über die interne Zufälligkeit $\Omega$ bleibt die erwartete Logit-Abbildung $Z(x)$ $\le 2$ -Lipschitz. Dies ermöglicht ein $\ell_2$ -Zertifikat auf Margin-Basis: Wenn der Abstand zwischen den beiden höchsten erwarteten Logits $\Delta(x)$ beträgt, ist das Modell nachweislich robust gegenüber jeder Störung $\delta$ , für die $\|\delta\|_2 < \Delta(x)/4$ gilt.

Training und Inferenz

Training: Das Modell wird unter Verwendung einer Standard-Verlustfunktion über Eingaben trainiert, die mit Gaußschem Rauschen (im Stil von Randomized Smoothing) und der internen Stochastizität der Ströme gestört wurden. Adversarial Training wird ebenfalls eingesetzt, um die empirische Robustheit zu verbessern.
Inferenz: Es werden zwei Zertifikate bereitgestellt: ein Standard-Randomized-Smoothing (RS)-Zertifikat basierend auf Klassenwahrscheinlichkeiten und ein deterministisches Lipschitz-Margin-Zertifikat basierend auf den erwarteten Logits.

3. Hauptbeiträge

HyCAS-Architektur: Einführung einer randomisierten, durch Lipschitz-Bedingungen eingeschränkten Verteidigung, die einen deterministischen 1-Lipschitz-Kern mit zwei stochastischen Modulen integriert (spektral normalisierte zufällige Projektionsfilter und randomisierte Aufmerksamkeitsrauschen).
Theoretische Garantien: Herleitung eines engen $\ell_2$ -Robustheitszertifikats für HyCAS, das beweist, dass das Netzwerk global $\le 2$ -Lipschitz ist und ein gültiges punktweises Zertifikat bereitstellt.
Plug-and-Play-Design: Ein modulares Design, das in Standard-CNN-Rückgrate (z. B. ResNet) integriert werden kann, um eine randomisierte Verteidigung zu bilden, die eine formale Zertifizierung zulässt.
Umfassende Evaluierung: Umfangreiche Experimente zeigen, dass HyCAS alle bisherigen führenden zertifizierten und empirischen Verteidigungen auf acht diversen Benchmarks übertrifft, einschließlich natürlicher Bilder (CIFAR-10/100, ImageNet) und medizinischer Bilddatensätze (NIH Chest X-ray, HAM10000, EyePACS, NCT-CRC-HE-100K).

4. Experimentelle Ergebnisse

Die Arbeit berichtet über Ergebnisse auf acht Benchmarks, wobei sowohl die zertifizierte $\ell_2$ -Genauigkeit als auch die empirische Robustheit gegenüber starken $\ell_\infty$ -Angriffen (APGD-20 und AutoAttack) bewertet werden.

Zertifizierte Genauigkeit: HyCAS erreicht auf allen Rauschniveaus ( $\sigma$ $σ$ ) und Radien ( $r$ $r$ ) die State-of-the-Art-zertifizierte Genauigkeit.
- Auf CIFAR-10 erreicht HyCAS bei $r=0.75$ und $\sigma=0.25$ eine zertifizierte Genauigkeit von 44,3 % und übertrifft die beste Baseline (ARS) um 5,2–18,2 %.
- Auf ImageNet erreicht HyCAS bei $r=1.5$ und $\sigma=0.50$ 32,7 % und übertrifft die Baselines um 2,1–32,7 %.
- Auf medizinischen Datensätzen zeigt HyCAS signifikante Gewinne, z. B. eine Verbesserung von bis zu 7,3 % auf NIH Chest X-ray und 3,1 % auf HAM10000 im Vergleich zu führenden Baselines.
Empirische Robustheit: HyCAS behält eine hohe Robustheit gegenüber starken $\ell_\infty$ $ℓ_{\infty}$ -Angriffen bei, ohne die saubere Genauigkeit zu opfern.
- Auf NIH-CXR übertrifft HyCAS die führende Baseline (CTRW) unter APGD-20 und AutoAttack um 1,8–4,2 %.
- Auf HAM10000 verbessert es die robuste Genauigkeit um 1,9–3,1 %.
- Unter stärkeren Angriffssettings (Erhöhung der Störungsgröße $\epsilon$ und der Iterationsschritte) degradiert HyCAS schonender als Baselines und behält auf CIFAR-100 bei 100 Angriffsschritten einen Vorteil von 7–12 %.
Trade-offs: Die Methode bietet einen kontrollierbaren Trade-off zwischen Zertifikat und empirischer Robustheit. Eine Erhöhung des Glättungsrauschens $\sigma$ verbessert die zertifizierte Genauigkeit bei großen Radien mit minimalen Auswirkungen auf die Genauigkeit bei kleinen Radien oder die saubere Genauigkeit.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HyCAS erfolgreich die langjährige Lücke zwischen zertifizierter und empirischer adversarischer Robustheit schließt. Durch die Kopplung einer deterministischen, durch Lipschitz-Bedingungen eingeschränkten Architektur mit interner Stochastizität erreicht die Methode:

Gleichzeitige Verbesserung: Sie verbessert sowohl die zertifizierte $\ell_2$ -Genauigkeit als auch die empirische $\ell_\infty$ -Robustheit, eine Leistung, die von früheren Methoden selten erreicht wurde, die typischerweise das eine auf Kosten des anderen optimieren.
Generalisierung: Der Ansatz generalisiert effektiv über diverse Bildgebungsbereiche hinweg, einschließlich natürlicher Bilder und spezialisierter medizinischer Datensätze, was seine Nützlichkeit für hochriskante Anwendungen nahelegt.
Sicherheit: Die Fähigkeit, formale Garantien bereitzustellen und gleichzeitig eine starke empirische Resilienz zu bewahren, unterstützt den sichereren Einsatz von Deep-Modellen in kritischen Sektoren.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die Methode rechenintensiv ist (erhöht die FLOPs und die Inferenzzeit um etwa eine Größenordnung) und dass die theoretischen Garantien derzeit auf $\ell_2$ -Störungen beschränkt sind, wobei die $\ell_\infty$ -Robustheit empirisch bewertet wird. Als zukünftige Arbeiten wird die Ableitung engerer Zertifikate und die Entwicklung leichterer Varianten vorgeschlagen.