🤖 machine learning

Feature-Space Smoothing: Certified Robustness of Deep Representations

Dieser Artikel schlägt Feature-Space Smoothing (FS) vor, ein zertifiziertes Robustheitsframework, das Feature-Encoder in geglättete Varianten mit garantierten Kosinus-Ähnlichkeitsgrenzen unter Störungen umwandelt und durch einen Plug-and-Play-Gaußschen Glättungs-Booster (GSB) ergänzt wird, um die Robustheit in Modellen wie MLLMs zu verbessern, ohne dass ein Nachtrainieren erforderlich ist.

Ursprüngliche Autoren: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, hochtechnologischen Sicherheitsbeamten (ein Deep-Learning-Modell), der hervorragend darin ist, Personen, Objekte und Szenen zu erkennen. Dieser Beamte hat jedoch eine geheime Schwäche: Wenn jemand ein kaum hörbares, verzerrtes Geräusch in sein Ohr flüstert (ein „bösartiger Input"), könnte der Beamte plötzlich einen Panda für einen Hund oder einen Freund für einen Fremden halten. Dies nennen Forscher einen adversarial attack (Gegnerangriff).

Diese Arbeit stellt eine neue Methode vor, um diesen Sicherheitsbeamten gegen diese Flüstereien „kugelsicher" zu machen, ohne ihn zu feuern und einen neuen einzustellen. Sie nennen ihre Lösung Feature-Space Smoothing (FS) (Glättung im Merkmalsraum).

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die „empfindlichen Ohren" des Beamten

Deep-Learning-Modelle „sehen" ein Bild nicht nur; sie übersetzen es in eine mathematische Liste von Zahlen, die als Feature (Merkmal) bezeichnet wird. Denken Sie an dieses Feature als die interne „mentale Notiz" des Beamten darüber, was er sieht.

Der Fehler: Wenn ein Angreifer derzeit ein winziges bisschen unsichtbares „Rauschen" (Noise) zu einem Bild hinzufügt, wird die mentale Notiz des Beamten völlig durcheinandergebracht. Eine Notiz, die „Panda" lautete, sieht plötzlich mathematisch näher an „Hund" heran.
Das Risiko: Da die Notiz durcheinandergebracht ist, trifft der Beamte eine falsche Entscheidung.

2. Die Lösung: Der „Lärmunterdrückende" Schild

Die Autoren schlagen vor, den Beamten mit einem speziellen Schild namens Feature-Space Smoothing zu umhüllen.

Funktionsweise: Anstatt das Bild genau so zu betrachten, wie es ist, zwingt der Schild den Beamten, das Bild durch eine „neblige Linse" zu sehen, die jedem Blick ein wenig zufälliges Rauschen (Gaußsches Rauschen) hinzufügt.
Die Magie: Wenn der Beamte das Objekt auch dann noch korrekt identifizieren kann, wenn er durch diese neblige Linse sieht, beweist dies, dass das Objekt robust ist. Der Schild garantiert, dass die mentale Notiz des Beamten, egal wie viel „Rauschen" ein Angreifer hinzufügt (innerhalb eines bestimmten Limits), niemals weit genug abweicht, um zu einem anderen Objekt zu werden.
Die Garantie: Die Arbeit liefert ein mathematisches „Zertifikat" (eine Garantie), das besagt: „Solange der Angriff nicht stärker als X ist, wird der Beamte definitiv nicht getäuscht."

3. Der Booster: Der „Gaußsche Glättungs-Booster" (GSB)

Es gab einen Haken. Die Standard-„neblige Linse" war für die fortschrittlichsten Beamten (wie Multimodale Große Sprachmodelle) nicht stark genug. Die Beamten waren dem Rauschen immer noch zu empfindlich.

Daher bauten die Autoren einen Plug-and-Play-Booster namens Gaussian Smoothness Booster (GSB). Stellen Sie sich dies als ein Paar hochtechnologiger Ohrstöpsel und ein Gehirn-Trainingsmodul vor, das Sie an den Beamten anklicken können, ohne seine Persönlichkeit zu verändern.

Teil A (Der Denoiser): Dies ist wie ein Noise-Cancelling-Kopfhörer, der das Rauschen bevor der Beamte es hört, bereinigt.
Teil B (Der Mapper): Dies ist ein Trainer, der hilft, dass das Gehirn des Beamten nach dem Hören des Rauschens stabil bleibt und sicherstellt, dass seine mentale Notiz konsistent bleibt.
Das Ergebnis: Sie müssen den gesamten Beamten nicht von Grund auf neu trainieren (was Jahre dauern und ein Vermögen kosten würde). Sie klicken diesen Booster einfach an, und plötzlich wird der Beamte extrem widerstandsfähig gegen Angriffe.

4. Beweis aus der Praxis: Der „Panda gegen Hund"-Test

Die Forscher testeten dies an verschiedenen Arten von „Beamten" (Modellen wie CLIP, SigLIP und großen KI-Modellen wie LLaVA).

Der Angriff: Sie versuchten, die Modelle mit mächtigen, unsichtbaren Angriffen zu täuschen, die ein Bild eines Pandas in einen Hund oder einen Hai in eine Katze verwandeln sollten.
Das Ergebnis:
- Ohne den Schild: Die Modelle ließen sich leicht täuschen.
- Mit dem Schild (FS + GSB): Die Modelle blieben hartnäckig korrekt. Selbst wenn die Angreifer die stärkstmöglichen Tricks anwandten, identifizierten die Modelle den Panda immer noch korrekt als Panda.
- Das Zertifikat: Sie rateten nicht nur; sie bewiesen mathematisch, dass die Modelle bis zu einem bestimmten Limit sicher waren.

5. Warum dies wichtig ist

Normalerweise macht es ein Modell sicherer, es „dümmer" (es könnte Details verpassen oder durch normale Bilder verwirrt werden). Diese Arbeit zeigt, dass Sie das Modell sowohl sicherer als auch klüger machen können.

Es funktioniert bei verschiedenen Arten von KI (Bilderkennung, Textgenerierung und Kombination beider).
Es erfordert kein Neuaufbauen der KI von Grund auf.
Es bietet eine mathematische Garantie für Sicherheit, anstatt nur zu hoffen, dass es funktioniert.

Kurz gesagt: Die Arbeit bietet uns einen Weg, KI-Modelle mit einem „Kraftfeld" zu umgeben, das mathematisch garantiert, dass sie nicht durch subtile, bösartige Verzerrungen getäuscht werden, während sie klug genug bleiben, ihre Aufgaben perfekt zu erfüllen.

Technische Zusammenfassung: Feature-Space Smoothing für zertifizierte Robustheit tiefer Repräsentationen

1. Problemstellung

Moderne Deep-Learning-Modelle, insbesondere Multimodale Large Language Models (MLLMs) wie GPT-4 und Gemini, sind hochwirksam, aber anfällig für adversariale Angriffe. Diese Angriffe injizieren subtile, nicht wahrnehmbare Perturbationen in saubere Eingaben, um fehlerhafte Vorhersagen herbeizuführen, indem sie Feature-Repräsentationen verzerren. Obwohl empirische Verteidigungen (z. B. adversariales Training) existieren, fehlt ihnen formale Robustheitsgarantie, und sie versagen häufig gegenüber stärkeren, adaptiven Gegnern. Darüber hinaus sind bestehende zertifizierte Verteidigungsmethoden (z. B. Randomized Smoothing) primär für Klassifizierungsaufgaben mit diskreten Ausgaben konzipiert, was ihre Anwendung auf allgemeine Feature-Repräsentationen, Regressionsaufgaben oder die komplexen Dekodierungsprozesse von MLLMs erschwert. Zudem ist das Nachtrainieren großer vortrainierter Modelle zur Verbesserung der Robustheit rechnerisch prohibitiv.

Die zentrale Herausforderung besteht darin, ein Verteidigungsframework zu entwickeln, das zertifizierte Robustheit auf der Ebene der Feature-Repräsentation bietet, über diverse Modelle und Aufgaben (einschließlich MLLMs) hinweg generalisierbar bleibt und keine kostspielige Neu- oder Feinabstimmung des Modells erfordert.

2. Methodik

Die vorgeschlagene Lösung besteht aus zwei Hauptkomponenten: Feature-space Smoothing (FS) und dem Gaussian Smoothness Booster (GSB).

2.1 Feature-space Smoothing (FS)

FS ist ein allgemeines Framework, das einen Standard-Feature-Encoder $f_e$ über Gaußsche Glättung in eine geglättete Variante $\hat{f}_e$ transformiert.

Mechanismus: Für eine Eingabe $x$ gibt der geglättete Encoder den Erwartungswert der Feature-Repräsentationen über eine Gaußsche Verteilung aus: $\hat{f}_e(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[f_e(x + \epsilon)]$ .
Theoretische Garantie: Die Autoren etablieren eine Feature Cosine Similarity Bound (FCSB). Sie beweisen, dass unter $\ell_2$ -beschränkten Perturbationen die Kosinusähnlichkeit zwischen dem sauberen Feature und dem adversarial geglätteten Feature garantiert über einer spezifischen unteren Schranke liegt.
Zertifizierter Radius: Diese Schranke ermöglicht die Herleitung eines zertifizierten Radius $R$ . Wenn die Perturbationsstärke innerhalb von $R$ liegt, ist garantiert, dass die Kosinusähnlichkeit zwischen sauberen und adversarialen Features über einem Schwellenwert (z. B. 0,5) bleibt.
Erweiterung auf Vorhersageebene: Das Framework erweitert diese Garantie auf Feature-Ebene auf eine Zertifizierung auf Vorhersageebene. Für Aufgaben, bei denen Vorhersagen als normalisierte Vektoren dargestellt werden können (z. B. Retrieval, prototypenbasierte Klassifizierung), übersetzt sich die FCSB in eine garantierte Schranke für die Kosinusähnlichkeit zwischen der adversarialen Vorhersage und der Zielvorhersage.

2.2 Gaussian Smoothness Booster (GSB)

Die theoretischen Schranken von FS hängen vom intrinsischen Gaußschen Robustheits-Score des zugrunde liegenden Encoders ab. Vortrainierte Encoder weisen oft eine begrenzte Gaußsche Robustheit auf, was zu suboptimalen zertifizierten Radien führt. Um dies ohne Nachtraining des Backbones zu adressieren, schlagen die Autoren GSB vor, ein Plug-and-Play-Modul, bestehend aus:

Gaussian Denoiser ( $\mathcal{P}$ ): Ein leichtgewichtiges Modul (z. B. U-Net), das vor dem Feature-Encoder platziert wird. Es wird trainiert, um saubere Eingaben aus mit Gaußrauschen korruptierten Eingaben zu rekonstruieren und so das Rauschen vor der Feature-Extraktion zu mindern.
Residual Smoothness Mapper ( $\mathcal{M}$ ): Ein Modul, das nach der Feature-Extraktion platziert wird. Es verfeinert die bereinigten Features, um die Robustheit zu erhöhen, während die ursprüngliche Feature-Verteilung erhalten bleibt. Es verwendet einen Residual-Learning-Ansatz, um Stabilität bei sauberen Eingaben zu gewährleisten.

Trainingsstrategie: GSB wird in einem selbstüberwachten Verfahren unter Verwendung einer Verlustfunktion für den Trade-off zwischen Nutzen und Robustheit trainiert. Der Backbone-Encoder bleibt eingefroren. Der Denoiser minimiert den Rekonstruktionsverlust und den Feature-Konsistenzverlust, während der Mapper den Feature-Konsistenzverlust und die statistische Regularisierung (zur Erhaltung von Mittelwert und Varianz) sowie einen Identitätsverlust für saubere Eingaben minimiert.

3. Hauptbeiträge

Feature-space Smoothing (FS): Ein allgemeines Verteidigungsframework, das jeden Feature-Encoder in eine geglättete Variante mit einer nachweisbaren unteren Schranke (FCSB) für die Kosinusähnlichkeit zwischen sauberen und adversarialen Features unter $\ell_2$ -Perturbationen umwandelt.
Zertifizierung auf Vorhersageebene: Theoretische Erweiterung, die zeigt, dass Garantien der FCSB auf Feature-Ebene auf Robustheit auf Vorhersageebene für Aufgaben mit normalisierten Vektor-Ausgaben (z. B. Top-1-Retrieval, Klassifizierung) übertragen werden können.
Gaussian Smoothness Booster (GSB): Ein Plug-and-Play-Modul, das den Gaußschen Robustheits-Score bestehender Encoder ohne Feinabstimmung des Backbones verbessert und dadurch den zertifizierten Radius erhöht.
Systematische Evaluation: Umfassende Experimente mit diversen Vision-Encodern (CLIP, SigLIP 2, EVA-CLIP) und MLLMs (LLaVA, OpenFlamingo), die zeigen, dass FS eine nicht-triviale zertifizierte Robustheit bietet und die empirische Leistung gegen starke White-Box-Angriffe signifikant verbessert.

4. Experimentelle Ergebnisse

4.1 Zertifizierte Robustheit

Auf Feature-Ebene: Auf ImageNet erhöhte die Integration von GSB mit FS den durchschnittlichen zertifizierten Radius ( $R$ ) für FCSB $\geq 0,5$ signifikant. Beispielsweise stieg der durchschnittliche Radius für CLIP bei $\sigma=0,5$ von 0,101 auf 0,455 und für SigLIP 2 von 0,134 auf 0,514.
Auf Vorhersageebene: Bei der ImageNet-Klassifizierung erreichte FS eine zertifizierte Genauigkeit, die mit dem Standard-Randomized-Smoothing (RS) vergleichbar war, jedoch ohne einen separaten geglätteten Klassifikator zu benötigen. Für SigLIP 2 erreichte FS bei $\epsilon=1,00$ eine zertifizierte Genauigkeit von 64,0 %, was mit RS (67,6 %) vergleichbar ist.
Retrieval: Bei der Zero-Shot-Retrieval-Aufgabe auf MS COCO lieferte FS eine nicht-triviale zertifizierte Genauigkeit, wobei die Margen aufgrund der dichten Natur von Text-Embeddings enger waren als bei der Klassifizierung.

4.2 Empirische Robustheit gegen White-Box-Angriffe

Das Framework wurde gegen state-of-the-art White-Box-Angriffe (PGD, APGD, M-Attack, FOA, AttackVLM) auf MLLMs (LLaVA-1.5-7B, OpenFlamingo-9B) in den Aufgaben Bildunterschriftenerstellung, Klassifizierung und VQA getestet.

Bildunterschriftenerstellung: Unter dem starken FOA-Angriff sank die Genauigkeit von vanilla LLaVA auf 1 %. Mit FS stieg die Genauigkeit auf 65 %, und die Attack Success Rate (ASR) sank von 94 % auf 6 %. FS verbesserte zudem die Robustheit von Baselines mit adversarialem Training (FARE, TeCoA) ohne zusätzliche Feinabstimmung.
Bildklassifizierung: FS erhöhte die LLaVA-Genauigkeit unter FOA-Angriffen von 3,8 % auf 87,2 % und reduzierte die ASR von 81 % auf 0,2 %.
VQA: FS bewahrte die saubere Genauigkeit (54,0 %), während sie die Genauigkeit bei Gaußrauschen verbesserte und die ASR auf nahezu Null reduzierte, wohingegen Baselines mit adversarialem Training (FARE, TeCoA) eine signifikante Verschlechterung der sauberen Leistung erlitten.

4.3 Effizienz

Feature-Space-Smoothing verursacht einen geringeren Inferenz-Overhead als das Glätten des gesamten Modells. Mit $n_0=8$ Gauß-Proben erhöhte sich die Inferenzzeit für LLaVA pro Bild nur um ca. 0,36 Sekunden, was die praktische Machbarkeit demonstriert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Feature-space Smoothing (FS) einen bedeutenden Fortschritt darstellt, indem es den Fokus der zertifizierten Robustheit von aufgaben-spezifischen Ausgabebereichen auf die Ebene der Feature-Repräsentation verlagert. Dies ermöglicht:

Generalisierbarkeit: Die Methode ist auf diverse Downstream-Aufgaben (Klassifizierung, Retrieval, Generierung) anwendbar, ohne den Vorhersagekopf zu modifizieren oder das Backbone neu zu trainieren.
Plug-and-Play-Integration: Durch GSB können bestehende großskalige vortrainierte Modelle (einschließlich MLLMs) ohne die rechnerischen Kosten einer vollständigen Neu- oder Ausrichtungs-Trainings robust gemacht werden.
Beweisbare Garantien: Es bietet mathematisch beweisbare untere Schranken für die Feature-Ähnlichkeit, die sich in Vorhersagestabilität übersetzen und ein Vertrauensniveau bieten, das empirischen Verteidigungen fehlt.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die aktuelle Zertifizierung auf $\ell_2$ -beschränkte Perturbationen beschränkt ist und auf auf Kosinusähnlichkeit basierenden Entscheidungsregeln beruht, die möglicherweise nicht alle offenen Dekodierungsverhalten von MLLMs abdecken. Zukünftige Arbeiten zielen darauf ab, das Framework auf andere Bedrohungsmodelle (z. B. $\ell_\infty$ , semantische Angriffe) und breitere Generierungsaufgaben zu erweitern.