🤖 machine learning

FlowPure: Continuous Normalizing Flows for Adversarial Purification

FlowPure ist eine neuartige Methode zur adversarialen Bereinigung, die auf Continuous Normalizing Flows und Conditional Flow Matching basiert und durch den gezielten Einsatz von Angriffswissen oder stochastischen Varianten eine überlegene Robustheit bei gleichzeitiger Erhaltung der Genauigkeit auf sauberen Daten sowie eine hohe Erkennungsgenauigkeit für Angriffe bietet.

Ursprüngliche Autoren: Elias Collaert, Abel Rodríguez, Sander Joos, Lieven Desmet, Vera Rimmer

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Elias Collaert, Abel Rodríguez, Sander Joos, Lieven Desmet, Vera Rimmer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klaren, perfekten Fotoapparat (ein KI-Modell), der Gesichter erkennt. Ein Hacker kommt nun und fügt dem Bild winzige, für das menschliche Auge unsichtbare Störpixel hinzu. Für den Computer sieht das Bild danach aus wie ein Hund, obwohl es eine Katze ist. Das ist ein adversarialer Angriff – eine Art „Tarnkappe" für KI.

Bisherige Methoden, um das zu bekämpfen, waren wie ein schwerfälliger Waschlappen: Man hat das Bild erst mit viel Wasser (Rauschen) übergossen, um die Störpixel zu verwischen, und dann versucht, es wieder trocken zu wischen. Das funktionierte oft, aber dabei wurden auch wichtige Details des Originalbildes beschädigt.

Die Forscher von FlowPure haben eine viel elegantere Lösung gefunden. Hier ist die Erklärung, wie das funktioniert, ohne technische Fachbegriffe:

1. Die alte Methode: Das „Rauschen-und-Reinigen"-Spiel

Stellen Sie sich vor, Sie haben einen verschmutzten Gemälde (das angegriffene Bild). Die alten Methoden (Diffusionsmodelle) sagten: „Wir werfen das ganze Bild in einen Mixer mit Sand und Wasser, bis man nichts mehr sieht. Dann versuchen wir, es Stück für Stück wieder herauszufischen."

Das Problem: Beim Herausfischen gehen oft auch die schönen Farben des Originalgemäldes verloren. Das Bild wird unscharf oder verfälscht.

2. Die neue Methode: FlowPure – Der „Magische Übersetzer"

FlowPure funktioniert anders. Statt das Bild zu zerstören und neu zu erschaffen, lernt FlowPure eine direkte Landkarte.

Die Analogie: Stellen Sie sich vor, Sie haben eine Karte, die genau zeigt, wie man von einem „verschmutzten Ort" (das gehackte Bild) direkt zu einem „sauberen Ort" (das echte Bild) gelangt, ohne Umwege.
FlowPure ist wie ein GPS-System für Bilder. Wenn ein Hacker ein Bild manipuliert, weiß FlowPure genau: „Aha, dieses Pixel ist um 0,01 nach links verschoben worden. Ich schiebe es einfach wieder zurück."
Es lernt diese Wege, indem es Millionen von Beispielen sieht: „So sieht ein gehacktes Bild aus, und so sieht das echte Original daneben aus."

3. Zwei verschiedene Strategien (Die Varianten)

Die Forscher haben zwei Versionen von FlowPure entwickelt, je nachdem, wie viel sie über den Hacker wissen:

Variante A: Der Spezialist (Deterministisch)
- Szenario: Sie wissen genau, wie der Hacker angreift (z. B. immer mit demselben Trick).
- Funktion: FlowPure lernt diesen einen Trick perfekt. Es ist wie ein Schloss, das genau auf einen bestimmten Schlüssel abgestimmt ist. Es entfernt die Störung so präzise, dass das Bild danach oft sogar schöner aussieht als vorher, weil es auch kleine, natürliche Unschärfen entfernt.
- Ergebnis: Das KI-Modell erkennt das Bild wieder zu 100 % korrekt, ohne dass die Qualität leidet.
Variante B: Der Generalist (Stochastisch)
- Szenario: Sie wissen nicht, welcher Hacker kommt oder welcher Trick er benutzt.
- Funktion: Hier fügt FlowPure bewusst ein wenig „Zufall" (Rauschen) hinzu, während es das Bild reinigt.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Dieb zu fangen. Wenn Sie ihn genau kennen, können Sie ihm den Weg versperren. Wenn Sie ihn nicht kennen, machen Sie den Raum so unvorhersehbar (wie ein Labyrinth mit sich bewegenden Wänden), dass der Dieb nicht weiß, wo er hinlaufen soll.
- Ergebnis: Selbst wenn der Hacker versucht, sich anzupassen, scheitert er, weil der Weg zur Reinigung zu chaotisch für ihn ist.

4. Der Bonus: Der „Lügendetektor"

Ein ganz cooler Nebeneffekt ist, dass FlowPure nicht nur reinigt, sondern auch erkennt, ob etwas manipuliert wurde.

Wie? Wenn FlowPure versucht, ein Bild zu „reinigen", muss es sich sehr stark bewegen (es muss viel „Geschwindigkeit" aufwenden), wenn das Bild gehackt ist. Bei einem echten Bild bewegt es sich kaum.
Das ist wie ein Lügendetektor: Wenn das Bild zittert und sich stark verformt, während FlowPure versucht, es zu glätten, dann ist es definitiv ein Fake. FlowPure kann das mit fast 100 % Genauigkeit erkennen.

Zusammenfassung

FlowPure ist wie ein Super-Restaurator für digitale Bilder.

Es lernt, wie man von „gehackt" direkt zu „sauber" geht, ohne das Bild zu zerstören.
Es ist schneller und präziser als die alten Methoden, die Bilder erst „zerstörten" und neu aufbauten.
Es kann sogar sagen: „Hey, dieses Bild wurde manipuliert!", bevor es überhaupt versucht wird, es zu lesen.

Die Forscher haben gezeigt, dass diese Methode auf Standard-Bildern (wie denen von Katzen und Hunden) funktioniert und die KI viel sicherer macht, ohne dass sie schlechtere Ergebnisse bei normalen, unmanipulierten Bildern liefert.

1. Problemstellung

Deep Learning-Modelle sind anfällig für adversarielle Angriffe, bei denen kleine, gezielte Störungen (Perturbationen) in Eingabedaten eingebracht werden, um die Vorhersagen des Modells zu manipulieren. Eine vielversprechende Verteidigungsstrategie ist die adversarielle Reinigung (Adversarial Purification, AP). Das Ziel besteht darin, die schädlichen Perturbationen während der Inferenz zu entfernen, bevor das Bild in den Klassifikator eingespeist wird, ohne das Modell selbst neu zu trainieren.

Bisherige State-of-the-Art-Methoden basieren stark auf Diffusionsmodellen. Diese nutzen einen stochastischen Vorwärtsprozess, um Rauschen (Gaußsches Rauschen) hinzuzufügen, um die adversariellen Störungen zu „verdünnen", gefolgt von einem Denoising-Prozess, um saubere Daten wiederherzustellen. Allerdings haben diese Ansätze Nachteile:

Sie verlassen sich auf feste Rauschprozesse.
Sie können oft nicht spezifisches Wissen über den Angriff nutzen.
Ihre Robustheit wird in adaptiven Weißkasten-Szenarien (wo der Angreifer die Verteidigung kennt) oft überschätzt.

2. Methodik: FlowPure

Die Autoren stellen FlowPure vor, eine neue Reinigungsmethode, die auf Continuous Normalizing Flows (CNFs) basiert, die mit Conditional Flow Matching (CFM) trainiert werden. Im Gegensatz zu Diffusionsmodellen, die einen stochastischen Prozess nutzen, lernt Flow Matching eine deterministische Transformation zwischen Verteilungen, indem es ein Geschwindigkeitsfeld (Velocity Field) modelliert.

FlowPure bietet zwei Varianten:

A. Deterministische Variante (Attack-spezifisch)

Prinzip: Das Modell lernt eine direkte, kontinuierliche Abbildung von adversariellen Beispielen ( $x_{adv}$ ) zu ihren sauberen Gegenstücken ( $x_{clean}$ ).
Training: Es werden Trainingspaare $(x_0, x_1)$ erstellt, wobei $x_0$ ein adversarielles Beispiel und $x_1$ das saubere Original ist. Das Modell wird trainiert, das Geschwindigkeitsfeld $v_\theta$ zu approximieren, das die Daten entlang optimaler Transportpfade (Optimal Transport, OT) von $x_0$ nach $x_1$ bewegt.
Vorteil: Da es den spezifischen Angriffsverlauf lernt, kann es Perturbationen sehr präzise entfernen, ohne semantische Informationen zu verlieren. Es nutzt das Wissen über den Angriffstyp (z. B. PGD oder CW) während des Trainings.

B. Stochastische Variante (Attack-agnostisch)

Prinzip: Diese Variante ist für Szenarien gedacht, in denen der Angriffstyp unbekannt ist. Sie nutzt ein vortrainiertes generatives CNF-Modell, das eine Transformation von einer Gauß-Verteilung zur Datenverteilung lernt.
Inferenz: Um adaptive Angriffe abzuwehren, wird ein neuartiger stochastischer Inferenzprozess eingeführt. Anstatt einer rein deterministischen Trajektorie wird während der Integration des ODE-Lösers gezielt Rauschen in die Zwischenzustände injiziert (siehe Algorithmus 1 im Paper).
Ziel: Dies erhöht die Unsicherheit aus Sicht des Angreifers und erschwert es, Gradienten für adaptive Angriffe zu berechnen, was die Robustheit in Weißkasten-Szenarien verbessert.

C. Adversarielle Detektion

FlowPure kann auch als Detektor dienen. Die Autoren nutzen die Magnitude des gelernten Geschwindigkeitsfeldes $\|v_\theta(t, x)\|^2$ zum Zeitpunkt $t=0$ als Detektionsscore. Die Intuition dahinter ist, dass adversarielle Beispiele (die außerhalb des Daten-Manifolds liegen) eine signifikant höhere initiale Geschwindigkeit aufweisen als saubere Daten.

3. Wichtige Beiträge

Erste Anwendung von CNFs: FlowPure ist die erste Methode, die Continuous Normalizing Flows für die adversarielle Reinigung einsetzt.
Flexible Architekturen: Einführung einer deterministischen Variante für bekannte Bedrohungen (hohe Genauigkeit, keine Verschlechterung der normalen Genauigkeit) und einer stochastischen Variante für unbekannte/adaptive Angriffe.
Überlegene Leistung: Die Methode übertrifft bestehende Diffusions-basierte Reinigungsverfahren in verschiedenen Szenarien.
Detektionsfähigkeit: Demonstration, dass FlowPure adversarielle Beispiele mit nahezu perfekter Genauigkeit erkennen kann, selbst bei geringen Perturbationsniveaus.

4. Ergebnisse

Die Evaluation erfolgte auf den Datensätzen CIFAR-10 und CIFAR-100 unter Verwendung von WideResNet-28-10 als Klassifikator.

Preprocessor-Blind Szenario (Angreifer kennt die Reinigung nicht):
- Die deterministischen Varianten (z. B. FlowPure_PGD) erreichen State-of-the-Art-Robustheit gegen PGD- und CW-Angriffe.
- Kein Verlust an normaler Genauigkeit: Im Gegensatz zu vielen anderen Methoden (die oft die Genauigkeit auf sauberen Daten senken), bleibt oder verbessert sich die Standard-Genauigkeit leicht.
- Die stochastische Variante (FlowPure_Gauss) ist robuster gegenüber Transfer-Angriffen (Angriffe, die nicht im Training gesehen wurden).
Voll-adaptiver Weißkasten-Szenario (Angreifer kennt die Verteidigung):
- Wie bei anderen Reinigungsverfahren sinkt die Robustheit hier drastisch, insbesondere unter dem starken Angriff DiffHammer.
- Dennoch erzielt die stochastische Variante von FlowPure die beste Leistung aller getesteten Methoden in diesem extremen Szenario, was auf die Wirksamkeit der Rausch-Injektion zur Unterbrechung von Gradienten hinweist.
Detektion:
- FlowPure erreicht eine nahezu perfekte AUC (Area Under Curve) bei der Erkennung von PGD-Angriffen und übertrifft den aktuellen State-of-the-Art-Detektor BEYOND deutlich.

5. Bedeutung und Fazit

FlowPure stellt einen Paradigmenwechsel in der adversariellen Reinigung dar, indem es von stochastischen Diffusionsprozessen zu deterministischen (oder gezielt gestörten) Normalizing Flows wechselt.

Praktische Relevanz: Die Fähigkeit, die normale Genauigkeit zu erhalten, macht die Methode für den realen Einsatz attraktiv, wo oft ein Kompromiss zwischen Robustheit und Genauigkeit besteht.
Sicherheitsaspekt: Die Arbeit unterstreicht, dass reine Reinigungsverfahren in voll-adaptiven Weißkasten-Szenarien immer noch verwundbar sind, aber FlowPure die Grenzen des Machbaren verschiebt.
Dualer Nutzen: Die Methode dient nicht nur als Verteidigung, sondern auch als hochwirksamer Detektor, was ein zweischneidiges Schwert in der Sicherheitsarchitektur darstellt (Erkennung + Reinigung).

Zusammenfassend bietet FlowPure einen vielversprechenden, effizienten Ansatz, der spezifisches Angriffswissen nutzen kann, um Perturbationen präzise zu entfernen, während die stochastische Variante eine robuste Abwehr gegen unbekannte Bedrohungen bietet.