Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

1. Problemstellung

Vision-Language-Modelle wie CLIP (Contrastive Language-Image Pre-training) sind aufgrund ihrer Fähigkeit, visuelle Wahrnehmung und Sprachverständnis zu verknüpfen, äußerst leistungsfähig. Sie werden jedoch oft auf großen, aus dem Web gescrapten Datensätzen trainiert, was sie anfällig für Backdoor-Angriffe macht.

• Die Bedrohung: Angreifer können einen kleinen Anteil der Trainingsdaten (oft < 1 %) manipulieren, indem sie spezifische Trigger (z. B. Rauschen, Muster oder Text) mit einem Ziel-Label versehen. Das Modell lernt dann, bei Vorhandensein dieses Triggers eine falsche Ausgabe zu produzieren, bleibt aber im Normalbetrieb unauffällig.
• Die Herausforderung: Das Neutrainieren von Basis-Modellen wie CLIP von Grund auf ist extrem rechenintensiv und teuer. Daher ist das Ziel, verseuchte Modelle durch Fine-Tuning mit einem kleinen, sauberen Datensatz zu bereinigen.
• Schwäche bestehender Methoden: Aktuelle Reinigungsmethoden wie CleanCLIP und RoCLIP verlassen sich stark auf starke Daten-Augmentierungen (z. B. AutoAugment, Farbschwankungen, Drehungen), um die Korrelation zwischen Trigger und Ziel-Label zu brechen. Das Paper zeigt jedoch, dass diese Methoden bei strukturierten Triggern (z. B. Streifen, Dreiecke, Wasserzeichen-Text) versagen, da diese Trigger oft invariant gegenüber den Augmentierungen sind und somit nicht entfernt werden.

2. Methodik: PAR (Perturb and Recover)

Die Autoren stellen PAR (Perturb and Recover) vor, eine einfache, aber effektive Fine-Tuning-Strategie, die keine starken Augmentierungen benötigt und keine Annahmen über die Art des Triggers trifft.

Das Kernkonzept:
PAR zielt darauf ab, das verseuchte Modell aktiv zu „stören" (Perturb), um die erlernten falschen Korrelationen zu vergessen, und gleichzeitig die ursprüngliche Leistung auf sauberen Daten wiederherzustellen (Recover).

Die Verlustfunktion:
Der Gesamtverlust $\mathcal{L}_{\text{PAR}}$ setzt sich aus zwei Komponenten zusammen:

1. $\mathcal{L}_{\text{CLIP}}$ (Standard Loss): Der normale kontrastive CLIP-Verlust, der auf einem kleinen Satz sauberer Daten berechnet wird. Dies dient dazu, die Standardleistung (Clean Accuracy) zu erhalten.
2. $\mathcal{L}_{\text{PERT}}$ (Perturbation Loss): Dies ist der innovative Teil. Er misst die Distanz (L2-Norm) zwischen den Embeddings des aktuellen Modells und denen des ursprünglichen, verseuchten Modells ($\phi_P, \psi_P$) für die sauberen Daten.
   • Das Ziel ist es, die Embeddings des sauberen Modells so weit wie möglich von denen des verseuchten Modells zu entfernen, sobald die Distanz einen Schwellenwert $\tau$ überschreitet.
   • Sobald die Distanz groß genug ist, wird der Perturbation-Loss aktiviert und zwingt das Modell, sich von den „giftigen" Merkmalen wegzubewegen.

Ablauf:

• Es werden nur schwache Augmentierungen (Gaußsches Rauschen, CutOut) verwendet, um die Bildinhalte nicht zu stark zu verzerren (im Gegensatz zu CleanCLIP).
• Ein Schwellenwert $\tau$ steuert den Trade-off zwischen der Entfernung des Backdoors und der Beibehaltung der sauberen Genauigkeit.
• Einmalige Anwendung: Das verseuchte Modell wird einmalig auf den sauberen Daten (oder synthetischen Daten) fine-getuned.

3. Schlüsselbeiträge

1. Schwächung bestehender Verteidigungen: Die Autoren zeigen, dass CleanCLIP und RoCLIP durch einfache, strukturierte Trigger (z. B. „BadNet-Stripes", „Blended-Text") leicht umgangen werden können. Diese Trigger bleiben nach starken Augmentierungen bestehen, während zufälliges Rauschen oft entfernt wird.
2. Einführung von PAR: Eine neue, robuste Methode zur Backdoor-Entfernung, die unabhängig von der Trigger-Struktur funktioniert. Sie basiert auf der aktiven Störung der Embeddings des verseuchten Modells.
3. Effektivität mit synthetischen Daten: Ein bedeutender Beitrag ist die Demonstration, dass PAR auch mit rein synthetischen Daten (generiert durch Text-zu-Bild-Modelle wie Diffusion) funktioniert, ohne dass reale, saubere Trainingsdaten verfügbar sein müssen. Dies senkt die Kosten für die Bereinigung erheblich.
4. Umfassende Evaluation: Die Methode wurde über verschiedene Encoder-Architekturen (ResNet50, ViT-B/32, ViT-L/14), verschiedene Modelle (CLIP, SigLIP) und diverse Angriffe hinweg getestet.

4. Ergebnisse

Die Experimente zeigen eine deutliche Überlegenheit von PAR gegenüber dem State-of-the-Art (CleanCLIP, RoCLIP):

• Backdoor-Entfernung (ASR - Attack Success Rate):
  • Bei strukturierten Triggern (z. B. BadNet-Stripes) reduziert PAR die ASR auf nahezu 0 % (z. B. von 99,8 % auf 0,1 % bei Blended-Stripes), während CleanCLIP oft versagt (ASR bleibt bei >40 %).
  • PAR erreicht konsistent die niedrigste ASR über alle getesteten Angriffe hinweg.
• Standardleistung (Clean Accuracy):
  • PAR erhält die saubere Genauigkeit (Zero-Shot Classification auf ImageNet) weitgehend bei, oft sogar besser als CleanCLIP, welches durch starke Augmentierungen oft an Genauigkeit verliert.
  • Beispiel: Bei Blended-Stripes erreicht PAR eine Clean Accuracy von 53,5 % bei einer ASR von 0,1 %, während CleanCLIP bei 53,1 % Accuracy eine ASR von 61,8 % hat.
• Synthetische Daten:
  • PAR funktioniert mit synthetischen Daten (SynthCLIP) fast genauso gut wie mit realen Daten (CC3M), wobei die ASR ebenfalls drastisch gesenkt wird.
• Robustheit:
  • PAR funktioniert auch bei niedrigen Vergiftungsraten (0,05 %) und bei adaptiven Angriffen (wenn das bereinigte Modell erneut verseucht wird).

5. Bedeutung und Fazit

Das Paper adressiert eine kritische Lücke in der Sicherheit von Vision-Language-Modellen. Es demonstriert, dass die bisherige Annahme, starke Daten-Augmentierungen würden Backdoors automatisch entfernen, für strukturierte Trigger falsch ist.

PAR bietet einen praktikablen, kosteneffizienten Weg, um verseuchte Basis-Modelle zu bereinigen, ohne diese neu trainieren zu müssen. Die Fähigkeit, synthetische Daten zu nutzen, macht die Methode besonders attraktiv für reale Anwendungen, wo der Zugang zu großen Mengen an verifiziert sauberen Daten oft limitiert oder teuer ist. Dies ist ein wichtiger Schritt für die sichere Deployment von CLIP-basierten Modellen in kritischen Infrastrukturen und Large Vision-Language Models (LVLMs).