Semantic-aware Adversarial Fine-tuning for CLIP

1. Problemstellung

Das Paper adressiert die Verwundbarkeit von CLIP (Contrastive Language-Image Pre-training) gegenüber adversariellen Beispielen (AEs) im Kontext von Zero-Shot-Klassifizierung.

• Herausforderung: Bisherige Methoden zur adversariellen Verfeinerung (Adversarial Fine-Tuning, AFT) von CLIP generieren AEs, indem sie die Ähnlichkeit zwischen einem Bild und einem einzigen, manuell erstellten Text-Template (z. B. „A photo of a {label}") minimieren (basierend auf der Cosinus-Ähnlichkeit, dem „CLIP Score").
• Kritische Erkenntnis der Autoren: Es wurde festgestellt, dass diese AEs, die speziell gegen ein einzelnes Template optimiert wurden, oft versagen, wenn die Ähnlichkeit mit semantisch angereicherten Alternativen gemessen wird (z. B. durch LLM-generierte Beschreibungen wie CuPL oder WCA).
• Folge: Ein Encoder, der nur gegen ein starres Template robust gemacht wurde, ist nicht robust gegenüber linguistischen Variationen. Dies führt zu einer geringeren allgemeinen Robustheit, da die AEs die semantische Ausrichtung des Bildes nur für eine spezifische Formulierung zerstören, aber nicht für die gesamte semantische Klasse.

2. Methodik: Semantic-aware Adversarial Fine-Tuning (SAFT)

Um dieses Problem zu lösen, schlagen die Autoren SAFT vor, ein Framework, das semantisch reiche Textbeschreibungen nutzt, um robustere AEs zu generieren. Der Prozess besteht aus drei Hauptkomponenten:

A. Halluzinationsbewusste Beschreibungsgenerierung (Hallucination-aware Description Generation)

Anstatt eines festen Templates wird eine Vielzahl von Textbeschreibungen pro Klasse generiert.

• Generierung: Ein Foundation Model (LLM oder MLLM) wird aufgefordert, diverse Attribute, Kontexte und Synonyme für eine Klasse zu beschreiben (z. B. für „Hund": „ein pelziges Säugetier, das bellt", „ein domestizierter Canide").
• Filterung (Wichtig): Da Foundation Models Halluzinationen produzieren können (z. B. „ein geflügeltes mythisches Wesen" für einen Hund), wird eine semantische Filterstrategie eingeführt.
  • Es werden $M$ Kandidaten-Texte generiert.
  • Die Cosinus-Ähnlichkeit zwischen jedem generierten Text und dem Ground-Truth-Label (kodiert durch den CLIP-Textencoder) wird berechnet.
  • Nur die Top-$K$ Texte mit der höchsten Relevanz werden beibehalten, um sicherzustellen, dass die Beschreibungen faktenbasiert und semantisch korrekt sind.

B. Semantische Ensemble-Angriff (Semantic-ensemble Attack)

Die AEs werden nicht gegen einen einzelnen Text, sondern gegen ein Ensemble der gefilterten Texte optimiert.

• Der Angriff maximiert die Dissimilarität zwischen dem gestörten Bild-Embedding und dem Durchschnitt aller Embeddings der $K$ gefilterten Textbeschreibungen.
• Dies zwingt den Generator der AEs, Störungen zu finden, die die semantische Ausrichtung des Bildes gegenüber einer Vielfalt von Beschreibungen zerstören, nicht nur gegenüber einer Phrase.

C. Lernziel (Learning Objective)

Das Ziel des Fine-Tunings ist es, die Parameter des Bildencoders so anzupassen, dass gestörte Bilder (AEs) weiterhin mit dem Ensemble der semantisch reichen Textbeschreibungen ausgerichtet bleiben.

• Dies führt zu einem bi-level Optimierungsproblem:
  1. Innerer Loop: Generierung des optimalen AE ($\delta^*$), das die Ähnlichkeit zum Ensemble minimiert.
  2. Äußerer Loop: Minimierung dieser Verlustfunktion durch Anpassung der Encoder-Parameter.
• Das Ergebnis ist ein Encoder, der Abbildungen lernt, die sowohl gegenüber visuellen Störungen als auch gegenüber linguistischen Variationen invariant sind.

3. Hauptbeiträge

1. Identifikation einer Lücke: Die Autoren zeigen empirisch, dass AEs, die nur gegen den Standard-CLIP-Score (ein Template) optimiert sind, bei Verwendung semantisch angereicherter Metriken (wie CuPL oder WCA) versagen. Dies führt zu einem weniger robusten Encoder.
2. Neues Framework (SAFT): Einführung eines Frameworks, das LLMs nutzt, um diverse Textbeschreibungen zu generieren, diese durch semantisches Filtering bereinigt und als Ensemble für die adversarielle Verfeinerung verwendet.
3. Umfassende Evaluation: Demonstration, dass SAFT den aktuellen State-of-the-Art (SOTA) in Bezug auf den Trade-off zwischen Genauigkeit und Robustheit bei Zero-Shot-Aufgaben signifikant verbessert.

4. Ergebnisse

Die Methode wurde auf 16 Datensätzen (1 In-Domain, 15 Zero-Shot) evaluiert und mit SOTA-Methoden wie TeCoA, FARE, PMG-AFT und TGA-ZSR verglichen.

• Robustheit: SAFT übertrifft die besten bestehenden Methoden (TGA-ZSR) im Durchschnitt um 3,85 % in der Zero-Shot-Robustheitsgenauigkeit (gegenüber PGD-100 Angriffen).
• Genauigkeit: SAFT erreicht die zweithöchste Zero-Shot-Genauigkeit auf sauberen Daten, was zeigt, dass die Robustheit nicht auf Kosten der reinen Leistung geht.
• Skalierbarkeit: Die Methode funktioniert effektiv auf größeren Modellen (CLIP-L/14) und größeren Datensätzen (ImageNet-1K).
• Generalisierung:
  • Unbekannte Templates: SAFT generalisiert deutlich besser auf ungesehene Text-Templates als Baselines (z. B. „a sketch of a {label}" statt „a photo of...").
  • Andere Aufgaben: Die Methode verbessert auch die Leistung bei Bild-Text-Retrieval-Aufgaben (COCO, Flickr).
  • Out-of-Domain: Die Robustheitserfolge übertragen sich auf stark abweichende Domänen wie Skizzen (TU-Berlin) und künstlerische Darstellungen (ImageNet-R).
• Ablationsstudien: Die Studie bestätigt, dass die semantische Filterung (Entfernung von Halluzinationen) entscheidend für die Performance ist und dass eine moderate Anzahl von Beschreibungen ($K=5$) optimal ist.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Paradigmenwechsel für die adversarielle Absicherung von Vision-Language-Modellen. Es zeigt, dass die reine Optimierung gegen ein statisches Text-Template unzureichend ist, da CLIP semantisch viel komplexer ist.

• Kernbotschaft: Um echte Robustheit zu erreichen, müssen AEs gegen die semantische Essenz einer Klasse (repräsentiert durch ein Ensemble von Beschreibungen) und nicht gegen eine spezifische Formulierung verteidigt werden.
• Zukunftsausblick: SAFT legt den Grundstein für zukünftige Methoden, die reichhaltigere Textüberwachung nutzen, um die Zuverlässigkeit von KI-Systemen in realen Szenarien zu erhöhen, in denen linguistische Variationen unvermeidbar sind.

Obwohl der Ansatz einen leichten Mehraufwand an Rechenleistung und Speicherbedarf mit sich bringt (durch die Verarbeitung mehrerer Text-Embeddings), überwiegen die signifikanten Gewinne in der Robustheit und Generalisierungsfähigkeit diesen Kosten.