Technische Zusammenfassung: Backbone ist alles, was Sie brauchen

Problemstellung

Die rasante Entwicklung von KI-generierten synthetischen Bildern hat die Entwicklung robuster Detektionssysteme erforderlich gemacht. Während Vision Transformer (ViTs) aufgrund ihrer Fähigkeit, auf nicht gesehene Generator-Klassen zu generalisieren, zum Eckpfeiler der modernen Deepfake-Erkennung geworden sind, bleibt eine kritische Verwundbarkeit weitgehend unerforscht. Die meisten aktuellen Detektoren verlassen sich auf eingefrorene, vortrainierte ViT-Backbones mit lediglich einem flachen Klassifizierungskopf, der für die spezifische Aufgabe trainiert wurde.

Bestehende Forschung zu adversariellen Angriffen konzentrierte sich hauptsächlich auf White-Box-Angriffe (vollständiger Zugriff auf Modellgewichte und Logits) oder Transferierbarkeit zwischen verschiedenen Architekturen. Die spezifische Verwundbarkeit durch Gray-Box-Angriffe – bei denen ein Angreifer Kenntnis über das eingefrorene ViT-Backbone besitzt, aber keinen Zugriff auf den Klassifizierungskopf des Ziel-Detektors, die Trainingsdaten oder spezifische Augmentierungsstrategien hat – wurde jedoch übersehen. Diese Arbeit geht davon aus, dass allein das Wissen über das Backbone ausreichen kann, um die Zuverlässigkeit des Detektors zu kompromittieren.

Methodik: Surrogate Iterative Adversarial Attack (SIAA)

Die Autoren schlagen die Surrogate Iterative Adversarial Attack (SIAA) vor, einen Gray-Box-Angriff, der vollständig im Merkmalsraum des Ziel-Detektors operiert. Der Angriff setzt lediglich Kenntnis des vortrainierten ViT-Backbones und seiner Gewichte voraus.

Die Methodik wird in zwei distincte Phasen implementiert:

Phase 1: Training des Surrogate Feature-Processing (FP)-Kopfes

Um die Lücke zwischen dem unbekannten Ziel-Klassifizierungskopf und dem bekannten Backbone zu schließen, trainieren die Autoren ein Surrogatmodell, bestehend aus:

1. Eingefrorene Komponenten: Das Ziel-ViT-Backbone ($F(\cdot)$) und der CLIP-Text-Encoder ($G(\cdot)$).
2. Trainierbare Komponente: Ein Feature-Processing (FP)-Kopf ($H(\cdot)$), der zwei lineare Zweige umfasst:
   • $L_t$: Verarbeitet Text-Embeddings, die aus Prompts abgeleitet werden (z. B. „Das Bild ist echt" vs. „Das Bild ist gefälscht").
   • $L_v$: Verarbeitet visuelle Merkmale, die vom ViT-Backbone extrahiert wurden.

Der FP-Kopf wird unter Verwendung eines mehrteiligen kontrastiven Verlusts trainiert, um visuelle Merkmale ($v'$) und textuelle Merkmale ($t'$) in einen gemeinsamen Embedding-Raum auszurichten. Das Ziel ist es, die Entscheidungsgrenzen des unbekannten Ziel-Klassifizierungskopfes zu approximieren, indem visuelle Merkmale um ihre entsprechenden Text-Embeddings gruppiert werden. Die Verlustfunktion umfasst:

• $L_{pull}$: Minimiert den Abstand zwischen visuellen Merkmalen und Ground-Truth-Text-Embeddings.
• $L_{push}$: Erzwingt einen Abstand zu den Text-Embeddings der adversariellen Klasse.
• $L_{text}$: Stellt eine Trennung zwischen den beiden Text-Embedding-Clustern sicher.

Phase 2: Einsatz und Perturbations-Optimierung

Sobald der FP-Kopf trainiert ist, generiert der Angriff adversarielle Beispiele, ohne auf die Logits des Ziels zugreifen zu müssen.

• Zielfunktion: Anstatt die Kreuzentropie auf Logits zu maximieren, optimiert SIAA eine benutzerdefinierte, distanzbasierte Zielfunktion $J$ im Surrogat-Merkmalsraum:
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  Die Maximierung von $J$ drängt die visuelle Darstellung von der Ground-Truth-Klasse weg und in Richtung der adversariellen Zielklasse.
• Optimierung: Ein Projected Gradient Descent (PGD)-Algorithmus aktualisiert das Eingabebild $I_j$ iterativ, um $J$ zu maximieren, unterliegt dabei jedoch einer $\ell_\infty$-Norm-Beschränkung ($\epsilon = 8/255$), um Unauffälligkeit zu gewährleisten.

Hauptbeiträge

1. Neuer Angriffsvektor: Einführung von SIAA, dem ersten Gray-Box-Angriff, der speziell darauf ausgelegt ist, eingefrorene ViT-Backbones in der forensischen Analyse synthetischer Bilder auszunutzen, ohne Kenntnis des Klassifizierungskopfes zu erfordern.
2. Ausnutzung des Merkmalsraums: Demonstration, dass adversarielle Perturbationen effektiv in einem Surrogat-Merkmalsraum optimiert werden können, der durch Text-Bild-kontrastives Lernen ausgerichtet ist, wodurch der Bedarf an Zugriff auf Logits umgangen wird.
3. Umfassende Evaluation: Systematische Bewertung des Angriffs unter verschiedenen Stufen von Gray-Box-Wissen, einschließlich Few-Shot-Learning-Szenarien, unbekannter Daten-Augmentierung und Dataset-Mismatches.
4. Transferierbarkeitsanalyse: Evaluation der übergreifenden Transferierbarkeit zwischen verschiedenen ViT-Backbones (CLIP, Swin, DINOv2).

Experimentelle Ergebnisse

Die Autoren evaluierten SIAA gegen Detektoren, die auf CLIP-, Swin- und DINOv2-Backbones basieren, unter Verwendung des Synthbuster-Datensatzes.

• Leistung im Vergleich zu Baselines: SIAA schnitt deutlich besser ab als bestehende Gray-Box-Baselines (PGD-ViT und eine lineare Variante PGD-L).
  • Gegenüber CLIP- und Swin-Detektoren erreichte SIAA Angriffserfolgsraten (ASR) von 1,00 bzw. 0,99, wobei die AUC-Werte nach dem Angriff nahe bei 0,00 lagen und damit effektiv die Leistung von White-Box-PGD-Angriffen erreichten.
  • Gegenüber DINOv2 erreichte SIAA eine ASR von 0,56. Die Autoren führen die höhere Resilienz von DINOv2 auf seine selbstüberwachten Trainingsziele und die Verwendung von Register-Token zurück, die eine glattere Verlustlandschaft erzeugen.
• Robustheit gegenüber Fehlausrichtung (Ablationsstudien):
  • Klassifizierungskopf-Variationen: SIAA behielt eine ASR von $\geq 0,98$ bei, selbst wenn sich die Tiefe des Klassifizierungskopfes des Ziel-Detektors änderte (1, 2 oder 3 Schichten).
  • Few-Shot-Learning: Mit nur 100 echten und 100 gefälschten Trainingsbeispielen erreichte SIAA eine ASR von 0,985.
  • Unbekannte Augmentierung: Wenn die Daten-Augmentierungsstrategien unbekannt waren, blieb die ASR mit 0,96 hoch.
  • Dataset-Mismatch: Im restriktivsten Szenario (anderer Trainingsdatensatz und unbekannte Augmentierung) erreichte SIAA dennoch eine ASR von 0,70 und griff erfolgreich über 50 % der korrekt klassifizierten Bilder an.
• Transferierbarkeit:
  • Auf CLIP oder Swin optimierte Perturbationen übertrugen sich gut aufeinander (ASR $\approx 0,56$).
  • Auf DINOv2 optimierte Perturbationen zeigten eine moderate Transferierbarkeit auf CLIP (ASR 0,31) und Swin (ASR 0,28), obwohl DINOv2 als Ziel hochresistent war.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Abhängigkeit von eingefrorenen Foundation-Modellen in der forensischen Analyse synthetischer Bilder eine „subtile, aber kritische Verwundbarkeit" einführt. Das Hauptergebnis ist, dass alleiniges Wissen über das Backbone ausreicht, um die Zuverlässigkeit des Detektors zu untergraben, wobei häufig Angriffserfolgsraten erzielt werden, die mit White-Box-Angriffen vergleichbar sind.

Die Autoren betonen, dass diese Verwundbarkeit auch unter Bedingungen totaler Fehlausrichtung hinsichtlich Trainingsdaten, Augmentierung und Architektur des Klassifizierungskopfes bestehen bleibt. Folglich argumentiert die Arbeit für einen dringenden Bedarf an der Entwicklung robusterer Verteidigungsmechanismen, die sich nicht allein auf die Annahme verlassen, dass das Verbergen des Klassifizierungskopfes ausreichende Sicherheit bietet. Die Arbeit hebt hervor, dass der Merkmalsraum eingefrorener ViTs, wenn er mit semantischen Prompts ausgerichtet ist, vorhersehbar genug ist, um von Angreifern mit begrenztem Zugriff ausgenutzt zu werden.