💻 computer science

Revisiting CroPA: A Reproducibility Study and Enhancements for Cross-Prompt Adversarial Transferability in Vision-Language Models

Dieser Artikel validiert die Wirksamkeit des Cross-Prompt-Angriffs (CroPA) auf Large Vision-Language-Modelle durch eine Reproduzierbarkeitsstudie und schlägt drei wesentliche Verbesserungen vor – eine neuartige Initialisierungsstrategie, universelle Perturbationen für die übertragbarkeit zwischen Bildern und eine auf Aufmerksamkeit ausgerichtete Verlustfunktion –, die gemeinsam die Erfolgsraten von adversarialen Angriffen und die Übertragbarkeit über diverse VLM-Architekturen hinweg verbessern.

Ursprüngliche Autoren: Atharv Mittal, Agam Pandey, Amritanshu Tiwari, Sukrit Jindal, Swadesh Swain

Veröffentlicht 2026-05-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Atharv Mittal, Agam Pandey, Amritanshu Tiwari, Sukrit Jindal, Swadesh Swain

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „magische Auge", das getäuscht werden kann

Stellen Sie sich Vision-Language-Modelle (VLMs) als unglaublich kluge, magische Augen vor, die ein Bild betrachten und es beschreiben, Fragen dazu beantworten oder es klassifizieren können. Sie sind wie ein superintelligenter Assistent, der sehen und sprechen kann.

Dieses Paper enthüllt jedoch, dass diese Assistenten eine Schwachstelle haben. Genau wie ein Zauberer durch einen bestimmten Handgriff getäuscht werden kann, können diese KI-Modelle durch adversariale Angriffe getäuscht werden. Dabei handelt es sich um winzige, fast unsichtbare Veränderungen an einem Bild, die die KI dazu bringen, etwas völlig Falsches oder Schädliches zu sagen.

Der spezifische Trick, den dieses Paper untersucht, heißt CroPA (Cross-Prompt Adversarial Attack).

Das Problem: Normalerweise, wenn Sie eine KI mit einer bestimmten Frage (einem „Prompt") täuschen, kann das funktionieren. Aber wenn Sie die Frage leicht ändern (z. B. von „Was ist das?" zu „Beschreiben Sie dies"), funktioniert der Trick oft nicht mehr.
Die ursprüngliche Behauptung: Eine frühere Studie behauptete, CroPA sei ein „universeller Trick". Sie sagten, man könne eine winzige, unsichtbare Veränderung an einem Bild erstellen, die die KI täuschen würde, egal welche Frage man ihr stellte.

Die Mission: Hat der Zaubertrick tatsächlich funktioniert?

Die Autoren dieses Papers entschieden sich, die Rolle der Skeptiker einzunehmen. Sie wollten:

Den Zauber nachstellen: Versuchen, den ursprünglichen CroPA-Trick selbst auszuführen, um zu sehen, ob er wirklich so gut funktioniert, wie die ursprünglichen Autoren behaupteten.
Den Trick verbessern: Wenn er funktioniert, können sie ihn dann noch stärker, schneller und schwerer zu erkennen machen?

Teil 1: Die Reproduktion (Überprüfung des ursprünglichen Tricks)

Das Team stellte die ursprüngliche CroPA-Methode erfolgreich nach.

Das Ergebnis: Sie bestätigten, dass der ursprüngliche Trick funktioniert. Die KI kann tatsächlich über viele verschiedene Fragen hinweg getäuscht werden.
Der Haken: Sie stellten fest, dass der Trick zwar für einige Aufgaben gut funktioniert (wie das Beantworten spezifischer Fragen), bei anderen jedoch etwas Schwierigkeiten hat (wie das detaillierte Beschreiben eines Bildes). Außerdem ist die ursprüngliche Methode sehr langsam und rechenintensiv, wie der Versuch, einen Rubik's Cube zu lösen, indem man sechs Stunden lang nur ein Teilchen nach dem anderen dreht.

Teil 2: Die Verbesserungen (Den Trick besser machen)

Die Autoren hörten nicht einfach beim Kopieren des Tricks auf; sie erfanden drei neue Wege, um ihn viel effektiver zu machen.

1. Der „kluge Start" (Noise Initialization)

Der alte Weg: Die ursprüngliche Methode begann damit, zufälliges Rauschen (Noise) zum Bild hinzuzufügen, wie das Einschalten eines Fernsehers ohne Signal, in der Hoffnung, dass die KI verwirrt wird. Es war ein blindes Raten.
Der neue Weg: Die Autoren verwendeten einen „Kristallkugel"-Ansatz. Bevor sie den Trick hinzufügten, nutzten sie eine andere KI (ein Diffusionsmodell), um ein Bild zu generieren, das perfekt der Bedeutung der Frage entspricht, mit der sie die KI täuschen wollten.
Die Analogie: Stellen Sie sich vor, Sie versuchen, unbemerkt in eine Party zu kommen. Der alte Weg war, herumzuwandern und zu hoffen, die Hintertür zu finden. Der neue Weg ist, zuerst den Partyplan zu betrachten, die Hintertür zu finden und direkt dorthin zu gehen.
Das Ergebnis: Dieser „kluge Start" machte den Angriff viel schneller und viel erfolgreicher und erhöhte die Erfolgsrate erheblich.

2. Die „Gehirnchirurgie" (Target Value Vectors)

Der alte Weg: Die ursprüngliche Methode versuchte, das gesamte Gehirn der KI auf einmal zu verwirren.
Der neue Weg: Die Autoren erkannten, dass die KI einen spezifischen Teil ihres Gehirns hat (den Vision Encoder), der für das Verständnis des Bildes verantwortlich ist. Sie beschlossen, die spezifischen „Value Vectors" (die internen Datenpakete) innerhalb dieses Gehirnteils ins Visier zu nehmen.
Die Analogie: Anstatt das ganze Zimmer anzuschreien, um die KI zu verwirren, flüstern sie einen spezifischen Code direkt ins Ohr der Person, die für das Erkennen von Gesichtern verantwortlich ist.
Das Ergebnis: Dies machte den Angriff unglaublich präzise. Es funktionierte so gut, dass die KI, selbst wenn sie versuchte „sicher" zu sein und sich weigerte, schädliche Wörter (wie „Bombe") zu sagen, durch den Angriff trotzdem dazu gezwungen wurde, sie auszusprechen.

3. Der „universelle Schlüssel" (Cross-Image Transferability)

Das Problem: Der ursprüngliche Trick funktionierte hervorragend über verschiedene Fragen hinweg, aber er funktionierte nur auf dem einen spezifischen Bild, für das er entwickelt wurde. Wenn man den Trick auf ein anderes Foto anwendete, funktionierte er nicht mehr.
Der neue Weg: Die Autoren verwendeten eine Technik namens SCMix. Sie nahmen zwei verschiedene Bilder, schnitten sie zurecht und mischten sie während des Trainingsprozesses zusammen.
Die Analogie: Anstatt zu lernen, wie man das Schloss einer einzigen spezifischen Tür aufbricht, übte der Dieb gleichzeitig an hundert verschiedenen Türen. Dies zwang den Trick, die „universelle Form" eines Schlosses zu lernen, anstatt die spezifischen Kratzer an einer einzigen Tür.
Das Ergebnis: Dies ermöglichte es dem Trick, auf neuen Bildern zu funktionieren, die er noch nie gesehen hatte, und nicht nur auf dem, auf dem er trainiert wurde.

Die Kompromisse (Der „Haken")

Das Paper entdeckte auch einige wichtige Grenzen:

Die „Familienähnlichkeits"-Regel: Das Upgrade „Gehirnchirurgie" funktioniert großartig, wenn die KI-Modelle von derselben „Familie" gebaut wurden (unter Verwendung desselben Vision Encoders). Wenn Sie jedoch versuchen, einen Trick, der für einen KI-Typ entwickelt wurde, auf einen völlig anderen KI-Typ anzuwenden, scheitert er oft. Es ist wie ein Schlüssel, der für ein Ford-Auto gemacht wurde und kein Toyota öffnet.
Der Balanceakt: Das Paper stellte fest, dass es zwei verschiedene Ziele sind, die gegeneinander arbeiten: einen Trick zu entwickeln, der für viele Fragen funktioniert (Cross-Prompt), und einen Trick, der für viele Bilder funktioniert (Cross-Image). Man kann nicht einfach beide gleichzeitig maximieren, ohne Kompromisse einzugehen.

Zusammenfassung

Kurz gesagt sagt dieses Paper:

Ja, der ursprüngliche „Cross-Prompt"-Trick (CroPA) ist real und gefährlich.
Aber, wir können ihn viel besser machen, indem wir mit einer klügeren Annahme beginnen, die internen Gehirnstrukturen der KI präziser ins Visier nehmen und Trainingsbilder mischen, damit der Trick auf neuen Fotos funktioniert.
Allerdings gibt es Grenzen. Ein Trick, der auf einer Familie von KI-Modellen funktioniert, funktioniert möglicherweise nicht auf einer anderen, und es ist schwierig, einen einzigen Trick zu entwickeln, der gleichzeitig für jede Frage und jedes Bild perfekt funktioniert.

Die Autoren kommen zu dem Schluss, dass das Verständnis dieser Tricks von entscheidender Bedeutung ist, denn wenn wir nicht wissen, wie man diese KI-Systeme knackt, können wir sie nicht sicher genug bauen, um reale Daten zu schützen.

Technische Zusammenfassung: CroPA erneut betrachtet: Eine Reproduzierbarkeitsstudie und Verbesserungen für die übertragbare adversarische Angreifbarkeit bei Vision-Language-Modellen

1. Problemstellung

Große Vision-Language-Modelle (VLMs) haben Aufgaben wie Bildklassifizierung, Bildunterschriftenerstellung und visuelle Fragebeantwortung (VQA) revolutioniert. Dennoch bleiben sie hochgradig anfällig für adversarische Angriffe, bei denen subtile Störungen von Eingabebildern oder -texten zu falschen oder schädlichen Ausgaben führen. Während frühere Forschungen die Modellübergreifende Übertragbarkeit (adversarische Beispiele, die über verschiedene Architekturen hinweg funktionieren) und die Bildübergreifende Übertragbarkeit (universelle adversarische Störungen oder UAPs) etabliert haben, wurde eine neuere Dimension namens Promptübergreifende Übertragbarkeit durch Luo et al. (2024) via dem Cross-Prompt-Angriff (CroPA) eingeführt.

CroPA zielt darauf ab, adversarische Bilder zu erzeugen, die unabhängig vom verwendeten Text-Prompt zur Abfrage des VLM wirksam bleiben. Trotz seiner Neuheit bedürfen die Robustheit und Generalisierbarkeit von CroPA weiterer Validierung. Darüber hinaus weist das ursprüngliche CroPA-Framework Einschränkungen auf, darunter:

Zufällige Initialisierung: Abhängigkeit von uninformierter zufälliger Rauschinitialisierung, was zu Instabilität und langsamer Konvergenz führt.
Aufgabenspezifische Schwächen: Schlechte Leistung bei spezifischen Aufgaben wie Klassifizierung und Bildunterschriftenerstellung.
Rechenintensität: Hoher Ressourcenverbrauch (z. B. 6+ Stunden auf einer 48-GB-GPU für 50 Bilder).
Eingeschränkte Bildübergreifende Übertragbarkeit: Störungen sind eng an das spezifische Bild gekoppelt, auf dem sie generiert wurden, was eine universelle Anwendung behindert.

Diese Studie adressiert diese Probleme durch eine umfassende Reproduzierbarkeitsstudie von CroPA und schlägt Verbesserungen vor, um die Angriffserfolgsrate (ASR), die Konvergenz und die Übertragbarkeit über Bilder und Modelle hinweg zu verbessern.

2. Methodik

2.1 Reproduzierbarkeitsstudie

Die Autoren reproduzierten zunächst rigoros die ursprünglichen CroPA-Experimente über prominente VLMs hinweg (Flamingo, BLIP-2, InstructBLIP und LLaVA). Sie validierten vier Kernbehauptungen von Luo et al. (2024):

CroPA erzielt eine überlegene promptübergreifende Übertragbarkeit im Vergleich zu Baselines (Single-P und Multi-P).
CroPA behält seine Überlegenheit bei, selbst wenn die Anzahl der Prompts steigt.
CroPA konvergiert mit zunehmender Iterationszahl zu einer höheren ASR.
CroPA übertrifft Baselines in Few-Shot-Szenarien (kontextuelles Lernen).

Die Reproduktion bestätigte die ursprünglichen Behauptungen; es wurde jedoch festgestellt, dass CroPA die Baselines konsistent übertrifft, wobei im Vergleich zu den aggregierten Metriken des Originalpapiers eine Instabilität in den Konvergenztrends für bestimmte Aufgaben (z. B. Klassifizierung) beobachtet wurde.

2.2 Vorgeschlagene Verbesserungen

Um die identifizierten Einschränkungen zu adressieren, führt das Papier drei wesentliche methodische Verbesserungen ein:

A. Rauschinitialisierung durch Optimierung der Vision-Encoding

Anstelle von zufälligem Rausch schlagen die Autoren eine semantisch informierte Initialisierung vor:

Zielsynthese: Ein Diffusionsmodell (Stable Diffusion XL) generiert ein Bild ( $x_{target}$ ), das dem Zieltext-Prompt entspricht.
Vision-Encoder-Ankerung: Die initiale Störung ( $\delta_{init}$ ) wird durch Minimierung des mittleren quadratischen Fehlers (MSE) zwischen der Darstellung des Originalbildes plus Störung durch den Vision-Encoder und der Darstellung des synthetisierten Zielbildes durch den Vision-Encoder abgeleitet:
$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$
Optimierung: Diese Initialisierung wird mittels Projected Gradient Descent (PGD) mit einem MSE-Verlust verfeinert, wodurch sichergestellt wird, dass die Störung in eine semantisch sinnvolle Richtung zum adversarischen Ziel startet.

B. Steuerung von Störungen durch Zielwertvektoren (D-UAP-Integration)

Um die Übertragbarkeit und Angriffsstärke zu verbessern, integrieren die Autoren eine Verlustfunktion, die von der Doubly-Universal Adversarial Perturbation (D-UAP)-Methode inspiriert ist. Dieser Ansatz zielt auf die internen Dynamiken des Aufmerksamkeitsmechanismus des Vision-Encoders ab:

Mechanismus: Die Methode stört die Wertvektoren der Aufmerksamkeits-Schichten im Vision-Encoder. Sie minimiert den Kosinus-Ähnlichkeitsverlust zwischen den Wertvektoren des gestörten Bildes und den Wertvektoren eines Referenzbildes, das dem Zieltext entspricht.
Zielfunktion: Der finale Verlust kombiniert das Standard-CroPA-Min-Max-Ziel mit dem Wertvektor-Verlust:
$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$
wobei $\mathcal{L}_{d-UAP}$ die Ausrichtung der Wertvektoren des gestörten Bildes an der Darstellung des Zieltextes fördert.

C. Bildübergreifende Übertragbarkeit durch Bild-Augmentation

Um eine Überanpassung an spezifische Bildmerkmale zu mindern und eine bildübergreifende Übertragbarkeit zu ermöglichen, integrieren die Autoren Daten-Augmentierungsstrategien während der Störungsgenerierung:

SCMix: Ein zweistufiger Mischprozess, der Selbst-Mixing (Vermischung von zugeschnittenen Patches desselben Bildes) und Cross-Mixing (Vermischung mit einem sekundären Bild) umfasst. Dies zwingt das Modell, Merkmale zu lernen, die gegenüber räumlichen Variationen und der Vermischung zwischen Bildern invariant sind.
CutMix: Eine Strategie zur regionalen Ersetzung auf Basis harter Masken, die Störungen zwingt, räumlich invariante Merkmale anstelle lokalisierter Artefakte zu targeten.

3. Wesentliche Beiträge und Ergebnisse

3.1 Validierung der Reproduktion

Die Studie reproduzierte die ursprünglichen CroPA-Ergebnisse erfolgreich und bestätigte, dass:

CroPA eine signifikant höhere ASR als Single-P- und Multi-P-Baselines über VQA-, Klassifizierungs- und Bildunterschriftenerstellungsaufgaben hinweg erzielt.
CroPA auch dann robust bleibt, wenn Kontextlernbeispiele während der Inferenz hinzugefügt werden (Few-Shot-Szenarien).
Die Übertragbarkeit der Methode weitgehend unabhängig von der semantischen Bedeutung oder Wortfrequenz des Zieltextes ist.

3.2 Leistung der Verbesserungen

Rauschinitialisierung: Die vorgeschlagene Initialisierungsstrategie verbesserte die ASR signifikant. Auf BLIP-2 erreichte CroPA+Init eine Gesamt-ASR von 89,77 % (gegenüber 77,08 % für die Basis-CroPA) und bis zu 94,58 % für spezifische Ziele wie „I am sorry". Sie reduzierte zudem die Anzahl der für die Konvergenz erforderlichen Optimierungsschritte.
Wertvektor-Steuerung (D-UAP): Die Integration des Wertvektor-Verlusts steigerte die Leistung weiter. Die Methode CroPA+D-UAP erreichte auf BLIP-2 eine Gesamt-ASR von 96,85 % (eine Steigerung von 12,5 % gegenüber der Basis-CroPA) und 92,70 % auf OpenFlamingo. Bemerkenswerterweise war diese Verbesserung auch gegen „schädliche" Zieltexte wie „Bomb" wirksam, die typischerweise die Sicherheitsmechanismen des Modells auslösen.
Bildübergreifende Übertragbarkeit: Während die Basis-CroPA bei der bildübergreifenden Übertragbarkeit Schwierigkeiten hat, verbesserte die Integration von SCMix die ungerichtete Gesamt-ASR von 43,55 % auf 70,55 %, und CutMix verbesserte sie auf 55,65 %. Dies zeigt, dass Augmentation die Lücke zwischen promptübergreifender und bildübergreifender Übertragbarkeit teilweise überbrücken kann.

3.3 Analyse der modellübergreifenden Übertragbarkeit

Die Studie analysierte die Übertragbarkeit zwischen Modellen mit unterschiedlichen Architekturen (z. B. BLIP-2 zu Flamingo vs. BLIP-2 zu InstructBLIP).

Ergebnisse: Die D-UAP-Verbesserung steigerte die modellübergreifende Übertragbarkeit, insbesondere zwischen Modellen mit ähnlichen Vision-Encodern (z. B. BLIP-2 zu InstructBLIP, wo die ASR von 50,65 % auf 68,50 % sprang).
Einschränkung: Die Übertragbarkeit blieb zwischen grundlegend unterschiedlichen Architekturen (z. B. BLIP-2 zu Flamingo) gering, was bestätigt, dass die Wertvektor-Steuerung von der spezifischen Vision-Encoder-Architektur abhängt.

4. Bedeutung und Behauptungen

Das Papier behauptet, ein robusteres Framework zur Generierung übertragbarer adversarischer Beispiele in VLMs bereitzustellen. Seine Bedeutung liegt in:

Validierung: Bestätigung des Vorhandenseins und der Wirksamkeit von promptübergreifenden adversarischen Schwachstellen in state-of-the-art VLMs.
Effizienz und Wirksamkeit: Nachweis, dass semantisch informierte Initialisierung und gezielte Verlustfunktionen die Angriffserfolgsraten und die Konvergenzgeschwindigkeit drastisch verbessern können.
Generalisierung: Aufzeigen, dass promptübergreifende und bildübergreifende Übertragbarkeit oft konkurrierende Ziele sind, Techniken wie SCMix jedoch die bildübergreifende Generalisierung verbessern können, ohne die Kernfähigkeiten der promptübergreifenden Übertragbarkeit zu opfern.
Sicherheitsimplikationen: Hervorhebung, dass VLMs anfällig für Angriffe sind, die Ausgaben unabhängig vom Prompt oder der Modellarchitektur (in gewissem Maße) manipulieren, was Risiken für den Einsatz in der realen Welt birgt. Umgekehrt stellen die Autoren fest, dass diese Störungen defensiv genutzt werden könnten, um sensible Daten zu schützen, indem Modelle gezwungen werden, vorbestimmten, nicht-sensiblen Text auszugeben.

Die Autoren schließen, dass ihre Verbesserungen zwar die Grenzen spezifischer Übertragbarkeitsdimensionen verschieben, ein fundamentaler Zielkonflikt zwischen der gleichzeitigen Optimierung für promptübergreifende, bildübergreifende und modellübergreifende Übertragbarkeit besteht. Sie fordern zukünftige Forschung zu multiobjektiver Optimierung und architekturbewussten Angriffsdesigns, um diese Schwachstellen weiter zu verstehen und zu mindern.