💻 computer science

Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models

Dieses Papier schlägt Closed-Loop Bidirectional Prompting vor, einen neuartigen Verteidigungsmechanismus, der die adversarische Robustheit von Vision-Language-Modellen durch die Etablierung einer dynamischen Feedbackschleife zwischen visuellen und textuellen Modalitäten verbessert, um die semantische Ausrichtung über Modalitäten hinweg wiederherzustellen, während ein semantischer Anker genutzt wird, um Updates zu begrenzen und eine Korruption von Merkmalen zu mindern.

Ursprüngliche Autoren: Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Vision-Language-Modell (VLM) als ein hochqualifiziertes Detektiv-Team vor, das aus zwei Partnern besteht: einem visuellen Detektiv (der Bilder betrachtet) und einem textuellen Detektiv (der Beschreibungen liest). Sie sind darauf trainiert, perfekt zusammenzuarbeiten und Bilder mit Worten abzugleichen.

Diese Detektive sind jedoch anfällig für adversariale Angriffe. Stellen Sie sich einen Angreifer als einen Meisterfälscher vor, der unsichtbares „Rauschen" oder winzige, verwirrende Verschmierungen zu einem Foto hinzufügt. Dieses Rauschen ist so subtil, dass ein Mensch es nicht sehen kann, aber es täuscht den visuellen Detektiv so, dass er etwas völlig anderes sieht. Da die beiden Detektive so eng miteinander verknüpft sind, gerät auch der textuelle Detektiv in Verwirrung, wenn der visuelle Detektiv verwirrt ist, und das gesamte Team versagt.

Das Problem mit aktuellen Verteidigungsmaßnahmen

Frühere Versuche, diese Detektive zu schützen, hatten zwei Hauptmängel:

Einbahnstraße: Die meisten Verteidigungsmaßnahmen versuchten nur, den visuellen Detektiv (durch Neulernen) oder nur den textuellen Detektiv (durch Änderung ihrer Notizen) zu korrigieren. Sie behandelten den anderen Partner als festen, unveränderlichen Hintergrund. Wenn der Angreifer jedoch versucht, die Verbindung zwischen ihnen zu durchbrechen, reicht es nicht aus, nur eine Seite zu reparieren.
Statische Notizen: Einige Verteidigungsmaßnahmen gaben dem textuellen Detektiv ein einziges, vorab geschriebenes Skript für jedes Bild. Da jedoch jedes Bild und jeder Angriff unterschiedlich ist, scheitert ein Allzweck-Skript oft.

Die Lösung: Closed-Loop Bidirectional Prompting (CLBP)

Die Autoren schlagen eine neue Strategie namens CLBP vor, die wie eine dynamische Rückkopplungsschleife zwischen den beiden Detektiven wirkt. Anstatt isoliert zu arbeiten, sprechen sie ständig miteinander, um Fehler in Echtzeit zu korrigieren, ohne dass ihre gesamten „Gehirne" neu trainiert werden müssen.

So funktioniert der Prozess, Schritt für Schritt, unter Verwendung einer kreativen Analogie:

1. Der semantische Anker (der „Polarstern")

Bevor die Detektive mit einem schwierigen Bild beginnen, einigen sie sich auf einen „semantischen Anker". Stellen Sie sich dies als einen festen, zuverlässigen Kompass oder einen „Polarstern" vor. Es ist eine generische, sichere Beschreibung (wie „ein Foto einer [Katze]"), die die wahre, unverfälschte Bedeutung der Klasse repräsentiert.

Warum das wichtig ist: Dieser Anker verhindert, dass die Detektive in Verwirrung abschweifen. Er hält sie in der ursprünglichen, sicheren Wissensbasis verankert, die sie während des Trainings gelernt haben.

2. Schritt 1: Text-zu-Vision-Denoising (der „Reiniger")

Der visuelle Detektiv betrachtet das verrauschte, angegriffene Bild und gerät in Verwirrung. Er fragt den textuellen Detektiv: „Basierend auf unserem Polarstern, wie sollte das eigentlich aussehen?"

Der textuelle Detektiv nutzt den stabilen „Polarstern", um einen Bereinigungs-Prompt zu generieren.
Dieser Prompt wird an den visuellen Detektiv zurückgesendet, der ihn verwendet, um das Rauschen „herauszufiltern". Es ist so, als würde der textuelle Detektiv dem visuellen Detektiv eine spezielle Brille überreichen, die die Verschmierungen des Fälschers entfernt und ihm ermöglicht, das wahre Bild wieder zu sehen.

3. Schritt 2: Vision-zu-Text-Verfeinerung (der „Redakteur")

Jetzt, wo der visuelle Detektiv ein klareres Bild hat, wendet er sich an den textuellen Detektiv und sagt: „Okay, ich sehe das Bild jetzt klar. Stimmt meine aktuelle Beschreibung mit dem überein, was ich sehe?"

Der visuelle Detektiv sendet ein Signal zurück an den textuellen Detektiv.
Der textuelle Detektiv aktualisiert seine Notizen speziell für dieses Bild und passt seine Beschreibung an die bereinigte visuelle Evidenz an.

4. Die Schleife schließt sich

Diese beiden Schritte laufen in einem schnellen Zyklus ab. Der Text reinigt die Vision, und die Vision verfeinert den Text.

Die Magie: Die Autoren beweisen mathematisch, dass diese Schleife kontraktiv ist. Stellen Sie sich ein Gummiband vor: Jedes Mal, wenn die Detektive sprechen, ziehen sie sich näher zur Wahrheit hin. Selbst wenn sie weit voneinander entfernt beginnen (aufgrund eines starken Angriffs), reichen ein oder zwei Runden dieses Gesprächs aus, um sie zur richtigen Antwort zurückzuschnellen. Sie geraten nicht außer Kontrolle; sie konvergieren schnell.

5. Das Sicherheitsnetz: Multi-View-Aggregation

Um ganz sicherzugehen, betrachtet das System das Bild nicht nur einmal. Es erstellt 32 leicht unterschiedliche Versionen des Bildes (wie das Aufnehmen von 32 Fotos aus leicht unterschiedlichen Winkeln oder mit unterschiedlicher Beleuchtung).

Es führt die „Reinigungs- und Verfeinerungs"-Schleife für alle 32 Versionen durch.
Dann wird abgestimmt. Wenn 30 Versionen der Antwort zustimmen und 2 Ausreißer sind, ignoriert das System die Ausreißer und folgt dem Konsens. Dies macht es für einen Angreifer sehr schwierig, das gesamte Team zu täuschen.

Warum das eine große Sache ist

Die Arbeit behauptet, dass diese Methode überlegen ist, weil:

Es ist eine Zwei-Wege-Straße: Im Gegensatz zu früheren Methoden, die nur eine Seite reparierten, lässt CLBP Bild und Text einander reparieren.
Es ist effizient: Es erfordert kein Neulernen des massiven KI-Modells (was langsam und teuer ist). Es fügt lediglich eine kleine, intelligente Gesprächsschicht über das bestehende Modell.
Es funktioniert überall: Die Autoren testeten dies an 11 verschiedenen Datensätzen (von der Erkennung von Katzen und Autos bis hin zur Analyse von Satellitenbildern und Texturen). In fast jedem Fall war CLBP viel besser darin, Angriffe abzuwehren als frühere Methoden, während es gleichzeitig bei normalen, sauberen Bildern genau blieb.

Zusammenfassung

Stellen Sie sich CLBP als ein selbstkorrigierendes Gespräch zwischen einem Fotografen und einem Bildunterschriften-Schreiber vor. Wenn ein Fälscher versucht, den Fotografen mit einem gefälschten Foto zu täuschen, nutzt der Bildunterschriften-Schreiber sein Wissen über die Wahrheit, um dem Fotografen zu helfen, das Fälschung zu durchschauen. Anschließend hilft der Fotograf dem Bildunterschriften-Schreiber, die perfekte Beschreibung zu schreiben. Sie sprechen weiter, bis sie beide der Wahrheit zustimmen und das Rauschen ignorieren. Dies geschieht so schnell und so effektiv, dass die Tricks des Fälschers einfach nicht funktionieren.

Technische Zusammenfassung: Geschlossener bidirektionaler Prompting-Zyklus für die adversarische Robustheit von Vision-Language-Modellen

1. Problemstellung

Vision-Language-Modelle (VLMs), wie CLIP, erzielen starke Leistungen durch die Ausrichtung visueller und textueller Modalitäten in einem gemeinsamen Einbettungsraum. Diese enge kopplung über Modalitäten hinweg erzeugt jedoch eine Verwundbarkeit: Kleine adversarische Störungen des Eingabebildes können die semantische Ausrichtung zwischen dem Bild und seinem entsprechenden Text stören und zu Fehlklassifizierungen führen.

Bestehende Verteidigungsmechanismen leiden unter spezifischen Einschränkungen:

Adversarial Fine-Tuning (AFT): Obwohl effektiv, erfordert es das Nachtrainieren des visuellen Encoders, was rechenintensiv ist und das Risiko birgt, das vortrainierte Merkmalsmanifold zu verzerren, was oft die Generalisierung auf sauberen Daten verschlechtert.
Adversarial Prompt Tuning (APT): Diese Methoden optimieren weiche Prompts, während der Backbone eingefroren bleibt. Allerdings generieren sie typischerweise statische Prompts, die über alle Eingaben hinweg geteilt werden, oder verlassen sich auf unidirektionale Projektionen (z. B. nur Text-zu-Vision). Sie versagen darin, sich an instanzspezifische Störungen anzupassen und verfügen über keinen Mechanismus zur gegenseitigen Korrektur zwischen den Modalitäten.
Verteidigungen zur Testzeit: Viele konzentrieren sich auf Konsistenz auf der visuellen Seite oder Angriffsmerkmale, anstatt die zugrunde liegende kopplung über Modalitäten hinweg wiederherzustellen.

Die erkannte Kernbeschränkung besteht darin, dass die meisten Verteidigungen Modalitäten unabhängig behandeln oder nur einen Zweig anpassen, während der andere als fester Kontext betrachtet wird. Da adversarische Angriffe speziell die Entkopplung dieser Zweige zum Ziel haben, ist eine Verteidigung erforderlich, die eine bidirektionale Wiederherstellung erfordert – bei der visuelle und textuelle Merkmale aktiv interagieren, um die Ausrichtung wiederherzustellen.

2. Methodik: Geschlossener bidirektionaler Prompting-Zyklus (CLBP)

Die Autoren schlagen Closed-Loop Bidirectional Prompting (CLBP) vor, eine Verteidigung zur Testzeit, die vortrainierte Encoder einfriert und eine dynamische Rückkopplungsschleife zwischen den visuellen und textuellen Zweigen einführt.

Kernkomponenten

Semantischer Anker (Semantisches Bootstrapping):
Um zu verhindern, dass die iterativen Updates vom vortrainierten semantischen Manifold abweichen, wird die Schleife durch einen „Semantischen Anker" initialisiert und eingeschränkt. Dies ist eine feste Texteinbettung, die von einer generischen Klassenvorlage abgeleitet ist (z. B. „ein Foto eines {Klasse}"). Sie wirkt als stabiler Prior.
Bidirektionale Rückkopplungsschleife:
Die Methode wechselt zwischen zwei leichten Adaptern:
- Text-zu-Vision (T2V) Denoising: Die aktuellen Texteinbettungen (anfangs der Anker) werden von einem T2V-Adapter verarbeitet, um visuelle Prompts zu generieren. Diese Prompts werden den Bildpatches vorangestellt. Der visuelle Encoder verarbeitet dann das Bild unter der Bedingung dieser Prompts und filtert effektiv adversarischen Rauschen in den visuellen Merkmalen durch Kreuzattention gegen das stabile Sprachsignal.
- Vision-zu-Text (V2T) Verfeinerung: Die resultierenden verfeinerten visuellen Merkmale werden von einem V2T-Adapter in eine instanzspezifische Verschiebung ( $\delta$ ) abgebildet, die auf den Text-Prompt angewendet wird. Dies aktualisiert die textuelle Beschreibung, damit sie spezifisch für die aktuelle Bildinstanz ist, anstatt über den Datensatz hinweg geteilt zu werden.
Dieser Prozess bildet eine geschlossene Schleife: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$ .
Theoretische Stabilität:
Die Autoren modellieren die Schleife als Fixpunktabbildung auf der Einheitskugel. Sie beweisen, dass unter der Anker-Initialisierung der zusammengesetzte Operator eine Kontraktion mit einer lokalen Lipschitz-Konstante $q \approx 10^{-4}$ ist. Dies impliziert:
- Die Schleife konvergiert zu einem eindeutigen Fixpunkt.
- Eine einzige bidirektionale Aktualisierung ( $N=1$ ) reicht aus, um den Fixpunkt zu erreichen, da nachfolgende Iterationen eine vernachlässigbare Verbesserung liefern.
- Die Abweichung vom sauberen Fixpunkt wächst linear mit der Eingabestörung, hängt jedoch nicht von der Iterationstiefe ab, was Stabilität gewährleistet.
Multi-View-Aggregation:
Um Stichprobenrauschen aus einzelnen Augmentierungen zu handhaben, aggregiert CLBP Vorhersagen über $V$ zufällige augmentierte Ansichten der Eingabe. Es verwendet einen similarity-gewichteten Softmax, um Ausreißer-Ansichten zu unterdrücken, die nicht mit dem Konsens übereinstimmen, und erhöht so die Robustheit ohne Nachtraining.
Trainingsziel:
Die Adapter werden unter Verwendung einer zusammengesetzten Verlustfunktion auf adversarischen Beispielen trainiert:
- Cross-Entropy ( $L_{ce}$ ): Standard-Klassifizierungsverlust.
- Margin Loss ( $L_{mar}$ ): Erzwingt einen Feature-Raum-Margin für adversarische Logits.
- KL-Divergenz ( $L_{kl}$ ): Destilliert die saubere Vorhersage in den adversarischen Zweig, um die Genauigkeit auf sauberen Daten zu bewahren.

3. Hauptbeiträge

Bidirektionaler Feedback-Mechanismus: Das Papier identifiziert die unabhängige Behandlung von Modalitäten als eine Schwachstelle bestehender Verteidigungen und schlägt CLBP vor, eine Methode, bei der visuelle und textuelle Merkmale zur Inferenzzeit wechselseitig konditionieren und korrigieren, ohne die eingefrorenen Encoder zu modifizieren.
Semantischer Anker und Konvergenzanalyse: Die Einführung eines Semantischen Ankers zur Einschränkung der Iteration wird durch eine theoretische Analyse ergänzt, die die kontraktive Natur der Schleife beweist. Die Autoren zeigen empirisch und theoretisch, dass ein einziges Update für die Konvergenz ausreicht.
Umfassende Evaluierung: Die Methode wird über 11 Datensätze hinweg unter drei Regimen validiert: Cross-Dataset Zero-Shot, Few-Shot-Anpassung und Base-to-New-Generalisierung.

4. Experimentelle Ergebnisse

Die Autoren bewerten CLBP im Vergleich zu Adversarial Fine-Tuning (AFT), Adversarial Prompt Tuning (APT) und Verteidigungen zur Testzeit (z. B. TTC, SCC, R-TPT) unter White-Box-Angriffen (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

Cross-Dataset Zero-Shot-Robustheit: Auf 10 Datensätzen erreicht CLBP eine durchschnittliche robuste Genauigkeit von 52,77 % und übertrifft damit deutlich die stärkste Verteidigung zur Testzeit (SCC bei 49,71 %) sowie trainingsbasierte Baselines (z. B. AdvMaPLe bei 24,37 %). Entscheidend ist, dass sie eine saubere Genauigkeit von 59,99 % beibehält, was nahezu identisch mit Vanilla CLIP (59,60 %) ist und den bei AFT beobachteten Trade-off zwischen Genauigkeit und Robustheit vermeidet.
Few-Shot-Anpassung: In einem 16-Shot-Szenario über 11 Datensätze hinweg erreicht CLBP eine durchschnittliche robuste Genauigkeit von 65,08 %, was ungefähr dem Doppelten der Leistung der nächstbesten Baseline (FAP bei 34,61 %) entspricht. Im Low-Shot-Regime (1-Shot) behält CLBP eine Robustheit von 41,13 %, während statische Prompt-Baselines auf ~2,43 % absinken.
Base-to-New-Generalisierung: CLBP demonstriert eine überlegene Übertragbarkeit und behält eine robuste Genauigkeit von 54,92 % auf unsichtbaren „New"-Klassen bei, verglichen mit 21,86 % für FAP. Dies zeigt, dass die Methode nicht auf Basis-Klassen overfittet.
Angriffsdiversität: CLBP behält State-of-the-Art-Leistung gegen AutoAttack-Ensembles, Carlini-Wagner-Margin-Angriffe und adaptive EOT-PGD-Angriffe bei, was bestätigt, dass die Robustheit kein Artefakt der Gradientenverschleierung ist.
Effizienz: Die Methode ist effizient; die robuste Genauigkeit sättigt bereits mit so wenigen wie 8 augmentierten Ansichten, und eine einzige Schleifeniteration reicht aus.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass CLBP einen bedeutenden Schritt nach vorne bei der Sicherung von VLMs darstellt, indem es die Ursache ihrer Verwundbarkeit angeht: die Entkopplung der kopplung über Modalitäten hinweg unter Angriff.

Parametereffizienz: Im Gegensatz zu AFT erfordert CLBP kein Nachtrainieren der massiven vortrainierten Encoder, was es für ressourcenbeschränkte Umgebungen oder bereitgestellte Systeme geeignet macht.
Dynamische Anpassung: Durch die Generierung instanzspezifischer Prompts über einen bidirektionalen Zyklus überwindet CLBP die statische Natur früherer Prompt-Tuning-Methoden und ermöglicht es sich, an diverse adversarische Muster anzupassen.
Theoretische Fundierung: Die Arbeit liefert eine theoretische Begründung für die Stabilität der Verteidigung und zeigt, dass die geschlossenen Schleifendynamiken kontraktiv sind und schnell konvergieren.
Erhaltung der sauberen Leistung: Die Methode erreicht State-of-the-Art-Robustheit, ohne die Genauigkeit auf sauberen Daten zu opfern, ein häufiger Fehlermodus beim adversarischen Training.

Die Autoren erkennen Einschränkungen an und stellen fest, dass sich die Analyse auf Dual-Tower-Architekturen (wie CLIP) konzentriert und dass die theoretischen Schranken, obwohl empirisch eng, auf faktorisierten Approximationen beruhen. Sie weisen auch darauf hin, dass die Methode Verzerrungen aus dem zugrunde liegenden eingefrorenen Backbone erbt. Dennoch wird CLBP als robuste, effiziente und theoretisch fundierte Lösung für die adversarische Verteidigung in Vision-Language-Modellen präsentiert.