Technische Samenvatting: Gesloten-lus Bidirectionele Prompting voor Adversariële Robuustheid van Vision Language Models

1. Probleemstelling

Vision Language Models (VLM's), zoals CLIP, bereiken sterke prestaties door visuele en tekstuele modaliteiten af te stemmen in een gezamenlijke inbeddingsruimte. Deze hechte kruismodale koppeling creëert echter een kwetsbaarheid: kleine adversariële verstoringen van de invoerafbeelding kunnen de semantische uitlijning tussen de afbeelding en de bijbehorende tekst verstoren, wat leidt tot verkeerde classificatie.

Bestaande verdedigingsmechanismen lijden aan specifieke beperkingen:

• Adversariële Fijne Afstelling (AFT): Hoewel effectief, vereist dit het opnieuw trainen van de visuele encoder, wat rekenkundig duur is en het risico loopt het vooraf getrainde feature-variëteit te vervormen, wat vaak de generalisatie op schone data verslechtert.
• Adversariële Prompt Tuning (APT): Deze methoden optimaliseren zachte prompts terwijl de backbone gefixeerd blijft. Ze genereren echter doorgaans statische prompts die over alle invoeren worden gedeeld, of vertrouwen op unidirectionele projecties (bijvoorbeeld alleen tekst-naar-visie). Ze falen in het aanpassen aan verstorende patronen die specifiek zijn voor een instantie en missen een mechanisme voor wederzijdse correctie tussen modaliteiten.
• Verdedigingen op Testtijd: Veel hiervan richten zich op consistentie aan de visuele kant of aanvalskarakteristieken in plaats van het herstellen van de onderliggende kruismodale uitlijning.

De geïdentificeerde kernbeperking is dat de meeste verdedigingen modaliteiten onafhankelijk behandelen of slechts één tak aanpassen terwijl de andere als vaste context wordt behandeld. Omdat adversariële aanvallen specifiek gericht zijn op het ontkoppelen van deze takken, is een verdediging vereist die bidirectioneel herstel vereist, waarbij visuele en tekstuele kenmerken actief interageren om uitlijning te herstellen.

2. Methodologie: Gesloten-lus Bidirectionele Prompting (CLBP)

De auteurs stellen Gesloten-lus Bidirectionele Prompting (CLBP) voor, een verdediging op testtijd die vooraf getrainde encoders gefixeerd houdt en een dynamische feedbacklus tussen de visuele en tekstuele takken introduceert.

Kerncomponenten

1. Semantisch Anker (Semantische Bootstrapping):
   Om te voorkomen dat de iteratieve updates afdrijven van het vooraf getrainde semantische variëteit, wordt de lus geïnitieerd en beperkt door een "Semantisch Anker". Dit is een vaste tekst-inbedding afgeleid van een generieke klassensjabloon (bijvoorbeeld "een foto van een {klasse}"). Het fungeert als een stabiele prior.

2. Bidirectionele Feedbacklus:
   De methode wisselt af tussen twee lichtgewicht adapters:

   • Tekst-naar-Visie (T2V) Ontruisen: De huidige tekst-inbeddingen (initieel het anker) worden verwerkt door een T2V-adapter om visuele prompts te genereren. Deze prompts worden voorafgeplakt aan de afbeeldingspatches. De visuele encoder verwerkt vervolgens de afbeelding, geconditioneerd op deze prompts, en filtert effectief adversariële ruis in de visuele kenmerken via kruis-attentie tegen het stabiele taalsignaal.
   • Visie-naar-Tekst (V2T) Verfijning: De resulterende verfijnde visuele kenmerken worden door een V2T-adapter afgebeeld op een per-instantie verschuiving ($\delta$) die wordt toegepast op de tekst-prompt. Dit update de tekstuele beschrijving om specifiek te zijn voor de huidige afbeeldingsinstantie in plaats van gedeeld te zijn over het dataset.

   Dit proces vormt een gesloten lus: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$.

3. Theoretische Stabiliteit:
   De auteurs modelleren de lus als een vast punt-afbeelding op de eenheidssfeer. Ze bewijzen dat onder de ankerinitialisatie de samengestelde operator een contractie is met een lokale Lipschitz-constante $q \approx 10^{-4}$. Dit impliceert:

   • De lus convergeert naar een uniek vast punt.
   • Een enkele bidirectionele update ($N=1$) is voldoende om het vast punt te bereiken, aangezien daaropvolgende iteraties verwaarloosbare verbetering opleveren.
   • De afwijking van het schone vast punt groeit lineair met de invoerverstoring, maar is niet afhankelijk van de iteratiediepte, waardoor stabiliteit wordt gewaarborgd.

4. Multi-View Aggregatie:
   Om bemonsteringsruis van individuele augmentaties te hanteren, aggregeert CLBP voorspellingen over $V$ willekeurige versterkte weergaven van de invoer. Het gebruikt een op similariteit gewogen softmax om uitbijter-weergaven die niet overeenkomen met het consensus te onderdrukken, waardoor robuustheid wordt versterkt zonder hertraining.

5. Trainingsdoel:
   De adapters worden getraind met een samengestelde verliesfunctie op adversariële voorbeelden:

   • Cross-Entropy ($L_{ce}$): Standaard classificatieverlies.
   • Margin Loss ($L_{mar}$): Handhaaft een margin in de kenmerkenruimte op adversariële logits.
   • KL-Divergentie ($L_{kl}$): Distilleert de schone voorspelling in de adversariële tak om schone nauwkeurigheid te behouden.

3. Belangrijkste Bijdragen

• Bidirectionele Feedbackmechanisme: Het artikel identificeert de onafhankelijke behandeling van modaliteiten als een zwak punt in bestaande verdedigingen en stelt CLBP voor, een methode waarbij visuele en tekstuele kenmerken elkaar wederzijds conditioneren en corrigeren op het moment van inferentie zonder de gefixeerde encoders te wijzigen.
• Semantisch Anker & Convergentieanalyse: De introductie van een Semantisch Anker om de iteratie te beperken, wordt aangevuld met een theoretische analyse die het contractieve karakter van de lus bewijst. De auteurs tonen empirisch en theoretisch aan dat een enkele update voldoende is voor convergentie.
• Uitgebreide Evaluatie: De methode wordt gevalideerd over 11 datasets onder drie regimes: cross-dataset zero-shot, few-shot aanpassing en base-to-new generalisatie.

4. Experimentele Resultaten

De auteurs evalueren CLBP tegen Adversariële Fijne Afstelling (AFT), Adversariële Prompt Tuning (APT) en Verdedigingen op Testtijd (bijvoorbeeld TTC, SCC, R-TPT) onder white-box aanvallen (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

• Cross-Dataset Zero-Shot Robuustheid: Op 10 datasets bereikt CLBP een gemiddelde robuuste nauwkeurigheid van 52,77%, wat significant beter is dan de sterkste verdediging op testtijd (SCC met 49,71%) en op training gebaseerde baselines (bijvoorbeeld AdvMaPLe met 24,37%). Cruciaal is dat het een schone nauwkeurigheid behoudt van 59,99%, bijna identiek aan vanilla CLIP (59,60%), waardoor de trade-off tussen nauwkeurigheid en robuustheid die bij AFT wordt waargenomen, wordt vermeden.
• Few-Shot Aanpassing: In een 16-shot setting over 11 datasets bereikt CLBP een gemiddelde robuuste nauwkeurigheid van 65,08%, ongeveer het dubbele van de prestaties van de volgende beste baseline (FAP met 34,61%). In het low-shot regime (1-shot) behoudt CLBP 41,13% robuustheid, terwijl statische prompt-baselines dalen tot ongeveer 2,43%.
• Base-to-New Generalisatie: CLBP demonstreert superieure overdraagbaarheid en behoudt 54,92% robuuste nauwkeurigheid op ongezette "Nieuwe" klassen, vergeleken met 21,86% voor FAP. Dit geeft aan dat de methode niet overpast op basisklassen.
• Aanvalsdiversiteit: CLBP behoudt state-of-the-art prestaties tegen AutoAttack-ensembles, Carlini-Wagner margin-aanvallen en adaptieve EOT-PGD-aanvallen, wat bevestigt dat de robuustheid geen artefact is van gradiëntverwarring.
• Efficiëntie: De methode is efficiënt; de robuuste nauwkeurigheid verzadigt met zo weinig als 8 versterkte weergaven, en een enkele lusiteratie is voldoende.

5. Betekenis en Claims

Het artikel beweert dat CLBP een significante stap voorwaarts is in het beveiligen van VLM's door de oorzaak van hun kwetsbaarheid aan te pakken: het ontkoppelen van kruismodale uitlijning onder aanval.

• Parameter-efficiëntie: In tegenstelling tot AFT vereist CLBP geen hertraining van de enorme vooraf getrainde encoders, waardoor het geschikt is voor omgevingen met beperkte middelen of uitgewerkte systemen.
• Dynamische Aanpassing: Door het genereren van instantie-specifieke prompts via een bidirectionele lus, overwint CLBP het statische karakter van eerdere prompt-tuning methoden, waardoor het zich kan aanpassen aan diverse adversariële patronen.
• Theoretische Grondslag: Het werk biedt een theoretische rechtvaardiging voor de stabiliteit van de verdediging, waarbij wordt aangetoond dat de gesloten-lus dynamiek contractief is en snel convergeert.
• Behoud van Schone Prestaties: De methode bereikt state-of-the-art robuustheid zonder in te leveren op de nauwkeurigheid van schone data, een veelvoorkomende faalmodus bij adversariële training.

De auteurs erkennen beperkingen, met name dat de analyse zich richt op dual-tower architecturen (zoals CLIP) en dat de theoretische grenzen, hoewel empirisch strak, vertrouwen op gefactoriseerde benaderingen. Ze merken ook op dat de methode biases overneemt van de onderliggende gefixeerde backbone. Niettemin wordt CLBP gepresenteerd als een robuuste, efficiënte en theoretisch onderbouwde oplossing voor adversariële verdediging in vision-language modellen.