Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

Probleemstelling

Vision-Language Models (VLMs) zijn kwetsbaar voor cross-modale adversariële aanvallen, waarbij kleine perturbaties in afbeeldingen leiden tot foutieve tekstuele output of vice versa. Bestaande verdedigingsmethoden, zoals Adversarial Training (AT), verbeteren de robuustheid vaak ten koste van de prestaties op schone data (clean performance) en vereisen hoge rekenkosten.

De auteurs stellen de hypothese dat functiewoorden (zoals "de", "het", "is", "en", "in") een onbedoelde kwetsbaarheid in VLMs introduceren. Omdat deze woorden weinig semantische informatie dragen maar een hoge frequentie hebben, vormen ze een "makkelijk doelwit" voor adversariële perturbaties. Aanvallers kunnen deze woorden gebruiken om de cross-modale uitlijning te verstoren zonder de kernbetekenis van de zin direct aan te tasten, wat leidt tot mislukkingen bij schone data en succes bij aanvallen.

Methodologie: Function-word De-Attention (FDA)

Om deze kwetsbaarheid aan te pakken, stellen de auteurs Function-word De-Attention (FDA) voor. Dit is een methode die de uitlijning tussen visuele en tekstuele tokens verbetert door specifiek minder aandacht te besteden aan functiewoorden.

Kernprincipes van FDA:

1. Parallelle Pipeline: FDA voegt een parallelle pipeline toe aan de bestaande cross-attention berekening binnen de fusion-encoders van het VLM.
2. Extractie van Functiewoorden: De inputtekst wordt gemaskeerd zodat alleen functiewoorden (uit een vooraf gedefinieerde dictionary) overblijven. De encoder berekent de features voor deze functiewoorden ($F_{Tf}$).
3. Berekening van "Aandacht voor Afleiding": Er wordt een parallelle cross-attention berekend tussen de functiewoorden en de visuele tokens ($F_V$). Dit vertegenwoordigt de "afleiding" of ruis die door de functiewoorden wordt veroorzaakt.
4. Differentiële Subtractie: De berekende aandacht voor functiewoorden wordt gesofsticeerd (via softmax) en vervolgens afgetrokken van de originele cross-attention scores.
   • De formule is: $\hat{Att} = \min(Att - G(\tilde{Att}_t), Att - G(\tilde{Att}_v))$, waarbij $G$ een controlepoort is voor de intensiteit van de subtractie.
   • Dit zorgt ervoor dat de model-uitvoer zich concentreert op content-woorden (bijvoeglijke naamwoorden, werkwoorden) en visuele objecten, terwijl de "ruis" van functiewoorden wordt onderdrukt.
5. Implementatie: De methode is plug-and-play en vereist geen extra parameters of ingewikkelde training, maar kan worden toegepast tijdens het fine-tunen.

Belangrijkste Bijdragen

1. Identificatie van Kwetsbaarheid: Het paper identificeert voor het eerst functiewoorden als een specifieke bron van kwetsbaarheid in VLMs tegenover cross-modale aanvallen.
2. FDA Methode: De ontwikkeling van Function-word De-Attention, een efficiënte techniek om deze kwetsbaarheid te mitigeren door de aandachtmechanismen van het model te verfijnen.
3. Uitgebreide Validatie: De methode is getest op drie state-of-the-art modellen (ALBEF, TCL, BLIP), twee downstream taken (Retrieval en Visual Grounding) en drie datasets (Flickr30k, MSCOCO, RefCOCO+), onder zes verschillende aanvallen (PGD, APGD, MAPGD).
4. Analyse van Generalisatie: Het paper toont aan dat FDA niet alleen de robuustheid verbetert, maar ook de zero-shot prestaties kan verhogen en generaliseert over verschillende modelgroottes.

Resultaten

De experimentele resultaten tonen een significante verbetering in robuustheid met minimaal verlies (of zelfs winst) in schone prestaties:

• Retrieval Taken (Text-to-Image / Image-to-Text):
  • FDA leidt tot een gemiddelde daling van de Attack Success Rate (ASR) met 18% / 13% / 53% voor respectievelijk ALBEF, TCL en BLIP.
  • Dit wordt bereikt met een verwaarloosbare daling in schone prestaties (R@1) van slechts 0,2% / 0,3% / 0,6%.
  • In vergelijking met bestaande SOTA-methoden (TeCoA en FARE) presteert FDA aanzienlijk beter, vooral bij sterkere aanvallen ($\epsilon = 4/255$), waarbij andere methoden vaak falen.
• Visual Grounding:
  • FDA bereikt een 90% daling in ASR op de RefCOCO+ dataset.
  • Opmerkelijk is dat de schone prestaties (clean performance) zelfs 0,3% verbeteren ten opzichte van het basismodel.
• Zero-Shot en Untargeted Attacks:
  • FDA werkt ook als een plug-in tool die de robuustheid van bestaande verdedigingsmethoden (zoals TeCoA en FARE) verder versterkt tegen niet-gerichte aanvallen.
  • De methode verbetert ook de zero-shot prestaties, wat suggereert dat het verwijderen van functiewoord-ruis de algemene uitlijning van het model verbetert.

Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op de beveiliging van Vision-Language Models. In plaats van zware adversariële training toe te passen die de prestaties verlaagt, toont het aan dat het simpelweg minder aandacht besteden aan functiewoorden ("pay less attention to function words") een "gratis" robuustheid biedt.

De bevindingen suggereren dat functiewoorden in VLMs een redundante en kwetsbare component zijn die door aanvallers wordt uitgebuit. Door deze "afleidingen" te elimineren, worden de visuele en tekstuele embedding ruimten strakker uitgelijnd, wat het model zowel robuuster maakt tegen aanvallen als effectiever in het begrijpen van de werkelijke betekenis van de input. De methode is computatie-efficiënt, schaalbaar en kan direct worden toegepast op bestaande architecturen.