Test-Time Attention Purification for Backdoored Large Vision Language Models

1. Probleemstelling

Grote Vision-Language Modellen (LVLM's) zijn krachtig in multimodale taken, maar ze zijn kwetsbaar voor backdoor-aanvallen tijdens het fijne afstemmen (fine-tuning).

• Aanvalsmethode: Een aanvaller injecteert vergiftigde trainingsdata met verborgen triggers (bijv. onzichtbare patronen of specifieke patches) die gekoppeld zijn aan een kwaadaardige doeluitvoer.
• Gevolg: Wanneer de trigger tijdens de inferentie (testtijd) verschijnt, negeert het model de tekstuele instructie en geeft het de door de aanvaller gewenste output.
• Beperkingen van bestaande verdedigingen: Huidige methoden vereisen vaak het opnieuw trainen van de modelparameters (zoals adapters of LoRA-modules) met schone data. Dit is:
  • Rekenkundig zeer duur.
  • Vaak schadelijk voor de prestaties op schone data (de "utility" daalt).
  • Niet altijd haalbaar als de gebruiker geen controle heeft over het trainingsproces (bijv. bij "Fine-tuning-as-a-Service").

2. Methodologie: CleanSight

De auteurs introduceren CleanSight, een trainingsvrije, plug-and-play verdediging die uitsluitend tijdens de testtijd werkt en ingrijpt in de dataflow van het model zonder de parameters aan te passen.

A. Mechanistisch Inzicht: "Attention Stealing"

De kern van de methode is een nieuw inzicht in hoe backdoors in LVLM's werken:

• Observatie: De trigger beïnvloedt de voorspelling niet via lage-niveau visuele patronen (pixels), maar via abnormale herverdeling van cross-modale aandacht.
• Attention Stealing: In vergiftigde inputs "stelen" de visuele tokens die de trigger bevatten, aandacht weg van de tekstuele context. Waar normaal gesproken tekst tokens meer aandacht krijgen in de middenlagen, keert dit patroon om bij vergiftigde inputs. De trigger-tokenen domineren de aandacht, waardoor de instructie-gevolgzaamheid (instruction following) verzwakt.
• Causaliteit: Het onderdrukken van deze "diefstal" van aandacht neutraliseert de backdoor, zelfs als de trigger-pixelpatronen intact blijven.

B. De CleanSight Werkwijze

De methode bestaat uit twee fasen:

1. Detectie (Attention Stealing Detection):

   • Het systeem analyseert specifieke middenlagen van het transformer-netwerk (waar visuele en tekstuele informatie samenkomen).
   • Het berekent voor elke "attention head" de verhouding tussen de aandacht voor visuele tokens en tekstuele tokens.
   • Een whitened $\ell_2$-afstand wordt berekend tussen de waargenomen verhoudingen en een referentieverdeling van schone data.
   • Als de afwijking een bepaalde drempel overschrijdt, wordt de input als vergiftigd gemarkeerd.

2. Purificatie (Selectieve Pruning):

   • Zodra een input als vergiftigd wordt gedetecteerd, identificeert het systeem welke visuele tokens abnormaal hoge aandachtswaarden hebben (de "diefstal").
   • Deze verdachte tokens worden selectief verwijderd (gepruned) door een grote negatieve bias toe te voegen aan hun attention logits.
   • Hierdoor krijgen deze tokens bijna geen aandacht meer in de daaropvolgende lagen en de decoding-stap, waardoor de backdoor-activatie wordt geblokkeerd terwijl de schone semantiek behouden blijft.

3. Belangrijkste Bijdragen

• Nieuw Mechanistisch Inzicht: Het identificeren van "attention stealing" als de primaire oorzaak van backdoor-activatie in LVLM's, in plaats van pixel-gebaseerde correlaties.
• Eerste Test-Tijd Verdediging: CleanSight is het eerste framework dat backdoors in LVLM's aanpakt zonder het model opnieuw te hoeven trainen of parameters te wijzigen.
• Efficiëntie en Universaliteit: De methode is plug-and-play, werkt op diverse LVLM-architecturen (LLaVA, InstructBLIP, Qwen-VL) en is onafhankelijk van het type trigger (patch, blended, onzichtbaar).

4. Resultaten

De auteurs hebben CleanSight getest op diverse datasets (VQAv2, OKVQA, MSCOCO, Flickr8k) en tegen verschillende aanvallen (BadNet, Blended, ISSBA, WaNet, TrojVLM, VLOOD).

• Aanvalssucces率 (ASR): CleanSight reduceert de ASR bijna tot 0% over alle scenario's heen. Bestaande pixel-gebaseerde verdedigingen (zoals Blur of Spatial Transform) slaagden er vaak niet in om de ASR significant te verlagen.
• Behoud van Utility:
  • Schone Data: De prestaties op schone inputs (Clean Utility) blijven bijna identiek aan het onbeschermd model. Dit bewijst dat CleanSight geen schone visuele tokens per ongeluk verwijdert.
  • Vergiftigde Data: De semantische kwaliteit van de output op vergiftigde data (Poisoned Utility) blijft hoog, in tegenstelling tot pixel-methoden die vaak de betekenis van de afbeelding verstoren.
• Robuustheid: De methode werkt zelfs tegen adaptieve aanvallen waarbij de aanvaller probeert de detectie te omzeilen door de aandachtverdeling te regulariseren.

5. Betekenis en Conclusie

Dit werk markeert een paradigmaverschuiving in de beveiliging van multimodale modellen:

• Het toont aan dat aandachtspatronen (attention dynamics) een robuuster signaal zijn voor het detecteren van backdoors dan pixel-manipulatie.
• Het biedt een praktische, kostenefficiënte oplossing voor real-world scenario's waar opnieuw trainen niet mogelijk is (bijv. bij gebruik van externe fine-tuning-diensten).
• Het onderstreept dat de kwetsbaarheid van LVLM's fundamenteel ligt in de interactie tussen visuele en tekstuele tokens, en dat het beheersen van deze interactie de sleutel is tot beveiliging.

Kortom, CleanSight biedt een krachtige, lichtgewicht verdediging die de veiligheid van LVLM's waarborgt zonder in te leveren op hun functionaliteit of prestaties.