Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

Probleemstelling

Vision-Language Models (VLMs) zijn krachtig in multimodale taken, maar ze blijven kwetsbaar voor "jailbreak"-aanvallen, waarbij kwaadaardige prompts de veiligheidsbeperkingen van het model omzeilen. Bestaande verdedigingsmechanismen hebben twee grote nadelen:

1. Fine-tuning: Methoden die het model hertrainen met veiligheidsdata zijn rekenkundig duur en kunnen leiden tot een "veiligheidstaks" (verlies van algemene prestaties).
2. Inference-time interventies: Methoden zoals het toevoegen van veiligheids-prompten (safety prompts) zijn lichter, maar hun effectiviteit is beperkt door de latente structurele responsiviteit van het model. Als het model niet van nature sterk reageert op deze prompts, falen ze.

De kernvraag is: Kan men de inherente capaciteit van het model voor veilig gedrag blootleggen en versterken zonder het model opnieuw te trainen?

Methodologie: Safety-Potential Pruning

De auteurs introduceren Safety-Potential Pruning, een "one-shot" (eenmalig) pruning-framework dat de effectiviteit van veiligheids-prompten verhoogt door de interne structuur van het model te modificeren.

1. De Hypothese: Safety Subnetwork Hypothesis
Uit analyse van interne activaties blijkt dat veiligheidsgerelateerd gedrag niet gelijkmatig over het hele netwerk is verdeeld. In plaats daarvan is er een sparsen, latente subnetwork (een subset van neuronen/weights) die specifiek wordt geactiveerd door veiligheids-prompten, vooral in de diepere lagen van het model. Deze pathway blijft vaak inactief bij normaal gebruik.

2. Het Pruning-proces
Het doel is om de weights die niet reageren op veiligheids-prompten te verwijderen, waardoor de overgebleven subnetwork (de "Safety Subnetwork") relatief sterker wordt. Het proces verloopt als volgt:

• Calibratie: Het model krijgt een set afbeeldingen gepresenteerd met en zonder een veiligheids-prompt.
• Sensitiviteitsmeting: Voor elke channel (of weight) wordt de verandering in activatie gemeten: $S_j = \|A^S_j\|^2 - \|A^{NS}_j\|^2$, waarbij $A^S$ de activatie met prompt is en $A^{NS}$ zonder.
• Scoreberekening: Een belangrijkheidsscore wordt toegewezen aan elke weight $W_{ij}$:
  $$Score_{ij} = |W_{ij}| \cdot \sqrt{\max(S_j, 0)}$$
  Dit combineert de grootte van de weight met de gevoeligheid voor veiligheid.
• Selectieve Verwijdering: Weights met de laagste scores (die weinig of geen bijdrage leveren aan veiligheidsrespons) worden verwijderd (op 0 gezet).
• Resultaat: Het model wordt "gepruned" zonder extra training, maar de interne pathway voor veiligheidsafwijzing is nu structureel versterkt.

Belangrijkste Bijdragen

1. Safety Subnetwork Hypothesis: Het paper formuleert en valideert de hypothese dat veilig gedrag in VLMs voortkomt uit selectief geactiveerde, sparsen interne structuren in plaats van uniforme mechanismen.
2. Safety-Potential Pruning: Een nieuwe, training-vrije methode die deze structuren blootlegt en versterkt door irrelevante weights te verwijderen. Dit transformeert pruning van een louter compressietechniek naar een structurele interventie voor veiligheidsalignering.
3. Empirische Validatie: Uitgebreide experimenten op drie verschillende VLM-architecturen (Qwen2-VL, LLaVA, InstructBLIP) en drie jailbreak-benchmarks.

Resultaten

De methode is getest op modellen zoals Qwen2-VL-7B, LLaVA-V1.6-Mistral-7B en InstructBLIP-Vicuna-7B tegen benchmarks zoals FigStep, MM-SafetyBench en JailbreakV-28K.

• Veiligheid (Safety): De methode verlaagt de succesratio van jailbreak-aanvallen aanzienlijk. In vergelijking met alleen het gebruik van een veiligheids-prompt, reduceert Safety-Potential Pruning de aanvalssuccesratio met tot 22%.
  • Bijvoorbeeld: Op het FigStep-benchmark bereikte het Qwen2-VL-7B-model met 50% sparsiteit en de nieuwe methode een Defense Success Rate (DSR) van 100%, vergeleken met 92,4% voor het ongepruned model met prompt.
• Utiliteit (General Performance): Het model behoudt zijn prestaties op algemene taken (zoals tekstuele vraag-antwoordtaken). Bij 20% sparsiteit is de prestatiedaling verwaarloosbaar. Zelfs bij 50% sparsiteit blijft de utiliteit concurrerend, terwijl andere pruning-methoden (zoals magnitude-based pruning) vaak leiden tot een sterke daling in prestaties.
• Generalisatie: De methode werkt ook op pure Large Language Models (LLMs) zoals Llama-2 en Vicuna, hoewel de verbetering in VLMs groter is, waarschijnlijk omdat multimodale integratie een dichter veiligheidsnetwerk creëert dat gevoeliger is voor deze specifieke pruning.

Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in de aanpak van AI-veiligheid:

• Structuur in plaats van oppervlakte: Het toont aan dat veiligheidsinterventies niet noodzakelijk nieuwe capaciteiten hoeven toe te voegen, maar kunnen focussen op het blootleggen en versterken van bestaande, latente structuren.
• Efficiëntie: Het biedt een oplossing die geen dure hertraining vereist, wat het zeer schaalbaar maakt voor de inzet van grote foundation modellen.
• Nieuwe Rol voor Pruning: Pruning wordt hier niet gezien als een techniek voor efficiëntie, maar als een fundamenteel mechanisme om "alignment" (afstemming op veiligheidsdoelen) te bereiken door het model te dwingen zich te baseren op de meest relevante, veilige subnetworks.

Kortom, Safety-Potential Pruning biedt een robuuste, structurele verdediging tegen jailbreaks die de balans tussen veiligheid en nuttigheid effectiever bewaakt dan bestaande methoden.