Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

Titolo

Potenziale di Sicurezza e Pruning: Rafforzare i Prompt di Sicurezza contro gli Attacchi Jailbreak nei Modelli Vision-Language (VLM) senza Riaddestramento

1. Il Problema

I modelli Vision-Language (VLM) hanno fatto progressi significativi in compiti multimodali, ma rimangono vulnerabili agli attacchi "jailbreak" (bypass delle restrizioni di sicurezza) e agli input avversari.

• Limiti delle difese attuali: Le difese esistenti si basano spesso su interventi esterni come il fine-tuning con dati curati (costoso computazionalmente e rischia di degradare le prestazioni generali, il cosiddetto "safety tax") o l'uso di prompt di sicurezza durante l'inferenza.
• Il nodo critico: I prompt di sicurezza sono efficaci solo se il modello possiede una "rispondenza strutturale latente" agli stimoli di sicurezza. Tuttavia, queste difese non modificano la struttura interna del modello, limitando la loro scalabilità e robustezza.
• Domanda di ricerca: È possibile rivelare e amplificare la capacità intrinseca del modello di comportarsi in modo sicuro, intervenendo sulla sua struttura interna senza riaddestramento?

2. Metodologia: Safety-Potential Pruning

Gli autori propongono un nuovo framework chiamato Safety-Potential Pruning, basato sull'ipotesi che il comportamento sicuro non sia distribuito uniformemente, ma risieda in sottoreti sparse e latenti.

Iperotesi della Sottorete di Sicurezza (Safety Subnetwork Hypothesis)

L'analisi delle attivazioni interne rivela che, quando si applica un prompt di sicurezza, un piccolo sottoinsieme di neuroni e pesi nelle layer profonde diventa fortemente attivo, mentre la maggior parte del modello rimane quiescente. Questi percorsi attivi costituiscono la "sottorete di sicurezza".

Il Processo di Pruning

Il metodo è un approccio one-shot (singolo passaggio) che non richiede riaddestramento:

1. Analisi delle Attivazioni: Si confrontano le attivazioni del modello in due condizioni: con un prompt di sicurezza ($A_S$) e senza ($A_{NS}$).
2. Metrica di Sensibilità: Si calcola la sensibilità per ogni canale di peso $j$ come la differenza delle norme L2 delle attivazioni:
   $$S_j = \|A_S^j\|_2^2 - \|A_{NS}^j\|_2^2$$
   Valori positivi indicano che il peso risponde fortemente ai prompt di sicurezza.
3. Punteggio di Importanza: Si assegna un punteggio a ogni peso $W_{ij}$ combinando la sua magnitudine strutturale e la sua sensibilità funzionale:
   $$Score_{ij} = |W_{ij}| \cdot \sqrt{\max(S_j, 0)}$$
4. Taglio Selettivo: Vengono rimossi (impostati a zero) i pesi con i punteggi più bassi. Questo elimina i componenti non responsivi o dannosi, amplificando i percorsi sensibili alla sicurezza.

3. Contributi Chiave

1. Formulazione dell'Iperotesi: Dimostrazione empirica che il comportamento sicuro nei VLM deriva da strutture interne sparse e selettivamente attivate, non da meccanismi uniformi.
2. Sviluppo del Metodo: Introduzione di Safety-Potential Pruning, un metodo di pruning one-shot che rafforza le sottoreti di sicurezza rimuovendo i pesi non responsivi, senza bisogno di fine-tuning.
3. Ridefinizione del Pruning: Spostamento del paradigma del pruning da semplice tecnica di compressione/efficienza a strumento di intervento strutturale per l'allineamento e la sicurezza dei modelli foundation.

4. Risultati Sperimentali

Il metodo è stato valutato su tre architetture VLM rappresentative (Qwen2-VL, LLaVA-V1.6, InstructBLIP) e tre benchmark di jailbreak (FigStep, MM-SafetyBench, JailbreakV-28K).

• Miglioramento della Sicurezza (DSR - Defense Success Rate):
  • Rispetto all'uso dei soli prompt di sicurezza, il pruning proposto riduce il tasso di successo degli attacchi fino al 22%.
  • Su modelli come Qwen2-VL-7B, il DSR raggiunge il 100% su alcuni dataset con il 50% di sparsità.
  • Il metodo supera o eguaglia approcci di pruning standard (Magnitude, SparseGPT, Wanda) nella sicurezza, mantenendo prestazioni superiori.
• Preservazione delle Prestazioni (Utility):
  • A livelli di sparsità moderati (20%), la perdita di prestazioni su compiti benigni (es. TextVQA, ScienceQA) è trascurabile.
  • Anche a sparsità elevate (50%), il metodo proposto mantiene prestazioni migliori rispetto ad altri metodi di pruning che tendono a degradare l'utilità generale.
• Generalizzazione:
  • Il metodo funziona anche su modelli LLM puri (Llama-2, Vicuna), sebbene i guadagni siano più marcati nei VLM, suggerendo che l'integrazione cross-modale crea sottoreti di sicurezza più dense e vulnerabili al pruning mirato.
• Analisi delle Embedding:
  • La visualizzazione t-SNE mostra che il modello pruning crea uno spazio di rappresentazione dove le risposte sicure e non sicure sono molto più separabili rispetto al modello originale, indicando un encoding più robusto dei concetti di sicurezza.

5. Significato e Implicazioni

• Intervento Strutturale vs. Correzione Esterna: Il lavoro dimostra che la sicurezza può essere ottenuta "scoprendo" e "attivando" strutture interne già presenti nel modello, piuttosto che imporre correzioni esterne o riaddestrare pesantemente.
• Efficienza: Offre una via per modelli sicuri e robusti che sono anche più leggeri (grazie al pruning), riducendo i costi computazionali di inferenza.
• Dipendenza dai Dati di Calibrazione: Gli esperimenti mostrano che la scelta dei dati di calibrazione e la dimensione del campione sono critiche; set troppo grandi o omogenei possono introdurre rumore, mentre set diversificati ed equilibrati isolano meglio la sottorete di sicurezza.
• Robustezza ai Prompt: Il metodo è robusto a diverse formulazioni di prompt, ma i prompt con istruzioni esplicite e dettagliate funzionano meglio nel attivare la sottorete corretta prima del pruning.

In sintesi, Safety-Potential Pruning rappresenta un passo avanti fondamentale verso modelli VLM intrinsecamente sicuri, trasformando il pruning da strumento di ottimizzazione a meccanismo di allineamento etico strutturale.