VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

Sulla base del documento fornito, ecco un riassunto tecnico dettagliato di VisInject: Disruption ≠ Injection — A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models.

Problem Statement

La letteratura recente sugli Attacchi Avversariali Universali (UAA) contro i Modelli Vision-Language (VLM) riporta alti Tassi di Successo dell'Attacco (ASR) nella fascia 60–80%. Queste metriche suggeriscono che perturbazioni di pixel impercettibili possano fungere da canale di iniezione di prompt valido, potenzialmente sovvertendo gli allineamenti di sicurezza. Tuttavia, gli autori sostengono che questi numeri riportati confondano due eventi distinti:

1. Influenza (Deriva): L'output del modello è perturbato e differisce dalla baseline pulita.
2. Iniezione Precisa (Consegna del Payload): La stringa o il concetto target specifico dell'attaccante appare effettivamente nella risposta.
   Il documento ipotizza che i benchmark esistenti, che spesso si affidano a una singola metrica "l'output è cambiato?", sovrastimino sistematicamente l'utilità degli attacchi visivi come vettore di consegna per payload specifici.

Methodology

Gli autori propongono VisInject, una pipeline a tre stadi che compone metodi di attacco esistenti con un nuovo framework di valutazione a due dimensioni.

1. Attack Pipeline (Stadi 1 & 2):

• Stadio 1 (Generazione del Segnale Universale): Utilizza il metodo Universal Adversarial Attack (UAA) di Rahmatullaev et al. (24). Una singola immagine avversaria "universale" viene ottimizzata tramite PGD (Projected Gradient Descent) contro un ensemble di 2–4 VLM open (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL, BLIP-2) utilizzando 60 prompt benigni. L'obiettivo è creare un'immagine che spinga il modello verso una frase target scelta indipendentemente dal prompt dell'utente.
• Stadio 2 (Fusione Realistica del Vettore): Utilizza il framework encoder–decoder AnyAttack di Zhang et al. (29). Il segnale avversario universale dallo Stadio 1 viene codificato tramite un encoder CLIP congelato e decodificato in un tensore di rumore limitato da $L_\infty$. Questo rumore viene aggiunto a foto pulite arbitrarie (ad esempio, scene naturali, screenshot) per creare vettori avversari realistici. Il budget di perturbazione è vincolato a $L_\infty \le 16/255$ (PSNR $\approx$ 25.2 dB).

2. Dual-Dimension Evaluation (Stadio 3):
Invece di una singola metrica ASR, la pipeline assegna un punteggio a ogni coppia di risposte (pulita, avversaria) lungo due assi indipendenti utilizzando un giudice LLM (DeepSeek-V4-Pro, calibrato contro Claude Opus 4.7):

• Influenza (Deriva): Misura se la risposta si è discostata dalla baseline pulita. Valutata tramite un punteggio deterministico di similarità stringa Ratcliff-Obershelp (baseline programmatica) e un giudizio ordinale LLM a 4 livelli (nessuna, lieve, sostanziale, completa).
• Iniezione Precisa (Consegna del Payload): Misura se è apparso il concetto target specifico. Valutata tramite un giudizio ordinale LLM a 4 livelli:
  • Nessuna: Nessun contenuto target.
  • Debole: Frammenti tematici (ad esempio, "PRESIDENTE" per un target elettorale).
  • Parziale: Varianti di classe semantica (ad esempio, "numero di conto" per "numero di carta").
  • Confermata: Frase target letterale o quasi letterale.

Experimental Setup:
Lo studio esplora una matrice $7 \times 7 \times 3$: 7 prompt target (che vanno da URL letterali a categorie semantiche come la disinformazione), 7 immagini di test (foto naturali e screenshot in stile documento) e 3 configurazioni di ensemble surrogate, valutate su 4 VLM open. Ciò produce 6.615 coppie di risposte.

Key Results

Il risultato centrale è una divergenza massiccia tra disruption (disturbo) e injection (iniezione):

• Alta Disruption, Bassa Iniezione: Su tutte le 6.615 coppie, il tasso di disruption programmatico è 66,4%, e il tasso di disruption "sostanziale o completa" giudicato dall'LLM è 46,6%. Tuttavia, il tasso di Iniezione Precisa è drasticamente inferiore:

  • Iniezione Ampia (qualsiasi livello diverso da nessuno): 0,756% (50/6.615 coppie).
  • Iniezione Rigida/Letterale (livello Confermata): 0,030% (2/6.615 coppie).
  • Ciò rappresenta una divergenza di circa 90 volte tra il modello disturbato e il payload consegnato.

• Sensibilità Architetturale:

  • I VLM in stile Transformer (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL) sono universalmente disturbati (100% di disruption programmatica) ma mostrano tassi di iniezione minimi (0,09%–1,5%).
  • BLIP-2 (utilizzando un collo di bottiglia Q-Former) mostra 0,00% di deriva o iniezione rilevabile su tutte le 2.205 coppie, anche quando utilizzato come surrogate per lo Stadio 1. Gli autori ipotizzano che il collo di bottiglia informativo del Q-Former e il downsampling della risoluzione filtrino la perturbazione.

• Dipendenza da Immagine e Payload:

  • Le iniezioni che si verificano si raggruppano su immagini in stile screenshot/documento (ad esempio, editor di codice, fatture, pagine web) dove lo spazio di risposta invita naturalmente alla trascrizione di testo o contiene token a forma di URL/conto.
  • Le foto naturali (cane, gatto) mostrano alta disruption ma zero iniezioni letterali.
  • I payload di testo letterale (URL) sopravvivono meglio alla fusione dello Stadio 2 rispetto ai payload semantici, ma anche in tal caso, le corrispondenze esatte di stringa sono rare.

Key Contributions

1. Framework a Due Dimensioni: Una metodologia che disaccoppia la "deriva" dalla "consegna del payload", dimostrando che le metriche ASR a numero singolo confondono modalità di fallimento qualitativamente diverse.
2. Esplorazione Sistematica: Una valutazione completa di 6.615 coppie su quattro VLM, che rivela il divario di ~90 volte tra disruption e iniezione.
3. Osservazione Architetturale: Identificazione dell'immunità di BLIP-2 a questi attacchi a $L_\infty=16/255$, suggerendo che colli di bottiglia in stile Q-Former possano fornire robustezza avversaria intrinseca senza riaddestramento.
4. Dataset Pubblico: Rilascio dell'intero dataset (immagini universali, foto avversarie, coppie di risposte e cache del giudice) per consentire la riproducibilità bit-esatta senza chiavi API.

Significance and Claims

Il documento afferma che la narrativa corrente secondo cui la "modalità visiva è un punto debole" per l'iniezione di prompt è esagerata quando definita rigorosamente dalla consegna del payload. Mentre le perturbazioni avversarie universali sono efficaci nel disturbare gli output del modello (causando allucinazioni o cambi di argomento), sono inefficaci nell'iniettare in modo affidabile frasi specifiche scelte dall'attaccante nel flusso di risposta.

Gli autori concludono che:

• Standard di Valutazione: I futuri benchmark devono riportare separatamente sia l'Influenza che l'Iniezione Precisa, poiché una singola metrica ASR nasconde la vera difficoltà della consegna del payload.
• Implicazioni per la Difesa: Le scelte architetturali, in particolare i colli di bottiglia informativi come il Q-Former, possono offrire una robustezza sostanziale contro attacchi vincolati da $\epsilon$ senza la necessità di costosi fine-tuning avversari.
• Realtà del Modello di Minaccia: Per un attaccante che cerca una consegna affidabile del payload (ad esempio, esfiltrazione di dati o iniezione di un URL specifico), gli attacchi universali visivi su piccoli VLM open sono attualmente un vettore non competitivo rispetto ai canali non avversari, con tassi di successo che oscillano intorno allo 0,2%.

Il documento mantiene una posizione modesta, notando che i suoi risultati sono specifici ai VLM open testati e al budget $L_\infty=16/255$, e che la trasferibilità sistematica ai modelli chiusi all'avanguardia (come GPT-4o) rimane una domanda aperta, sebbene i primi test aneddotici suggeriscano che l'attacco non si trasferisca.