Sintesi Tecnica: Sfruttare le vulnerabilità dell'encoder di visione per la generazione di perturbazioni avversarie universali sui Large Vision-Language Models

Definizione del Problema

I Large Vision-Language Models (LVLM) hanno raggiunto prestazioni significative nei compiti multimodali, ma rimangono altamente suscettibili alle perturbazioni avversarie. Le attuali strategie di attacco avversario trattano tipicamente l'encoder di visione come una superficie vulnerabile uniforme e monolitica, ottimizzando le perturbazioni contro gli embedding finali dell'encoder. Tuttavia, questo approccio ignora l'eterogeneità strutturale interna dell'encoder, rischiando di diluire gli effetti avversari mirando a componenti robusti. Inoltre, la maggior parte dei metodi precedenti si basa su perturbazioni specifiche per ogni immagine, il che comporta costi computazionali elevati e una limitata scalabilità per la valutazione della robustezza su grandi set di immagini. Manca un'analisi sistematica su quali componenti interni dell'encoder di visione siano più critici per il comportamento del modello linguistico a valle e su come sfruttare queste vulnerabilità in modo efficiente.

Metodologia: VEV-UAP

Gli autori propongono Vision Encoder Vulnerable-Component-Targeted Universal Adversarial Perturbation (VEV-UAP), un framework progettato per generare una singola perturbazione universale che degradi le prestazioni degli LVLM attraverso immagini e compiti, senza coinvolgere input testuali o il modello linguistico durante l'ottimizzazione. La metodologia procede in due fasi principali:

1. Analisi della Vulnerabilità Strutturale

Gli autori conducono un'analisi sistematica per componente e per livello dei meccanismi di attenzione all'interno degli encoder di visione per identificare il "Representation Robustness (RR) Score". Questo punteggio misura la similarità del coseno tra gli stati nascosti del Large Language Model (LLM) a valle prima e dopo la perturbazione di specifici componenti dell'attenzione (pesi dell'attenzione, vettori Query, Key e Value) in vari livelli.

• Risultato Chiave: L'analisi rivela che la vulnerabilità avversaria non è distribuita uniformemente. Al contrario, è strutturalmente concentrata nei vettori value dei livelli intermedi dell'encoder di visione. La perturbazione di questi componenti specifici induce la maggiore divergenza negli stati nascosti dell'LLM, mentre la perturbazione dei livelli iniziali/finali o di altri componenti (Query, Key, pesi dell'attenzione) produce un impatto significativamente inferiore.

2. Ottimizzazione dell'Attacco

Sulla base dell'analisi della vulnerabilità, VEV-UAP ottimizza una perturbazione universale $\delta$ massimizzando la divergenza dei vettori value nei livelli intermedi vulnerabili identificati ($L_{vul}$) attraverso un set di immagini di input $X$.

• Obiettivo: L'ottimizzazione minimizza l'RR Score (massimizza la distanza del coseno) tra i vettori value delle immagini pulite $V_l(x)$ e delle immagini perturbate $V_l(x+\delta)$ per i livelli $l \in L_{vul}$.
• Vincoli: La perturbazione è vincolata da una norma $L_\infty$ ($\|\delta\|_\infty \leq \epsilon$) per garantirne l'impercettibilità.
• Efficienza: Il processo è interamente basato sull'encoder di visione. Non richiede gradienti dall'LLM, non utilizza prompt testuali durante l'ottimizzazione e genera una singola perturbazione condivisa tra tutte le immagini, eliminando i costi di ottimizzazione per singola immagine.

Contributi Chiave

1. Identificazione dei Componenti Vulnerabili: Il documento fornisce la prima analisi sistematica per componente e per livello degli encoder di visione degli LVLM, identificando i vettori value dei livelli medi come il principale percorso di propagazione degli effetti avversari verso il modello linguistico.
2. Framework VEV-UAP: Gli autori introducono un metodo di perturbazione avversaria universale che mira a questi specifici componenti vulnerabili. Questo approccio raggiunge alti tassi di successo dell'attacco (ASR) pur essendo agnostico rispetto al compito e non richiedendo supervisione testuale o accesso all'LLM durante l'addestramento.
3. Efficienza e Trasferibilità: Il metodo proposto dimostra una superiore efficienza computazionale rispetto ai baseline di ottimizzazione dell'intero modello. Fondamentalmente, una singola perturbazione VEV-UAP ottimizzata su un determinato encoder di visione si trasferisce efficacemente ad altri LVLM che condividono lo stesso encoder di visione, anche se accoppiati con modelli linguistici differenti.

Risultati Sperimentali

Gli autori hanno valutato VEV-UAP su molteplici LVLM (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) e compiti (Classificazione di Immagini, Image Captioning, Visual Question Answering).

• Tassi di Successo dell'Attacco (ASR): VEV-UAP ha superato costantemente i baseline esistenti (Text-Emb, Img-Emb, Both-Emb). Ad esempio, su LLaVA-1.5 per la classificazione, VEV-UAP ha raggiunto un ASR del 96,1% (a $\tau=0,9$), rispetto al 29,9% del miglior baseline. Nei compiti VQA, ha ridotto i punteggi del modello quasi a zero (ad esempio, 0,3 su VQAv2 per LLaVA-1.5).
• Trasferibilità: Una singola perturbazione generata utilizzando l'encoder di visione EVA-CLIP ha ingannato con successo sia InstructBLIP che MiniGPT-4, nonostante l'uso di diversi backbone linguistici (Vicuna-13B vs. LLaMA2-7B). Allo stesso modo, una perturbazione basata su CLIP-336 ha influenzato sia LLaVA che LLaVA-1.5.
• Robustezza alle Difese: Sotto compressione JPEG ($Q=90$), VEV-UAP ha mantenuto un ASR significativamente più alto rispetto ai baseline (ad esempio, 88,5% rispetto al 65,9% per la classificazione di Qwen2.5-VL).
• Costo Computazionale: VEV-UAP ha ridotto il tempo di ottimizzazione a circa 3,19 ore per UAP, offrendo un incremento di velocità di 6,4$\times$ rispetto ai metodi che ottimizzano attraverso l'intera architettura dell'LVLM.
• Analisi Qualitativa: Le visualizzazioni hanno mostrato che VEV-UAP causa l'invarianza delle distribuzioni dei vettori value tra diverse immagini di input e porta a pattern di attenzione sfocati e disallineati nell'LLM a valle, risultando in output ripetitivi o semanticamente non correlati.

Significato e Rivendicazioni

Il documento sostiene che la vulnerabilità avversaria degli LVLM è strutturalmente concentrata piuttosto che distribuita uniformemente. Identificando e mirando i componenti "collo di bottiglia" specifici (i vettori value dei livelli medi) che mediano l'integrazione delle feature prima della proiezione verso il modello linguistico, VEV-UAP ottiene una interruzione più efficiente e potente della pipeline multimodale.

Gli autori posizionano VEV-UAP non solo come uno strumento di attacco, ma come un framework pratico per la valutazione scalabile della robustezza. Poiché elimina la necessità di ottimizzazione per singola immagine e per singolo prompt e si affida esclusivamente all'encoder di visione, consente una rapida valutazione della robustezza su grandi set di immagini e diverse architetture di modelli che condividono lo stesso backbone visivo. Il lavoro suggerisce che gli sforzi futuri per migliorare la robustezza degli LVLM dovrebbero concentrarsi sul rinforzo esplicito di queste rappresentazioni vulnerabili dei vettori value nei livelli medi.