On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

Sintesi Tecnica: Vulnerabilità Avversaria dei Modelli Vision-Language attraverso la Prospettiva dei Sottospazi Spettrali Intermedi

Enunciato del Problema
Le reti neurali profonde, in particolare i moderni modelli Vision-Language (VLM), sono note per essere vulnerabili a perturbazioni avversarie che alterano le predizioni del modello pur rimanendo visivamente impercettibili. Mentre la ricerca esistente ha analizzato estensivamente questa vulnerabilità attraverso la geometria dello spazio di input, le proprietà dei confini decisionali, la robustezza delle feature e i Jacobiani input-output, il comportamento spettrale delle trasformazioni lineari intermedie all'interno di queste reti rimane ampiamente inesplorato. Nello specifico, vi è una mancanza di comprensione riguardo a come i segnali avversari si propagano attraverso i sottospazi dei vettori singolari delle trasformazioni lineari (ad esempio, nell'auto-attenzione, nelle reti feed-forward e nei moduli di fusione) che costituiscono il nucleo dei VLM basati su transformer. Questo articolo indaga se i sottospazi dei vettori singolari "inferiori" — direzioni associate a valori singolari prossimi allo zero che attenuano l'informazione — costituiscano una superficie di attacco precedentemente trascurata.

Metodologia
Gli autori propongono un framework basato sull'analogia tra la propagazione avversaria e l'instabilità dei problemi inversi mal posti. Nei problemi inversi, la ricostruzione fallisce lungo le direzioni singolari quasi nulle; analogamente, gli autori ipotizzano che l'allineamento delle rappresentazioni intermedie con i sottospazi dei vettori singolari inferiori delle trasformazioni lineari nei VLM conduca all'attenuazione dell'informazione e alla degradazione semantica.

Per testare ciò, il documento introduce l'Attacco alla Rappresentazione Guidato dal Sottospazio Spettrale (SSGRA), un attacco white-box non mirato. La metodologia prevede:

1. Decomposizione Spettrale: Esecuzione della decomposizione in valori singolari (SVD) sulle matrici di peso delle trasformazioni lineari intermedie all'interno del VLM.
2. Misura di Allineamento: Definizione di una metrica, $\Psi_k$, per quantificare l'energia delle rappresentazioni dei token proiettate su specifici sottospazi singolari (top-$k$ vs. bottom-$k$).
3. Obiettivo di Ottimizzazione: L'SSGRA formula un problema di ottimizzazione che combina due termini:
   • Un termine di discrepanza della rappresentazione (basato sul Blockwise Similarity Attack) per interrompere le gerarchie delle feature.
   • Un termine di guida spettrale che massimizza esplicitamente l'allineamento delle rappresentazioni intermedie avversarie con i sottospazi dei vettori singolari inferiori (bottom-$s$) di selezionati strati lineari.
4. Probing per Strato: Gli autori impiegano un meccanismo di probing per analizzare come l'ottimizzazione avversaria sposti naturalmente le rappresentazioni verso i sottospazi singolari inferiori, anche senza una guida spettrale esplicita, e per confrontare le caratteristiche spettrali di diversi VLM (Qwen2.5-VL, LLaVA-1.5 e Gemma-3).

Contributi Chiave

• Identificazione di una Nuova Superficie di Attacco: Il documento identifica i sottospazi dei vettori singolari inferiori delle trasformazioni lineari intermedie come una critica e precedentemente trascurata superficie di attacco spettrale nei VLM basati su transformer.
• Attacco SSGRA: Gli autori propongono l'SSGRA, un attacco white-box guidato dallo spettro che sfrutta questa intuizione. Esso dimostra una maggiore efficacia rispetto agli esistenti baseline allo stato dell'arte (inclusi gli attacchi nello spazio delle feature come FDA, DRA, BSA e gli attacchi a livello di output come CE e EGA).
• Validazione Empirica della Dinamica Spettrale: Attraverso il probing per strato, lo studio mostra che l'ottimizzazione avversaria non mirata tende naturalmente ad aumentare l'allineamento delle rappresentazioni con i sottospazi singolari inferiori (che attenuano l'informazione).
• Caratterizzazione Spettrale dei VLM: Gli autori forniscono un'analisi spettrale di tre importanti VLM, rivelando che i modelli con una maggiore proporzione di direzioni singolari quasi nulle (ad esempio, Qwen2.5-VL) esibiscono una maggiore vulnerabilità all'SSGRA rispetto a modelli con meno tali direzioni (ad esempio, Gemma-3).

Risultati Sperimentali
Gli esperimenti sono stati condotti su ImageNet con tre VLM allo stato dell'arte: Gemma-3 (4B), Qwen2.5-VL (7B) e LLaVA-1.5 (7B).

• Efficacia dell'Attacco: L'SSGRA ha superato costantemente tutti i baseline. Su Qwen2.5-VL, ha ottenuto una degradazione relativa aggiuntiva del 7,90–19,74% nel BERTScore F1 e del 30,50–97,93% nel ROUGE-L F1 rispetto al baseline più forte. Su LLaVA-1.5 e Gemma-3, ha ottenuto prestazioni superiori, con miglioramenti che scalano con il budget di perturbazione.
• Analisi Qualitativa: L'ispezione visiva degli esempi avversari ha mostrato che, mentre i baseline spesso preservavano il contenuto semantico generale (con lievi allucinazioni), l'SSGRA induceva frequentemente predizioni completamente prive di senso o non correlate (ad esempio, descrivendo un incidente d'auto invece di un'ambulanza).
• Correlazione Spettrale: I risultati hanno confermato una correlazione tra la densità delle direzioni singolari quasi nulle e la vulnerabilità. Qwen2.5-VL, avendo la più alta proporzione di valori singolari quasi nulli, era il più vulnerabile, mentre Gemma-3, con la proporzione più bassa, era il più robusto.
• Costo Computazionale: L'SSGRA mantiene una complessità computazionale (misurata in FLOPs) comparabile ad altri attacchi basati su ottimizzazione, senza sovraccarichi significativi.

Significatività e Rivendicazioni
Il documento afferma che la sua principale significatività risiede nello spostamento della prospettiva della vulnerabilità avversaria dalle proprietà dello spazio di input alla struttura spettrale delle trasformazioni lineari intermedie. Dimostrando che l'ottimizzazione avversaria sfrutta naturalmente le direzioni dei vettori singolari quasi nulli, gli autori sostengono che le strategie di robustezza non dovrebbero solo concentrarsi sul vincolo dei grandi valori singolari (tramite la normalizzazione spettrale), ma devono anche affrontare il controllo delle direzioni dei vettori singolari quasi nulli.

Gli autori dichiarano esplicitamente che il loro lavoro isola i meccanismi spettrali della vulnerabilità attraverso attacchi white-box non mirati. Notano con modestia che l'applicabilità di questo framework ai contesti di trasferimento (transfer-based) e black-box non è ancora stata investigata e rimane una direzione per il lavoro futuro. I risultati suggeriscono che il controllo esplicito dell'allineamento delle rappresentazioni con i sottospazi dei vettori singolari inferiori offre una strategia complementare per migliorare la robustezza avversaria dei VLM.