Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Sintesi Tecnica: Attacchi di Manipolazione dei Token Visivi su Inferenza Cloud-Edge di Grandi Modelli Vision-Language

Definizione del Problema
Il documento affronta una vulnerabilità critica di sicurezza nei sistemi di inferenza Cloud-Edge per i Large Vision-Language Models (LVLM). In questa architettura, dispositivi edge con risorse limitate eseguono un encoding visivo leggero e trasmettono token visivi intermedi ai server cloud, dove risiedono l'encoder testuale computazionalmente intensivo e il backbone del Large Language Model (LLM). Gli autori identificano il collegamento di comunicazione tra l'edge e il cloud come una nuova, inesplorata superficie di attacco. Diversamente dagli attacchi tradizionali che prendono di mira gli input visivi grezzi (ad esempio, perturbazioni avversarie) o i prompt testuali, questo lavoro si concentra sugli Attacchi di Manipolazione dei Token Visivi (VTM). Il problema centrale è che un avversario, operando in un contesto Man-in-the-Middle (MitM) black-box, può intercettare e manipolare un sottoinsieme di questi token visivi trasmessi. Poiché i token visivi sono rappresentazioni compatte e ad alta dimensionalità che codificano contenuti semantici, la loro manipolazione può interrompere la comprensione delle relazioni spaziali e dei segnali semantici dell'LVLM, portando a significativi fallimenti dell'inferenza senza che l'attaccante abbia bisogno di accedere ai pesi del modello o ai dati visivi grezzi.

Metodologia
Gli autori propongono una famiglia di VTM-Attacks sotto un contesto black-box vincolato in cui l'avversario non ha accesso ai parametri del modello né sull'edge né sul cloud. L'attacco è soggetto a due vincoli primari:

1. Consistenza Dimensionale: I token manipolati devono mantenere la forma originale ($L_v \times d$) per evitare il rilevamento immediato o il fallimento della pipeline.
2. Budget di Manipolazione: L'avversario può modificare solo un sottoinsieme di token ($I$), definito da un Rapporto di Manipolazione dei Token ($\rho$), per mantenere la furtività.

La metodologia è divisa in due componenti:

1. Strategie di Attacco Naïve: Gli autori progettano quattro strategie di manipolazione di base applicate a token selezionati casualmente:

   • Permutazione (basata sulla struttura): Rimescola la disposizione posizionale dei token selezionati preservandone i valori, interrompendo la coerenza strutturale.
   • Mascheramento (basata sul valore): Azzera i token selezionati, rimuovendo il contenuto informativo.
   • Perturbazione Gaussiana (basata sul valore): Inietta rumore scalato in norma nei token selezionati per alterarne la magnitudo e la direzione in modo stocastico.
   • Inversione del Segno (Sign Flip, basata sul valore): Inverte la direzione dei token selezionati nello spazio di embedding ($\hat{v}_i = -v_i$) preservandone la norma. Ciò crea uno spostamento massiccio nello spazio di rappresentazione.

2. Selezione dei Token basata su Ottimizzazione: Riconoscendo che la selezione casuale è subottimale, gli autori propongono una strategia di ottimizzazione per identificare i token visivi più influenti. Poiché la misurazione diretta dell'impatto sulla distribuzione dell'output è intrattabile in un contesto black-box, utilizzano la Disruzione dell'Auto-Attenzione (Self-Attention Disruption) come proxy. Formulano un obiettivo per massimizzare la discrepanza tra gli output di auto-attenzione dei token originali e di quelli manipolati ($L_{SA}$). Per prevenire il bias di selezione verso i token ad alta norma (che potrebbero essere normalizzati dagli strati successivi), introducono un termine di regolarizzazione consapevole della norma ($L_{norm}$). L'obiettivo finale massimizza $L_{SA} - \lambda L_{norm}$ utilizzando la salita del gradiente proiettato per determinare l'insieme ottimale di token da manipolare, che vengono poi attaccati utilizzando la strategia Sign Flip.

Contributi Chiave

• Identificazione di una Nuova Superficie di Attacco: Il documento definisce formalmente l'interfaccia di trasmissione dei token visivi cloud-edge come una superficie di attacco pratica e vulnerabile per gli LVLM.
• Framework VTM-Attack: Introduce una famiglia completa di attacchi a livello di token, inclusi sia attacchi basati sulla struttura (permutazione) che basati sul valore (mascheramento, Gaussiana, inversione del segno).
• Strategia di Ottimizzazione: Propone un metodo di selezione dei token basato sull'ottimizzazione che sfrutta la disruzione dell'auto-attenzione e la regolarizzazione consapevole della norma per aumentare significativamente l'efficacia dell'attacco sotto budget limitati.
• Valutazione Empirica: Lo studio fornisce valutazioni estese su sei LVLM allo stato dell'arte (da 3B a 72B di parametri) e quattro diversi benchmark (OCRBench, MMBench, HallusionBench, MathVista).

Risultati Sperimentali
Gli esperimenti dimostrano che l'inferenza LVLM cloud-edge è altamente vulnerabile agli attacchi VTM, anche con un basso budget di manipolazione ($\rho = 0.1$, ovvero il 10% dei token):

• Gravità dell'Impatto: Manipolare solo il 10% dei token può ridurre l'accuratezza fino all'88,31%. Ad esempio, sul benchmark MMBench, l'attacco Sign Flip ha ridotto l'accuratezza di Qwen2.5-VL-72B-Instruct dall'88,39% allo 0,23%.
• Efficacia del Sign Flip: Tra le strategie naïve, il Sign Flip ha prodotto costantemente la degradazione più catastrofica, portando spesso le prestazioni del modello vicino allo zero su MMBench e HallusionBench. Ciò suggerisce che invertire l'orientamento semantico dei token è più distruttivo rispetto al rimescolamento o al mascheramento.
• Varianza della Robustezza del Modello: È stata osservata una significativa disparità nella robustezza tra le famiglie di modelli. I modelli Qwen2.5-VL hanno mostrato una degradazione catastrofica sotto vari attacchi, mentre i modelli InternVL3.5 hanno dimostrato una robustezza considerevolmente superiore. Inoltre, le leggi di scala (scaling laws) sono state incoerenti; i modelli InternVL più grandi erano generalmente più robusti, ma questa tendenza non si è applicata costantemente ai modelli Qwen.
• Guadagno di Ottimizzazione: La strategia di selezione dei token basata sull'ottimizzazione ha ulteriormente amplificato l'efficacia dell'attacco rispetto alla selezione casuale. Ad esempio, su HallusionBench, la strategia di ottimizzazione ha migliorato il tasso di successo dell'attacco su InternVL3.5-4B e InternVL3.5-38B rispettivamente del 5,79% e del 21,09% rispetto alla selezione casuale.

Significatività
Il documento afferma che questi risultati rivelano una vulnerabilità critica nel deployment degli LVLM in ambienti cloud-edge. I risultati indicano che il collegamento di comunicazione che trasmette le rappresentazioni intermedie è un vettore ad alto rischio che è stato ampiamente trascurato nella letteratura esistente sulla sicurezza, che si concentra principalmente sugli attacchi nello spazio di input o sulle modalità puramente testuali. Lo studio sottolinea che anche manipolazioni limitate e furtive dei token visivi possono interrompere fondamentalmente l'interazione visione-linguaggio, portando al fallimento totale dell'inferenza. Ciò evidenzia la necessità urgente di protocolli di trasmissione sicuri e meccanismi di difesa robusti progettati specificamente per lo strato di rappresentazione intermedia nei sistemi LVLM distribuiti.