Sintesi Tecnica: VLMGuard

Definizione del Problema

I modelli visione-linguaggio (VLM) vengono sempre più impiegati in ambienti open-world dove elaborano un mix di input benigni e manipolati in modo avversariale. A differenza dei modelli esclusivamente testuali, i VLM affrontano una superficie di attacco espansa in cui gli avversari possono manipolare il canale visivo, quello testuale o entrambi per indurre comportamenti non sicuri, come la generazione di contenuti dannosi o l'esecuzione di azioni non intenzionali su strumenti (tool).

La sfida principale nello sviluppo di protezioni per i VLM è la scarsità di dataset di alta qualità e annotati che contengano sia prompt benigni che malevoli. Curare tali dati richiede un impegno umano significativo e aggiornamenti continui man mano che le strategie di attacco evolvono. Di conseguenza, esiste una critica necessità di metodi che possano rilevare efficacemente i prompt malevoli utilizzando le vaste quantità di prompt utente non etichettati naturalmente disponibili nelle implementazioni reali, senza fare affidamento su un'estesa annotazione manuale.

Metodologia: VLMGuard

Gli autori propongono VLMGuard, un framework di apprendimento a due stadi progettato per avviare il rilevamento di prompt malevoli partendo da dati non etichettati. Il framework opera sotto l'assunto che i prompt utente non etichettati seguano un modello di contaminazione di Huber, in cui la distribuzione dei dati $P_{unlabeled}$ è un mix di distribuzioni benigne ($P_{benign}$) e malevole ($P_{malicious}$) con un piccolo rapporto di miscelazione $\pi$.

Stadio 1: Stima automatizzata della malevolità tramite sottospazio latente

Il primo stadio sfrutta le rappresentazioni interne di un VLM pre-addestrato per distinguere tra campioni benigni e malevoli all'interno del mix non etichettato.

1. Estrazione delle rappresentazioni: Per ogni prompt $(x_v, x_t)$, viene estratta una rappresentazione $f$ a $d$ dimensioni da uno specifico strato $\ell$ del VLM.
2. Identificazione del sottospazio: Gli autori eseguono la Decomposizione ai Valori Singolari (SVD) sulla matrice di embedding centrata. L'analisi teorica suggerisce che, sotto il modello di contaminazione di Huber, le direzioni singolari dominanti della nuvola di rappresentazione sono influenzate dalle deviazioni causate dai rari campioni malevoli.
3. Scoring: Per ogni prompt viene calcolato un punteggio di stima della malevolità $\kappa_i$ basato sulla sua energia di proiezione sulle prime $k$ direzioni singolari dominanti, pesate dai loro valori singolari:
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   dove $\mu$ è la media empirica, $v_j$ sono i vettori singolari destri e $\lambda_j$ sono i valori singolari.
4. Pseudo-partizionamento: I prompt vengono partizionati in un insieme di candidati malevoli $\mathcal{M}$ (punteggi alti) e un insieme di candidati benigni $\mathcal{B}$ (punteggi bassi) utilizzando una soglia $T$. Ciò crea una pseudo-etichettatura rumorosa dei dati non etichettati.

Stadio 2: Addestramento del classificatore di prompt di salvaguardia

Il secondo stadio affronta la fragilità dei punteggi di proiezione diretta, che possono essere sensibili a variazioni superficiali (ad esempio, parafrasi) che non riflettono l'intento malevolo.

1. Addestramento del classificatore: Un classificatore binario leggero (un MLP a 3 strati) viene addestrato sugli insiemi pseudo-etichettati $\mathcal{M}$ (etichetta 1) e $\mathcal{B}$ (etichetta 0) utilizzando la perdita logistica (logistic loss).
2. Robustezza: Gli autori sostengono che questo classificatore impari a scartare le "variazioni di disturbo" (come i cambiamenti lessicali o sintattici nei prompt benigni) che correlano spurie con l'energia del sottospazio dominante, fornendo così un confine decisionale più robusto per il rilevamento al tempo di test.

Contributi Chiave

1. Formulazione del Framework: L'introduzione di VLMGuard, un framework a due stadi che formalizza il rilevamento di prompt malevoli sfruttando i prompt utente non etichettati "dal mondo reale", offrendo una soluzione pratica al problema della scarsità di dati.
2. Funzione di Scoring Principata: Lo sviluppo di una funzione di scoring derivata dalle rappresentazioni VLM (tramite SVD) che stima la probabilità che un prompt sia malevolo. Il paper fornisce una giustificazione teorica dimostrando che l'energia di proiezione sulle direzioni di covarianza principali crea un divario condizionale di classe proporzionale alla separazione tra le medie benigne e malevole.
3. Validazione Empirica: Esperimenti estesi che dimostrano l'efficacia del framework, la sua scalabilità verso modelli più grandi (ad esempio, 72 miliardi di parametri) e la sua robustezza contro variazioni realistiche dei prompt e dati benigni anomali.

Risultati Sperimentali

Gli autori hanno valutato VLMGuard in tre scenari reali utilizzando cinque dataset (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) e due VLM di base (LLaVA-1.6-7B e Qwen2.5-VL-7B/72B).

• Performance: VLMGuard ha raggiunto prestazioni allo stato dell'arte in tutti gli scenari. In media, ha migliorato l'Area Sotto la Curva ROC (AUROC) del 5,39% rispetto al miglior metodo esistente (GPT-5.4) e ha superato significativamente i baseline basati sull'incertezza e sull'attivazione.
• Robustezza alla bassa prevalenza: Il metodo è rimasto efficace anche quando il rapporto malevolo $\pi$ nel set di addestramento non etichettato era estremamente basso (ad esempio, $\pi=0,001$), raggiungendo un'AUROC di 88,16%.
• Generalizzazione: Il framework ha dimostrato una forte trasferibilità, mantenendo un'elevata accuratezza di rilevamento quando addestrato su un dataset e testato su diversi benchmark malevoli.
• Studi di Ablazione:
  • Necessità del Classificatore: L'uso diretto del punteggio di proiezione SVD ha prodotto prestazioni inferiori rispetto all'approccio a due stadi, confermando il ruolo del classificatore nel denoising e nella gestione delle variazioni dei prompt.
  • Selezione dello Strato: Gli strati intermedi del VLM hanno fornito le migliori rappresentazioni per il rilevamento, superando sia gli strati iniziali che quelli finali.
  • Scalabilità: Le performance sono migliorate scalando da modelli da 7B a 72B parametri.

Significato e Rivendicazioni

Il paper sostiene che VLMGuard offre un approccio pratico e flessibile per l'implementazione reale dei VLM. Eliminando la necessità di ulteriori annotazioni umane e di modelli esterni aggiuntivi (come modelli judge separati o modelli di diffusione per il denoising), il framework fornisce una soluzione autocontenuta per la salvaguardia dei VLM.

Gli autori sottolineano che il loro metodo è robusto alle variazioni realistiche dei prompt (cambiamenti lessicali e sintattici) e può distinguere l'intento malevolo anche in presenza di dati benigni ma anomali. Il lavoro mira a ispirare la ricerca futura sul rilevamento di dataset di prompt non etichettati per applicazioni critiche per la sicurezza, affrontando il collo di bottiglia fondamentale della scarsità di dati etichettati nel machine learning avversariale.