One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

1. Enunciato del Problema

I Modelli Linguistico-Visivi (VLM) sono sempre più utilizzati per alimentare agenti autonomi, creando una vulnerabilità di sicurezza nota come Iniezione di Prompt Tipografica (TPI). Negli attacchi TPI, istruzioni malevole vengono renderizzate come testo all'interno di immagini. Poiché l'istruzione arriva tramite la modalità visiva, può aggirare i filtri di sicurezza basati sul testo tradizionali.

Mentre la ricerca precedente si è concentrata sulla massimizzazione del Tasso di Successo dell'Attacco (ASR) attraverso nuovi design di attacco, manca una comprensione del perché certi rendering visivi (ad esempio, dimensioni di font specifiche, rotazioni o sfocature) aggirino l'allineamento alla sicurezza mentre altri falliscono. Gli autori mirano a colmare questa lacuna caratterizzando la relazione tra degradazione visiva, embedding del modello e fallimenti di sicurezza.

2. Metodologia

Il documento propone un approccio a due facce: uno studio empirico per identificare i predittori del successo dell'attacco e un framework di ottimizzazione per sfruttare tali predittori.

A. Studio Empirico: La Distanza di Embedding come Predittore

Gli autori hanno condotto uno studio controllato su quattro VLM (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 e Qwen3-VL) utilizzando 1.000 prompt da SALAD-Bench.

• Variabili: Hanno testato 12 dimensioni di font (6–28px) e 10 trasformazioni visive (rotazione, sfocatura, rumore, ecc.).
• Metrica: Hanno calcolato la distanza L2 tra l'embedding multimodale dell'immagine renderizzata e l'embedding del prompt testuale sorgente utilizzando modelli pronti all'uso (JinaCLIP e Qwen3-VL-Embedding).
• Ipotesi: Una distanza minore nello spazio degli embedding (il che significa che l'immagine "sembra" più simile al testo per il codificatore) correla con un maggiore successo dell'attacco.

B. Framework di Ottimizzazione: Red Teaming Guidato da Embedding

Sulla base dei risultati empirici, gli autori hanno sviluppato uno strumento di red-teaming per stressare la sicurezza dei VLM senza accesso ai pesi interni o ai classificatori di sicurezza del modello target.

• Obiettivo: Massimizzare la similarità coseno tra un'immagine tipografica degradata e l'embedding del testo sorgente sotto perturbazioni limitate $\ell_\infty$.
• Algoritmo: Hanno adattato CWA-SSA (Common Weakness Attack with Spectral Simulation Augmentation).
  • Ensemble: L'ottimizzazione utilizza un ensemble di 4 modelli di embedding surrogati (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) per garantire che le perturbazioni siano robuste e trasferibili.
  • Processo: L'algoritmo aggiorna iterativamente i valori dei pixel per minimizzare la distanza di embedding, spingendo efficacemente l'immagine degradata in una regione dello spazio degli embedding dove il VLM è più propenso a conformarsi.

3. Contributi Chiave

1. Scoperta di una Forte Correlazione: Il documento stabilisce che la distanza di embedding multimodale è un predittore forte, interpretabile e agnostico rispetto al modello del successo della TPI.
   • I coefficienti di correlazione ($r$) variano da -0.71 a -0.93 (correlazione negativa: distanza minore = ASR più alto).
   • Ciò fornisce una metrica proxy per il successo dell'attacco senza necessità di interrogare ripetutamente il VLM target.
2. Identificazione di Due Modalità di Fallimento Co-occorrenti: L'ottimizzazione rivela che la riduzione della distanza di embedding migliora l'ASR attraverso due meccanismi distinti:
   • Recupero della Leggibilità Percepita: La perturbazione rende il testo semanticamente analizzabile dal modello quando era precedentemente illeggibile a causa della degradazione (ad esempio, sfocatura pesante o font piccolo).
   • Evasione dell'Allineamento alla Sicurezza: La perturbazione altera la rappresentazione olistica dell'immagine a sufficienza per aggirare il ragionamento di sicurezza del modello, anche se il testo era già leggibile.
3. Uno Strumento di Red Teaming Agnostico rispetto al Modello: Il metodo proposto permette ai ricercatori di sicurezza di sondare la robustezza della sicurezza dei VLM utilizzando solo modelli di embedding surrogati, senza richiedere accesso ai gradienti o ai filtri di sicurezza del modello target.

4. Risultati Sperimentali

Gli autori hanno testato la loro ottimizzazione su cinque impostazioni di degradazione (font 6px, font 8px, rotazione di 90°, degradazione tripla e sfocatura pesante) su quattro VLM target.

• Vantaggi Quantitativi:

  • Claude Sonnet 4.5 ha mostrato i miglioramenti più significativi, in particolare negli scenari di "Sfocatura Pesante", dove l'ASR è aumentato del +28% (da 0.7% a 28.5%).
  • GPT-4o ha mostrato guadagni negli scenari di rotazione (+22%) e sfocatura pesante (+10%), sebbene sia rimasto più robusto degli altri.
  • Mistral e Qwen (che avevano un ASR di base più alto) hanno talvolta visto una diminuzione delle prestazioni dopo l'ottimizzazione, suggerendo che la perturbazione ha involontariamente attivato meccanismi di sicurezza precedentemente dormienti.

• Analisi Qualitativa (Modalità di Fallimento):

  • Dominanza della Leggibilità: In degradazioni estreme (font 6px, sfocatura pesante), il guadagno principale è derivato dal fatto che il modello è finalmente riuscito a "leggere" il testo. Ad esempio, su GPT-4o con testo 6px, i fallimenti di leggibilità sono scesi da 35 a 10, ma i rifiuti di sicurezza sono aumentati, indicando che il filtro di sicurezza ha intercettato la richiesta malevola ora leggibile.
  • Dominanza della Riduzione dei Rifiuti: In degradazioni moderate (rotazione di 90°, font 8px), i guadagni sono stati guidati dal fatto che il modello non ha rifiutato la richiesta anche se poteva leggere il testo. Ciò suggerisce che la perturbazione ha confuso con successo la logica di allineamento alla sicurezza.
  • Dipendenza dal Modello: La modalità di fallimento dominante dipende dalla forza intrinseca del filtro di sicurezza del modello. Filtri più forti (come GPT-4o) tendono a fallire prima sulla leggibilità; filtri più deboli falliscono sull'allineamento.

5. Significato e Implicazioni

• Vulnerabilità del Meccanismo di Sicurezza: I risultati suggeriscono che l'allineamento alla sicurezza dei VLM è fragile nello spazio delle rappresentazioni. Piccole perturbazioni che non cambiano significativamente l'aspetto visivo (dominio dei pixel) possono alterare drasticamente la rappresentazione interna del modello, portando a bypass della sicurezza.
• Strategia di Difesa: Le difese attuali che si basano sulla degradazione visiva (ad esempio, sfocare il testo per nasconderlo) sono insufficienti. Le difese devono essere robuste nello spazio degli embedding, assicurando che il modello rifiuti istruzioni dannose indipendentemente dal fatto che il testo sia perfettamente leggibile o leggermente perturbato.
• Standard di Red Teaming: Il documento fornisce una nuova metodologia efficiente per valutare la sicurezza dei VLM che non richiede accesso in black-box ai dati di addestramento o all'architettura interna del modello target, affidandosi invece all'allineamento degli embedding.

Limitazioni: Lo studio è limitato a un singolo dataset (SALAD-Bench) e a uno stile di rendering specifico (testo nero su bianco). L'ottimizzazione è computazionalmente costosa (~2.5 ore per campione) e non è stata valutata contro difese basate sul rilevamento.