Riepilogo Tecnico: MirrorCheck: Difesa Adversariale Efficiente per Modelli Vision-Language

1. Enunciato del Problema

I Modelli Vision-Language (VLM) hanno raggiunto prestazioni all'avanguardia in compiti come la descrizione di immagini (image captioning), la risposta a domande visive (VQA) e il recupero immagine-testo. Tuttavia, sono sempre più vulnerabili ad attacchi avversari sofisticati. A differenza delle difese tradizionali per la classificazione di immagini, le strategie esistenti per i VLM spesso si basano su adattamenti specifici per il compito, su costosi riaddestramenti o sono limitate a singole modalità, non tenendo conto delle complesse interazioni visivo-linguistiche. Inoltre, molte difese attuali sono suscettibili ad attacchi adattivi, in cui avversari con accesso white-box al modello aggirano sistematicamente i meccanismi di protezione. Esiste un bisogno critico di un framework di rilevamento robusto e agnostico rispetto al modello, che operi efficacemente senza richiedere riaddestramento e possa resistere a minacce adattive.

2. Metodologia: MirrorCheck

MirrorCheck è un framework di rilevamento avversario plug-and-play e agnostico rispetto al modello, progettato per ambienti sia unimodali che multimodali. Opera sulla intuizione fondamentale che le perturbazioni avversarie distorcano la coerenza semantica tra un'immagine di input e la descrizione testuale generata da un VLM.

2.1. Pipeline Principale (MirrorCheck Vanilla)

Il framework segue un processo in tre fasi:

1. Estrazione: Un'immagine di input $x_{in}$ viene passata attraverso il VLM vittima ($\mathcal{F}_\theta$) per generare un output testuale (didascalia, risposta o descrizione della classe) $t$.
2. Generazione: Il testo generato $t$ viene immesso in un modello pre-addestrato Text-to-Image (T2I) ($G_\psi$) per ricostruire un'immagine sintetica $x_{gen}$.
3. Confronto: L'immagine originale $x_{in}$ e l'immagine generata $x_{gen}$ vengono codificate utilizzando un codificatore di immagini pre-addestrato ($I_\phi$) per ottenere embedding di caratteristiche ($z_{in}$ e $z_{gen}$). La similarità tra questi embedding viene calcolata utilizzando la similarità del coseno.
   • Decisione: Se il punteggio di similarità $S(z_{in}, z_{gen})$ scende al di sotto di una soglia $\tau$, l'input viene segnalato come avversario.

Scelte Progettuali Chiave:

• Similarità Immagine-Immagine: Invece di confrontare direttamente l'immagine di input con il testo, il metodo confronta l'immagine di input con l'immagine ricostruita. Questo evita le limitazioni dei VLM riguardo alle relazioni posizionali e all'uso dei verbi, che possono rendere inaffidabile la similarità diretta testo-immagine.
• Spazio degli Embedding: Il metodo utilizza embedding vettoriali piuttosto che metriche a livello di pixel (come SSIM o FID) per catturare l'equivalenza semantica anche quando le rappresentazioni visive variano.

2.2. MirrorCheck Stocastico (Miglioramento della Robustezza)

Per contrastare gli attacchi adattivi in cui un avversario tenta di ottimizzare le perturbazioni per massimizzare la similarità, MirrorCheck introduce una variante Stocastica con tre innovazioni chiave:

1. Selezione Randomizzata T2I: Il sistema mantiene uno "zoo di modelli" di generatori T2I. Al momento dell'inferenza, viene selezionato casualmente un modello, impedendo all'attaccante di ottimizzare contro un generatore fisso.
2. Deploy Stocastico del Codificatore: Un sottoinsieme di codificatori di immagini viene selezionato casualmente da un pool più ampio per ogni inferenza.
3. Perturbazioni a Uso Singolo (OTU): Prima dell'estrazione delle caratteristiche, viene iniettato un piccolo rumore casuale ($\gamma$) nei parametri dei codificatori selezionati. Questo garantisce che l'attaccante non possa fare affidamento su gradienti pre-calcolati contro un codificatore statico.

Questi elementi stocastici aumentano esponenzialmente lo spazio di ricerca per gli attaccanti, rendendo gli attacchi adattivi white-box computazionalmente intrattabili.

2.3. Simulazione di Attacchi Adattivi

Per validare la robustezza, gli autori simulano un attaccante adattivo nel peggiore dei casi con piena conoscenza del sistema. L'attaccante utilizza:

• BPDA (Approssimazione Differenziabile del Passaggio Inverso): Per gestire il campionamento testuale non differenziabile nel VLM, un Adapter apprendibile mappa gli stati nascosti continui del VLM allo spazio di condizionamento T2I.
• EoT (Aspettativa sulla Trasformazione): Per gestire la casualità nel campionamento T2I e nelle perturbazioni OTU, l'attaccante media i gradienti sul rumore di campionamento stocastico.

3. Contributi Chiave

1. Framework MirrorCheck: Un framework di rilevamento innovativo, privo di addestramento e agnostico rispetto al modello per i VLM, che sfrutta la rigenerazione T2I e la coerenza degli embedding.
2. Strategia di Difesa Stocastica: Un'estensione del framework che introduce la selezione casuale dei modelli e le perturbazioni OTU per sventare specificamente gli attacchi adattivi.
3. Valutazione Completa: Esperimenti estesi che dimostrano come MirrorCheck superi le baseline esistenti su diverse architetture VLM (ad es. BLIP, LLaVA, MiniGPT-4) e tipi di attacco (ad es. AttackVLM, Attack-Bard, attacchi di classificazione standard come FGSM/PGD).
4. Generalizzazione: Evidenza che il metodo si generalizza ai compiti unimodali (classificazione di immagini) senza modifiche.

4. Risultati Sperimentali

Il documento valuta MirrorCheck su 2.000 immagini (1.000 pulite, 1.000 attaccate) su diversi modelli vittima e scenari di attacco.

• Accuratezza di Rilevamento: MirrorCheck raggiunge accuratezze di rilevamento comprese tra il 65% e il 99%. Nella variante Stocastica, supera costantemente le baseline. Ad esempio, sul modello BLIP-2 sotto AttackVLM-Q, MirrorCheck Stocastico raggiunge un'accuratezza di 0,99, superando significativamente la baseline successiva migliore (0,85).
• Punteggi di Similarità: Le immagini pulite producono costantemente punteggi di similarità elevati (ad es. ~0,70–0,80), mentre gli esempi avversari mostrano punteggi significativamente degradati (ad es. ~0,30–0,50), creando un chiaro confine decisionale.
• Robustezza agli Attacchi Adattivi: Sotto forti attacchi adattivi white-box (BPDA+EoT), l'accuratezza di rilevamento rimane elevata. Aumentare la dimensione dell'insieme di codificatori (da 1 a 10) e applicare rumore OTU migliora ulteriormente la robustezza, con configurazioni che utilizzano 7+ codificatori che superano l'98% di accuratezza anche in condizioni adattive.
• Confronto con le Baseline: MirrorCheck supera costantemente le difese unimodali (MagNet, PuVAE, DiffPure) e i metodi specifici per il multimodale (CIDER, JailGuard, SmoothVLM), spesso con un ampio margine (ad es. >0,13 di miglioramento in alcune configurazioni).

5. Significato e Affermazioni

Il documento afferma di stabilire un nuovo paradigma per la difesa avversariale multimodale. Il suo significato risiede in:

• Praticità: È una soluzione plug-and-play che non richiede il riaddestramento del modello vittima o l'accesso a gradienti/logit interni.
• Scalabilità: Si generalizza su diverse architetture VLM e può essere applicato a compiti unimodali.
• Sicurezza: Fornisce garanzie empiriche contro gli attacchi adattivi, un punto di fallimento comune per le difese precedenti.

Gli autori concludono che MirrorCheck fornisce una base robusta per la sicurezza dei sistemi AI di prossima generazione contro le minacce avversarie in evoluzione, colmando efficacemente il divario tra le modalità visive e linguistiche nei meccanismi di difesa.