Riepilogo Tecnico: Ripresa di CroPA: Uno Studio di Riproducibilità e Miglioramenti per la Trasferibilità Adversariale Cross-Prompt nei Modelli Vision-Language

1. Enunciato del Problema

I Grandi Modelli Vision-Language (VLM) hanno rivoluzionato compiti quali la classificazione di immagini, la generazione di didascalie e la risposta a domande visive (VQA). Tuttavia, rimangono altamente vulnerabili ad attacchi adversariali in cui perturbazioni sottili alle immagini o ai testi di input portano a output errati o dannosi. Sebbene la ricerca precedente abbia stabilito la Trasferibilità Cross-Modello (esempi adversariali che funzionano su architetture diverse) e la Trasferibilità Cross-Immagine (Perturbazioni Adversariali Universali o UAP), una nuova dimensione nota come Trasferibilità Cross-Prompt è stata introdotta da Luo et al. (2024) tramite l'Attacco Cross-Prompt (CroPA).

CroPA mira a generare immagini adversariali che rimangano efficaci indipendentemente dal prompt testuale utilizzato per interrogare il VLM. Nonostante la sua novità, la robustezza e la generalizzabilità di CroPA richiedono ulteriore validazione. Inoltre, il framework originale CroPA presenta limitazioni, tra cui:

• Inizializzazione Casuale: Dipendenza da un'inizializzazione casuale di rumore non informato, che porta a instabilità e lenta convergenza.
• Debolezze Specifiche per Task: Scarse prestazioni in compiti specifici come la Classificazione e la Generazione di Didascalie.
• Intensità Computazionale: Alto consumo di risorse (ad esempio, oltre 6 ore su una GPU da 48 GB per 50 immagini).
• Trasferibilità Cross-Immagine Limitata: Le perturbazioni sono strettamente accoppiate all'immagine specifica su cui sono state generate, ostacolando l'applicazione universale.

Questo studio affronta tali problemi conducendo uno studio di riproducibilità completo di CroPA e proponendo miglioramenti per aumentare il suo Tasso di Successo dell'Attacco (ASR), la convergenza e la trasferibilità tra immagini e modelli.

2. Metodologia

2.1 Studio di Riproducibilità

Gli autori hanno prima riprodotto rigorosamente gli esperimenti originali di CroPA su VLM prominenti (Flamingo, BLIP-2, InstructBLIP e LLaVA). Hanno validato quattro affermazioni fondamentali di Luo et al. (2024):

1. CroPA ottiene una trasferibilità cross-prompt superiore rispetto alle linee di base (Single-P e Multi-P).
2. CroPA mantiene la superiorità delle prestazioni anche all'aumentare del numero di prompt.
3. CroPA converge verso un ASR più elevato con l'aumento delle iterazioni.
4. CroPA supera le linee di base nelle impostazioni few-shot (apprendimento in contesto).

La riproduzione ha confermato le affermazioni originali, notando che CroPA supera costantemente le linee di base, sebbene abbia osservato instabilità nelle tendenze di convergenza per compiti specifici (ad esempio, Classificazione) rispetto alle metriche aggregate del documento originale.

2.2 Miglioramenti Proposti

Per affrontare le limitazioni identificate, il documento introduce tre miglioramenti metodologici chiave:

A. Inizializzazione del Rumore tramite Ottimizzazione della Codifica Visiva

Invece del rumore casuale, gli autori propongono un'inizializzazione semanticamente informata:

• Sintesi del Target: Un modello di diffusione (Stable Diffusion XL) genera un'immagine ($x_{target}$) corrispondente al prompt testuale target.
• Ancoraggio al Vision Encoder: La perturbazione iniziale ($\delta_{init}$) è derivata minimizzando l'Errore Quadratico Medio (MSE) tra la rappresentazione del vision encoder dell'immagine originale più la perturbazione e la rappresentazione del vision encoder dell'immagine target sintetizzata:
  $$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$$
• Ottimizzazione: Questa inizializzazione è raffinata utilizzando la Discesa del Gradiente Proiettata (PGD) con una funzione di perdita MSE, assicurando che la perturbazione inizi in una direzione semanticamente significativa verso l'obiettivo adversariale.

B. Guida delle Perturbazioni tramite Vettori di Valore Target (Integrazione D-UAP)

Per migliorare la trasferibilità e la forza dell'attacco, gli autori integrano una funzione di perdita ispirata al metodo Doubly-Universal Adversarial Perturbation (D-UAP). Questo approccio mira alle dinamiche interne del meccanismo di attenzione del vision encoder:

• Meccanismo: Il metodo perturba i vettori di valore dei livelli di attenzione nel vision encoder. Minimizza la perdita di similarità del coseno tra i vettori di valore dell'immagine perturbata e i vettori di valore di un'immagine di riferimento corrispondente al testo target.
• Funzione Obiettivo: La perdita finale combina l'obiettivo min-max standard di CroPA con la perdita dei vettori di valore:
  $$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$$
  dove $\mathcal{L}_{d-UAP}$ incoraggia i vettori di valore dell'immagine perturbata ad allinearsi alla rappresentazione del testo target.

C. Trasferibilità Cross-Immagine tramite Augmentation delle Immagini

Per mitigare l'overfitting su caratteristiche specifiche delle immagini e abilitare la trasferibilità cross-immagine, gli autori integrano strategie di augmentation dei dati durante la generazione delle perturbazioni:

• SCMix: Un processo di mixing a due stadi che coinvolge il self-mixing (fusione di patch ritagliate della stessa immagine) e il cross-mixing (fusione con un'immagine secondaria). Questo costringe il modello ad apprendere caratteristiche invarianti rispetto alle variazioni spaziali e alla fusione inter-immagine.
• CutMix: Una strategia di sostituzione regionale basata su una maschera rigida che costringe le perturbazioni a mirare a caratteristiche spazialmente invarianti piuttosto che ad artefatti localizzati.

3. Contributi Chiave e Risultati

3.1 Validazione della Riproduzione

Lo studio ha riprodotto con successo i risultati originali di CroPA, confermando che:

• CroPA ottiene un ASR significativamente più alto rispetto alle linee di base Single-P e Multi-P nei compiti VQA, Classificazione e Generazione di Didascalie.
• CroPA rimane robusto anche quando vengono aggiunti esempi di apprendimento in contesto durante l'inferenza (impostazioni few-shot).
• La trasferibilità del metodo è largamente indipendente dal significato semantico o dalla frequenza delle parole del testo target.

3.2 Prestazioni dei Miglioramenti

• Inizializzazione del Rumore: La strategia di inizializzazione proposta ha migliorato significativamente l'ASR. Su BLIP-2, CroPA+Init ha raggiunto un ASR complessivo del 89,77% (rispetto al 77,08% di CroPA base) e fino al 94,58% per target specifici come "Mi dispiace". Ha anche ridotto il numero di passi di ottimizzazione necessari per la convergenza.
• Guida dei Vettori di Valore (D-UAP): L'integrazione della perdita dei vettori di valore ha ulteriormente potenziato le prestazioni. Il metodo CroPA+D-UAP ha raggiunto un ASR complessivo del 96,85% su BLIP-2 (un aumento del 12,5% rispetto a CroPA base) e del 92,70% su OpenFlamingo. Significativamente, questo miglioramento è stato efficace anche contro testi target "dannosi" come "Bomba", che tipicamente attivano le protezioni del modello.
• Trasferibilità Cross-Immagine: Mentre CroPA base fatica con la trasferibilità cross-immagine, l'integrazione di SCMix ha migliorato l'ASR non mirato complessivo dal 43,55% al 70,55%, e CutMix lo ha portato al 55,65%. Ciò dimostra che l'augmentation può colmare parzialmente il divario tra trasferibilità cross-prompt e cross-immagine.

3.3 Analisi della Trasferibilità Cross-Modello

Lo studio ha analizzato la trasferibilità tra modelli con architetture diverse (ad esempio, da BLIP-2 a Flamingo rispetto a BLIP-2 a InstructBLIP).

• Risultati: Il miglioramento D-UAP ha migliorato la trasferibilità cross-modello, in particolare tra modelli che condividono encoder visivi simili (ad esempio, da BLIP-2 a InstructBLIP, dove l'ASR è passato dal 50,65% al 68,50%).
• Limitazione: La trasferibilità è rimasta bassa tra architetture fondamentalmente diverse (ad esempio, da BLIP-2 a Flamingo), confermando che la guida dei vettori di valore dipende dall'architettura specifica dell'encoder visivo.

4. Significato e Affermazioni

Il documento afferma di fornire un framework più robusto per la generazione di esempi adversariali trasferibili nei VLM. Il suo significato risiede in:

1. Validazione: Confermare l'esistenza e la potenza delle vulnerabilità adversariali cross-prompt nei VLM all'avanguardia.
2. Efficienza ed Efficacia: Dimostrare che l'inizializzazione semanticamente informata e le funzioni di perdita mirate possono migliorare drasticamente i tassi di successo degli attacchi e la velocità di convergenza.
3. Generalizzazione: Mostrare che, sebbene la trasferibilità cross-prompt e cross-immagine siano spesso obiettivi in competizione, tecniche come SCMix possono migliorare la generalizzazione cross-immagine senza sacrificare le capacità fondamentali cross-prompt.
4. Implicazioni per la Sicurezza: Evidenziare che i VLM sono vulnerabili ad attacchi che manipolano gli output indipendentemente dal prompt o dall'architettura del modello (in una certa misura), ponendo rischi per il deployment nel mondo reale. Al contrario, gli autori notano che queste perturbazioni potrebbero essere utilizzate difensivamente per proteggere dati sensibili forzando i modelli a output testi predeterminati e non sensibili.

Gli autori concludono che, sebbene i loro miglioramenti spingano i confini di dimensioni specifiche di trasferibilità, esiste un compromesso fondamentale nell'ottimizzazione simultanea per la trasferibilità cross-prompt, cross-immagine e cross-modello. Chiedono ricerche future sull'ottimizzazione multi-obiettivo e sulla progettazione di attacchi consapevoli dell'architettura per comprendere e mitigare ulteriormente queste vulnerabilità.