Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

Titolo

Leave My Images Alone: Prevenire l'analisi delle immagini da parte dei Modelli Linguistici Multimodali (MLLM) tramite Iniezione di Prompt Visivo

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) sono diventati strumenti potenti per l'analisi di dati visivi su larga scala. Sebbene offrano benefici significativi, pongono gravi rischi per la sicurezza e la società, in particolare per la privacy.

• Minaccia: Attori malevoli possono sfruttare MLLM a pesi aperti (open-weight) per analizzare immagini personali pubblicate online (es. social media) ed estrarre informazioni sensibili come identità, ubicazioni o dettagli privati, spesso senza il consenso dell'utente.
• Limitazione delle difese attuali: Le difese tradizionali spesso richiedono il controllo del modello o l'accesso API, ma non offrono una soluzione proattiva per il proprietario dell'immagine prima della condivisione.
• Obiettivo: Sviluppare un metodo di difesa lato utente che permetta di proteggere le immagini prima della pubblicazione, impedendo agli MLLM di analizzarle correttamente.

2. Metodologia: ImageProtector

Gli autori propongono ImageProtector, un metodo che modifica proattivamente un'immagine inserendo una perturbazione quasi impercettibile. Questa perturbazione agisce come un attacco di iniezione di prompt visivo (visual prompt injection), ma con uno scopo difensivo.

Concetto Chiave

Invece di cercare di "rompere" il modello o farlo comportare in modo dannoso (come nelle tradizionali iniezioni di prompt offensive), ImageProtector induce il modello a generare una risposta di rifiuto universale (es. "Mi dispiace, non posso assistere con questa richiesta") indipendentemente dalla domanda posta dall'attaccante.

Formulazione del Problema

Il problema è formulato come un problema di ottimizzazione vincolata con due obiettivi principali:

1. Efficacia: Garantire che l'MLLM generi una risposta di rifiuto per un'ampia gamma di domande di sondaggio (probing questions).
2. Utilità: Mantenere la perturbazione quasi impercettibile agli occhi umani per preservare la qualità e l'usabilità dell'immagine.

Algoritmo e Ottimizzazione

• Domande Ombra (Shadow Questions): Il proprietario dell'immagine genera un set di domande di riferimento (shadow questions) utilizzando un LLM (es. GPT-4). Queste possono essere:
  • Esatte: Domande che l'utente prevede specificamente.
  • Simili: Variazioni tematiche di una domanda nota.
  • Generali: Domande generiche su qualsiasi immagine.
• Funzione di Obiettivo: Si massimizza la probabilità che il modello generi una sequenza di token di rifiuto ($R$) data l'immagine perturbata ($x_I + \delta_R$) e una domanda ($q$).
  $$\delta^*_R = \arg\max_{\delta_R} \sum_{M \in \mathcal{M}} \sum_{q \in Q_S} p_M(R | [x_I + \delta_R, q])$$
  Soggetto a: $||\delta_R||_\infty \le \epsilon$ (vincolo di utilità).
• Soluzione: L'ottimizzazione viene risolta utilizzando un metodo iterativo basato sul gradiente (BIM - Basic Iterative Method). La funzione di perdita è riformulata come Cross-Entropy Loss per rendere l'obiettivo differenziabile.
• Generalizzazione: Ottimizzando su un set diversificato di domande ombra, la perturbazione appresa generalizza a domande di sondaggio reali non viste durante l'addestramento.

3. Contributi Chiave

1. Nuovo Problema Formalizzato: Definizione del problema di prevenire l'analisi delle immagini da parte degli MLLM come meccanismo di difesa proattiva.
2. ImageProtector: Un metodo basato su ottimizzazione vincolata che genera perturbazioni protettive bilanciate tra efficacia (rifiuto) e utilità (qualità visiva).
3. Inversione del Paradigma: È la prima dimostrazione dell'uso dell'iniezione di prompt visivo (tradizionalmente offensiva) come strumento difensivo per la privacy.
4. Valutazione Estensiva: Test su 6 diversi MLLM (inclusi LLaVA-1.5, MiniGPT-4, Qwen-VL, InstructBLIP, Phi-4, Qwen2.5-VL) e 4 dataset (VQAv2, GQA, TextVQA, CelebA).

4. Risultati Sperimentali

• Tasso di Rifiuto: ImageProtector raggiunge tassi di rifiuto molto elevati (spesso > 90% e fino al 100% su certi dataset come CelebA) su tutti i modelli testati.
  • Confrontato con metodi baselines (Qi et al., Bagdasaryan et al.), ImageProtector supera significativamente le prestazioni, specialmente con domande di sondaggio generiche o simili.
  • I metodi baselines ottengono tassi di rifiuto bassi o nulli perché non generalizzano bene a diverse formulazioni di domande.
• Impatto sull'Utilità: Le perturbazioni sono visivamente impercettibili (con vincoli $\ell_\infty$ di 8/255). Tuttavia, l'efficacia della protezione comporta un crollo dell'accuratezza del modello sulle immagini protette (l'accuratezza scende da ~0.92 a ~0.03), confermando che il modello non riesce più a comprendere il contenuto.
• Robustezza contro Contromisure: Gli autori hanno valutato tre contromisure difensive:
  1. Rumore Gaussiano: Riduce l'efficacia di ImageProtector ma degrada significativamente l'accuratezza del modello e richiede rumore elevato per essere efficace.
  2. DiffPure: Riduce il tasso di rifiuto ma degrada l'accuratezza e aumenta il tempo di inferenza (fino al 13%).
  3. Adversarial Training: Mantiene un tasso di rifiuto residuo (~60%) anche dopo l'addestramento, ma richiede risorse computazionali massive e riduce l'accuratezza del modello.
  • Conclusione: Nessuna contromisure attuale annulla completamente la protezione senza compromettere pesantemente l'utilità o l'efficienza del modello.

5. Significato e Limiti

• Significato: Il lavoro offre una soluzione pratica e "front-line" per gli utenti che desiderano proteggere i propri dati visivi dall'analisi automatizzata da parte di AI, specialmente in un contesto dove i modelli open-weight sono sempre più accessibili. Sposta l'iniziativa dalla difesa passiva alla protezione proattiva del dato.
• Limiti:
  • Ambiente White-Box: Il metodo richiede l'accesso ai gradienti del modello target (white-box). Non è direttamente applicabile a modelli chiusi (black-box) tramite API, sebbene l'obiettivo sia contrastare l'uso di modelli open-weight locali.
  • Interazioni Multi-turno: L'efficacia diminuisce leggermente in conversazioni a lungo termine (multi-round VQA), specialmente con domande generiche, a causa della lunghezza del contesto.
  • Modalità: Attualmente limitato alle immagini; non copre ancora audio o video.

In sintesi, ImageProtector dimostra che è possibile trasformare un'arma offensiva (l'iniezione di prompt) in uno scudo difensivo, permettendo agli utenti di "disattivare" l'analisi delle proprie immagini da parte delle IA, garantendo la privacy in un'era di analisi dati su larga scala.