Do Vision-Language Models Leak What They Learn? Adaptive Token-Weighted Model Inversion Attacks

Questo lavoro presenta il primo studio sistematico sugli attacchi di inversione del modello per i modelli visione-linguaggio, introducendo la tecnica SMI-AW che sfrutta un pesamento adattivo dei token per ricostruire con successo dati di addestramento privati, evidenziando così gravi rischi per la privacy nei modelli VLM attualmente disponibili.

L'essenziale

Immagina di avere un chef stellato (il modello di intelligenza artificiale) che ha cucinato migliaia di piatti segreti usando ingredienti privati (le foto delle persone o dei cani addestrati). Questo chef non ti dà le ricette, ma se gli chiedi: "Chi ha cucinato questo piatto?", lui risponde con il nome dell'ingrediente principale.

Il problema è: puoi far "regredire" il cervello dello chef per ricostruire l'ingrediente originale?

Questo è esattamente ciò che scoprono gli autori di questo studio. Hanno scoperto che i moderni modelli di intelligenza artificiale che vedono e parlano (chiamati VLM, o Vision-Language Models) sono come chef molto "leccosi": se li spingi giustamente, possono rivelare le foto private su cui sono stati addestrati.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: Il "Ricordo" dell'Intelligenza Artificiale

Fino a poco tempo fa, sapevamo che le intelligenze artificiali "classiche" (quelle che vedono solo immagini) potevano essere ingannate per farle "sputare" le foto delle persone che avevano imparato a riconoscere.
Ma ora abbiamo modelli nuovi, come LLaVA o Qwen, che sono come doppi sensi: vedono un'immagine e ne parlano.
La domanda degli autori era: "Se un modello vede una foto di una celebrità e dice 'Questo è Harry Potter', possiamo usare quella frase per ricostruire la faccia di Harry Potter?"

La risposta è un sì preoccupante.

2. La Soluzione: Come hanno fatto a "rubare" le immagini?

Gli autori hanno creato un nuovo metodo di attacco, che chiamano SMI-AW. Per capire come funziona, usiamo un'analogia con un dizionario e una mappa del tesoro.

Quando un modello descrive un'immagine, lo fa parola per parola (o "token" per "token").

• Alcune parole sono fortemente legate all'immagine (es. "rosso", "occhi", "naso").
• Altre parole sono solo grammatica o contesto (es. "il", "è", "un").

L'errore dei metodi vecchi:
I vecchi metodi cercavano di ricostruire l'immagine ascoltando tutte le parole allo stesso modo, come se ogni parola fosse una mappa del tesoro. Ma molte parole (come "il") non dicono nulla sulla foto! Questo creava confusione, come cercare di disegnare un ritratto ascoltando anche il rumore di fondo.

L'innovazione di questo studio (SMI-AW):
Gli autori hanno creato un sistema intelligente che agisce come un detective selettivo.

1. Ascolta e osserva: Mentre il modello genera la frase, il detective controlla: "Quanta attenzione sta dando questa parola all'immagine?".
2. Filtra il rumore: Se il modello dice "Il" e guarda poco l'immagine, il detective dice: "Ignora questa parola, non ci dice nulla della foto".
3. Amplifica il segnale: Se il modello dice "Occhi azzurri" e guarda intensamente l'immagine, il detective dice: "Questa parola è oro! Usala per ridisegnare la foto!".

In pratica, hanno creato un sistema che pesa le parole in base a quanto sono utili per ridisegnare la faccia. Più una parola è legata visivamente alla foto, più viene ascoltata.

3. I Risultati: Quanto è pericoloso?

Hanno provato questo metodo su diversi modelli famosi e su diverse foto (volti di persone, razze di cani). I risultati sono stati allarmanti:

• Precisione: Quando hanno chiesto a persone reali di guardare le foto ricostruite dall'AI, il 61% delle volte le persone hanno detto: "Sì, questa è la stessa persona che ho visto nella foto originale!".
• Modelli Pubblici: Hanno dimostrato che anche i modelli che puoi scaricare gratuitamente e usare online (come LLaVA) sono vulnerabili. Non serve essere un genio dell'hacking; basta avere accesso al modello per tentare di "estrarre" le foto private.

4. Perché dovresti preoccuparti?

Immagina di caricare una foto del tuo viso su un'app per vedere "chi assomiglio" o per un servizio medico. Se quell'app usa un modello VLM addestrato su dati privati, e qualcuno usa questo nuovo metodo, potrebbe teoricamente ricostruire la tua foto partendo solo dalla risposta testuale che l'app ti dà.

In sintesi

Gli autori hanno scoperto che i modelli di intelligenza artificiale che vedono e parlano hanno una "memoria fotografica" nascosta.
Hanno creato un nuovo trucco (SMI-AW) che funziona come un filtro intelligente: invece di ascoltare tutto il rumore di una conversazione, ascolta solo le parole che descrivono davvero la foto, permettendo di ricostruire immagini private con sorprendente precisione.

Il messaggio finale: Man mano che queste intelligenze artificiali entreranno in ospedali, banche e app quotidiane, dobbiamo essere molto più attenti alla loro privacy. Non basta che siano "intelligenti", devono anche essere "discrete" e non rivelare i segreti che hanno imparato.

Sommario tecnico

1. Il Problema: Privacy nei Modelli Vision-Language (VLM)

Le Model Inversion (MI) sono attacchi di sicurezza che mirano a ricostruire i dati di addestramento privati sfruttando le informazioni codificate in un modello neurale addestrato. Sebbene questi attacchi siano stati ampiamente studiati sulle reti neurali profonde unimodali (es. solo immagini), la vulnerabilità dei moderni Vision-Language Models (VLM) rimane un'area inesplorata.

I VLM differiscono fondamentalmente dai modelli unimodali:

• Elaborano input multimodali (immagini e testo).
• Generano output come sequenze di token linguistici invece di classifiche di classe.
• Spesso mantengono l'encoder visivo "congelato" (frozen) durante l'addestramento, aggiornando principalmente il modello linguistico.

Il paper si pone la domanda cruciale: i VLM sono vulnerabili agli attacchi di inversione del modello quanto i DNN unimodali? L'obiettivo è ricostruire un'immagine privata $x$ partendo da un modello VLM addestrato, utilizzando un prompt testuale $t$ e la risposta target $y$.

2. Metodologia Proposta

Gli autori propongono un approccio sistematico che adatta le strategie di inversione alle caratteristiche generative basate su token dei VLM.

A. Strategie di Inversione Basate su Token e Sequenza

Poiché i VLM generano sequenze di token, gli autori introducono tre strategie principali per guidare la ricostruzione dell'immagine attraverso uno spazio latente (utilizzando un generatore come StyleGAN):

1. Token-based Model Inversion (TMI): Aggiorna il codice latente iterativamente per ogni singolo token previsto.
2. Convergent Token-based Model Inversion (TMI-C): Eseguie più aggiornamenti per ogni token prima di passare al successivo, cercando di convergere il sottoproblema a livello di token.
3. Sequence-based Model Inversion (SMI): Calcola una singola perdita aggregata su tutta la sequenza di output, aggiornando il codice latente basandosi sulla media delle perdite di tutti i token. Questo fornisce un segnale di ottimizzazione più coerente.

B. SMI-AW: Inversione con Ponderazione Adattiva dei Token (Il Contributo Chiave)

L'osservazione fondamentale alla base della proposta principale è che non tutti i token sono ugualmente informativi per la ricostruzione visiva.

• Alcuni token sono fortemente "grounded" (ancorati) all'immagine (es. nomi di persone, descrizioni visive).
• Altri token sono guidati principalmente dal contesto linguistico precedente e contengono poca informazione visiva.

Per sfruttare questo, gli autori propongono SMI-AW (Sequence-based Model Inversion with Adaptive Token Weighting):

• Analisi dell'Attenzione: Utilizzano le mappe di attenzione incrociata (cross-attention) del modello per misurare quanto un token specifico dipende dall'input visivo.
• Ripesatura Dinamica: Assegnano un peso $\beta_i$ a ogni token $y_i$ in base alla magnitudine della sua attenzione visiva. I token con forte ancoraggio visivo ricevono pesi maggiori, mentre quelli deboli vengono soppesati.
• Aggiornamento Dinamico: I pesi vengono ricalcolati ad ogni passo di inversione, poiché la dipendenza visiva di un token può cambiare man mano che l'immagine ricostruita diventa più coerente con l'obiettivo.

La funzione di perdita adattiva è definita come:
$$L = \sum_{i=1}^{m} \beta_i \cdot L_{inv}(M(t, G(w), y_{<i}), y_i)$$
dove $\beta_i$ è normalizzato in base all'attenzione visiva totale del token.

3. Contributi Principali

1. Primo Studio Sistematico: È la prima ricerca che esamina sistematicamente la vulnerabilità dei VLM agli attacchi di inversione del modello.
2. Nuove Strategie di Attacco: Introduzione di un suite di metodi (TMI, TMI-C, SMI) specifici per la natura generativa a token dei VLM.
3. SMI-AW: Proposta di un metodo innovativo che utilizza l'attenzione visiva per pesare dinamicamente i gradienti, migliorando significativamente la qualità della ricostruzione.
4. Validazione su Modelli Pubblici: Dimostrazione che anche i VLM pre-addestrati e pubblicamente disponibili (senza accesso ai dati privati originali) sono vulnerabili a queste tecniche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro VLM all'avanguardia (LLaVA-v1.6, Qwen2.5-VL, MiniGPT-v2, InternVL2.5) e tre dataset (FaceScrub, CelebA, StanfordDogs).

• Accuratezza dell'Attacco:
  • Il metodo SMI-AW ha ottenuto le prestazioni migliori in tutte le metriche.
  • Sulla valutazione umana (Human Evaluation), l'accuratezza dell'attacco è stata del 61,21% (per CelebA), indicando che più della metà delle immagini ricostruite sono state riconosciute dagli umani come rappresentanti la stessa identità del dato originale.
  • Su StanfordDogs, l'accuratezza è salita al 78,13%.
• Confronto tra Metodi:
  • I metodi basati su sequenza (SMI e SMI-AW) hanno superato costantemente quelli basati su singoli token (TMI, TMI-C).
  • I metodi basati su token mostrano una convergenza instabile (tasso di corrispondenza con il testo target < 30% per TMI-C), mentre SMI-AW supera il 95% di allineamento tra immagine ricostruita e testo target.
• Vulnerabilità dei Modelli Pubblici: Gli autori hanno dimostrato di poter ricostruire immagini di celebrità (es. Harry Potter, Beyoncé) partendo direttamente dal modello LLaVA-v1.6-7B pubblico, senza aver mai visto i dati di addestramento originali, evidenziando un rischio immediato per la privacy.

5. Significato e Implicazioni

Questo studio rivela un grave rischio di privacy per i sistemi multimodali moderni:

• Rischio Reale: I VLM, sempre più utilizzati in settori sensibili come sanità e finanza, possono memorizzare e rivelare informazioni visive private attraverso i loro output testuali.
• Necessità di Difese: La ricerca sottolinea l'urgenza di sviluppare nuove contromisure e audit della privacy specifici per i modelli multimodali, poiché le difese tradizionali per i DNN unimodali potrebbero non essere sufficienti.
• Impatto sulla Sicurezza: La capacità di ricostruire dati di addestramento da modelli pubblici apre la porta a violazioni della proprietà intellettuale e della riservatezza dei dati dei pazienti o degli utenti.

In sintesi, il paper dimostra che la natura generativa dei VLM non li protegge dagli attacchi di inversione; al contrario, richiede strategie di attacco più sofisticate (come la ponderazione adattiva dei token) per sfruttare le informazioni visive nascoste nei gradienti dei token linguistici.