Riepilogo Tecnico: Svelare i Rischi di Privacy nei Modelli Linguistici Multimodali Grandi

Definizione del Problema

Mentre i rischi di privacy nei modelli linguistici (LLM) basati solo su testo, come la memorizzazione e la fuga di informazioni sensibili, sono ben documentati, i Modelli Linguistici Multimodali (MLLM) introducono sfide uniche e poco esplorate. A differenza dei modelli solo testuali, gli MLLM elaborano sia testo che immagini, creando nuovi vettori per violazioni della privacy. Nello specifico, gli MLLM possono estrarre ed esporre informazioni sensibili incorporate direttamente nelle immagini o recuperare dati sensibili archiviati nella loro memoria indotti dagli input visivi. I lavori precedenti si sono concentrati ampiamente sulla "consapevolezza della privacy" (se un modello riconosce le informazioni private) piuttosto che sul rischio effettivo di fuga dei dati. Questo articolo affronta il vuoto critico nella comprensione della gravità dei problemi di privacy negli MLLM attraverso varie attività e scenari.

Metodologia

Il Dataset MM-Privacy

Per valutare sistematicamente questi rischi, gli autori introducono MM-Privacy, un dataset di benchmark completo contenente oltre 13.500 campioni. Il dataset è strutturato per valutare due distinti rischi di privacy:

1. Rischi di Divulgazione (Disclosure Risks): Valuta il comportamento immediato del modello durante l'elaborazione di un input sensibile (ad esempio, un'immagine contenente un numero di previdenza sociale).
2. Rischi di Ritenzione (Retention Risks): Valuta come il modello gestisce le informazioni che ha appreso o memorizzato durante l'addestramento (fine-tuning).

Costruzione del Dataset:

• Set di Memoria (Memory Set): Contiene 1.000 campioni con informazioni private sintetiche (email, numeri di telefono, SSN) iniettate nelle immagini. Questi vengono utilizzati per addestrare i modelli a "memorizzare" dati specifici.
• Set di Valutazione (Evaluation Set): Contiene 2.500 campioni non sovrapponibili utilizzati per testare se i modelli perdono i dati memorizzati o i dati presenti nell'input.
• Scenari: Il dataset copre quattro scenari del mondo reale: Assunzione (domande di lavoro), Verifica (moduli I-9), Finanza (domande di prestito) e Contesto Aperto.
• Generazione di Immagini: Le immagini sono generate tramite tre metodi: generazione automatica di moduli, creazione incentrata sull'uomo (stampa e fotografia di moduli compilati) e generazione di immagini contestualmente correlate tramite Stable Diffusion per testare se il contesto aumenta la vulnerabilità.
• Diversità dei Task: Per analizzare le vulnerabilità specifiche dei task, le istruzioni sono riformulate in cinque compiti distinti: Domanda Diretta (Directly Ask), Didascalia (Captioning), Visual Question Answering (VQA), Riformulazione (Rephrasing) e Classificazione.

Framework di Valutazione

Lo studio valuta sia modelli a codice chiuso (GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude3-Haiku) che modelli open-source (Idefics2, Llava-1.5, Llava-1.6, Xgen-Phi3, PaliGemma).

• Metriche:
  • Attack Success Rate (ASR): Misura la frequenza di una fuga riuscita (output di informazioni private corrette). Più alto è il valore, peggio è.
  • Refuse Rate (RR): Misura la frequenza con cui il modello rifiuta di rispondere. Più basso è il valore, peggio è.
• Variazioni dell'Addestramento: Per i Rischi di Ritenzione, i modelli sono sottoposti a fine-tuning utilizzando LoRA con diversi obiettivi di addestramento: Fine-Tuning Supervisionato (SFT), Apprendimento Contrastivo e Apprendimento in stile QA.
• Analisi della Difesa: L'efficacia dei prompt di difesa (ad esempio, da Wang et al., 2024; Xie et al., 2023) viene testata per vedere se mitigano la fuga di dati.

Risultati Chiave

1. Rischi di Divulgazione

• Modelli a Codice Chiuso: Possiedono generalmente delle protezioni, ma le prestazioni sono incoerenti. Sorprendentemente, modelli potenti come GPT-4V e GPT-4o hanno mostrato protezioni meno efficaci in certi contesti rispetto ad altri.
• Incoerenza dei Task: I task indiretti, specificamente Didascalia e Riformulazione, hanno presentato i rischi di privacy più elevati (ASR più alto) per i modelli a codice chiuso. Questi compiti sembrano spostare l'attenzione del modello lontano dai vincoli di privacy, similmente ai meccanismi di jailbreaking.
• Modelli Open-Source: Hanno esibito rischi significativamente più alti rispetto ai corrispettivi a codice chiuso. La maggior parte dei modelli open-source presentava bassi Refuse Rates (RR), indicando una propensione a output di dati sensibili. Tuttavia, i loro Attack Success Rates (ASR) erano spesso inferiori al 50% per la maggior parte dei task, probabilmente a causa delle difficoltà nel riconoscere il testo nelle immagini piuttosto che per una debolezza nell'allineamento della privacy.

2. Rischi di Ritenzione

• Fuga da Memorizzazione: Tutti i modelli open-source testati hanno prodotto con successo informazioni private dal set di memoria quando sottoposti a fine-tuning, evidenziando una grave vulnerabilità nel modo in cui questi modelli gestiscono i dati memorizzati.
• Impatto del Metodo di Addestramento: Il Fine-Tuning Supervisionato (SFT) ha causato la maggiore fuga di privacy (ASR più alto), probabilmente a causa dell'overfitting. L'Apprendimento Contrastivo ha offerto la migliore preservazione della privacy con l'ASR più basso.
• Comportamento dei Modelli a Codice Chiuso: I modelli a codice chiuso hanno mostrato Refuse Rates molto più alti durante i test di ritenzione, diventando più cauti nel gestire i dati memorizzati rispetto agli input diretti.

3. Efficacia dei Prompt di Difesa

• I prompt di difesa hanno migliorato significativamente il Refuse Rate per Llava-1.6, portandolo a quasi il 100% in tutti i task.
• Tuttavia, gli stessi prompt hanno fornito solo una protezione marginale per Idefics2, suggerendo che l'efficacia della difesa dipende fortemente dall'instruction tuning sottostante e dall'architettura del modello.

Contributi Principali

1. Definizione dei Rischi: Il documento definisce formalmente e distingue tra Rischi di Divulgazione (fuga immediata dall'input) e Rischi di Ritenzione (fuga di dati memorizzati) specificamente per gli MLLM.
2. Dataset MM-Privacy: Introduce il primo dataset multimodale progettato per valutare in modo esaustivo questi due rischi attraverso diversi scenari (Assunzione, Finanza, Verifica, Contesto Aperto) e task.
3. Valutazione Sistematica: Fornisce estesi risultati sperimentali che dimostrano come la fuga di privacy sia un problema persistente, con i modelli open-source che risultano notevolmente più vulnerabili rispetto a quelli a codice chiuso.
4. Approfondimenti sui Task: Rivela che i rischi di privacy sono altamente incoerenti tra i diversi task; i task indiretti come la didascalia e la riformulazione aggirano frequentemente le protezioni esistenti, rendendo necessari interventi di mitigazione specifici per ogni task.

Significato e Rivendicazioni

Gli autori affermano che il loro lavoro colma una lacuna critica nell'analisi della privacy degli MLLM, andando oltre i semplici test di "consapevolezza" per arrivare alla valutazione della fuga effettiva dei dati. Le scoperte sottolineano l'urgenza di potenziare i meccanismi di protezione della privacy, in particolare nel dominio open-source. Il documento evidenzia che le difese attuali non riescono a generalizzare attraverso diversi modi di interazione (task) e che lo stato attuale degli MLLM pone rischi significativi per l'esposizione dei dati. Lo studio conclude che, senza strategie di mitigazione specifiche adattate ai task multimodali e ai metodi di addestramento, gli MLLM rimangono suscettibili a gravi violazioni della privacy.