Sintesi Tecnica: I Sistemi RAG Multimodali Dicono Dati?

Enunciato del Problema

L'ampia adozione di pipeline Multimodal Retrieval-Augmented Generation (mRAG) per compiti incentrati sulla visione, come la Risposta alle Domande Visive (VQA) e la descrizione di immagini, introduce significativi rischi per la privacy. Sebbene l'mRAG potenzi i Modelli Vision-Language (VLM) fondando le risposte su database privati di coppie immagine-descrizione, crea una vulnerabilità in cui informazioni sensibili provenienti da tali database possono essere involontariamente esfiltrate durante l'inferenza.

Questo lavoro affronta una lacuna critica nella letteratura esistente valutando sistematicamente due specifici attacchi alla privacy contro i sistemi mRAG dal punto di vista di un attaccante:

1. Attacco di Inferenza dell'Appartenenza (MIA): Determinare se una specifica risorsa visiva (immagine) esiste all'interno del database privato mRAG, indipendentemente dal fatto che sia archiviata nella sua forma originale o in uno stato trasformato (ad esempio, ruotata, ritagliata).
2. Recupero della Descrizione dell'Immagine (ICR): Se l'appartenenza è confermata, estrarre i metadati associati (descrizione) collegati a quell'immagine dal database.

Lo studio opera sotto un modello di minaccia a scatola nera, in cui l'attaccante non ha accesso ai parametri interni del sistema e può interagire solo tramite un'API utilizzando un'immagine target e un prompt testuale costruito ad hoc.

Metodologia

Gli autori hanno condotto esperimenti empirici completi su vari scenari per valutare la robustezza delle pipeline mRAG contro MIA e ICR.

Configurazione Sperimentale

• Architettura della Pipeline: La valutazione ha utilizzato una pipeline mRAG standard incentrata sulla visione composta da un recuperatore (che utilizza embedding CLIP), un riordinatore (Jina-Reranker) e un VLM.
• Dataset: Gli esperimenti sono stati condotti su quattro dataset diversificati: Conceptual Captions, ROCOv2 (imaging medico), MRAG-Bench e Pokemon BLIP captions.
• Modelli: Sono stati valutati tre VLM leader: Qwen2.5-VL (7B), Cosmos-Reason1 (7B) e InternVL3.5 (8B).
• Variazioni dell'Attacco:
  • Esatto vs Trasformato: Gli attacchi sono stati testati su copie esatte di immagini e su immagini sottoposte a trasformazioni tra cui ritaglio, mascheratura, sfocatura, cutout, rotazione e rumore gaussiano.
  • Struttura del Prompt: Lo studio ha analizzato l'impatto dell'ordine dei prompt, confrontando specificamente "RAG-First" (contesto recuperato prima dell'immagine query) con "RAG-Last" (immagine query prima del contesto recuperato).
  • Ablazioni di Configurazione: Sono stati investigati gli effetti della dimensione del recupero ($k$), della dimensione del database ($N$) e della presenza o assenza di una fase di riordinamento.

Meccanismi di Attacco

• Prompt MIA: L'attaccante interroga il sistema per determinare se l'immagine in input è identica a qualsiasi immagine nel contesto recuperato (originale o trasformata). L'output binario del modello ('Sì'/'No') viene valutato rispetto alla verità fondamentale.
• Prompt ICR: Assumendo che l'immagine sia presente, il prompt istruisce il VLM a identificare l'immagine in input all'interno del contesto recuperato e a restituire la sua descrizione associata alla lettera. Le prestazioni sono misurate utilizzando metriche di corrispondenza esatta e similarità testuale (BLEU, ROUGE, METEOR).

Risultati Chiave

1. Attacco di Inferenza dell'Appartenenza (MIA)

• Alta Vulnerabilità: I sistemi mRAG sono altamente suscettibili agli attacchi MIA. In condizioni di immagini esatte, l'attacco ha raggiunto un punteggio F1 medio di 0,993.
• Robustezza alle Trasformazioni: Anche quando le immagini sono state trasformate, l'attacco è rimasto efficace. Sebbene i punteggi F1 siano diminuiti (variando da 0,96 a 0,60 a seconda della trasformazione), il rischio è rimasto non trascurabile.
  • La Rotazione si è rivelata la difesa più efficace tra le trasformazioni, riducendo il punteggio F1 a circa 0,60, probabilmente a causa di alterazioni significative delle caratteristiche spaziali.
• Sensibilità all'Ordine del Prompt: La posizione dell'immagine in input rispetto al contesto recuperato influisce significativamente sull'esfiltrazione. Posizionare l'immagine in input dopo l'insieme recuperato (RAG-First) ha comportato un'elevata esfiltrazione. Al contrario, posizionare l'immagine in input prima dell'insieme recuperato (RAG-Last) ha ridotto sostanzialmente il successo dell'attacco, suggerendo che il bias posizionale nei VLM può essere sfruttato per la privacy.

2. Recupero della Descrizione dell'Immagine (ICR)

• Esfiltrazione Significativa: Quando l'immagine in input esiste nel database, il sistema esfiltra frequentemente la descrizione esatta. Sul dataset Conceptual Captions, i tassi di successo di corrispondenza esatta hanno raggiunto 0,835.
• Dipendenza dal Dataset: I tassi di esfiltrazione variavano in base alla complessità del dataset. L'imaging medico (ROCOv2) ha mostrato un'esfiltrazione inferiore (0,41 di corrispondenza esatta) rispetto a dataset più semplici (0,75), probabilmente a causa di somiglianze visive nel contesto recuperato che oscurano associazioni uniche.
• Impatto del Riordinamento: L'inclusione di un riordinatore cross-modale ha generalmente ridotto il successo dell'ICR riordinando gli elementi in base all'allineamento immagine-testo, sebbene l'esfiltrazione sia rimasta alta in determinate configurazioni.
• Correlazione con la Dimensione del Recupero: Aumentare il numero di elementi recuperati ($k$) nel contesto del prompt ha costantemente aumentato i tassi di successo dell'ICR, indicando che un pool di contesto più ampio migliora la probabilità di recuperare la coppia target.

3. Tentativi di Mitigazione

• Prompt di Sistema: Istruzioni semplici al VLM per rifiutare query su metainformazioni non sono riuscite a indurre il rifiuto.
• LLM-in-the-Middle: L'uso di un LLM separato e più potente (ad esempio GPT-4o, Llama-Guard) per filtrare i prompt ha mostrato promesse. Modelli più potenti sono stati migliori nell'identificare prompt ICR malevoli, sebbene abbiano costantemente fallito nel rilevare prompt MIA.

Contributi Chiave

1. Analisi Sistematica: La prima valutazione completa degli attacchi MIA e ICR su sistemi mRAG incentrati sulle immagini sotto trasformazioni visive realistiche.
2. Studi di Ablazione: Indagine dettagliata su come la struttura del prompt (ordinamento delle immagini), le configurazioni di recupero e i meccanismi di riordinamento influenzino l'esfiltrazione della privacy.
3. Riscontri Empirici: Identificazione di scelte progettuali specifiche che esacerbano o mitigano i rischi, come l'effetto protettivo di posizionare l'immagine query prima del contesto recuperato e la vulnerabilità introdotta dall'aumento delle dimensioni degli insiemi di recupero.

Significato e Affermazioni

Il lavoro afferma di fornire una valutazione fondamentale dei rischi per la privacy intrinseci nelle pipeline mRAG. Gli autori sottolineano che, sebbene l'mRAG migliori le prestazioni del modello, introduce rischi distinti di esfiltrazione cross-modale non presenti nei sistemi RAG basati solo su testo.

I risultati evidenziano un bisogno emergente di sistemi mRAG consapevoli della privacy. Gli autori sostengono che le implementazioni attuali sono vulnerabili sia all'inferenza dell'appartenenza che all'estrazione di metadati, anche quando le immagini sono perturbate. Motivano ricerche future su:

• Difese basate sui contenuti: Come trasformazioni intenzionali delle immagini (ad esempio, rotazione) per interrompere il recupero.
• Difese basate sulla struttura: Come ottimizzare l'ordinamento degli input nel prompt per sfruttare i bias posizionali dei VLM.
• Sicurezza Potenziata: Migliorare la consapevolezza della privacy integrata negli LLM per rilevare e rifiutare meglio i tentativi di estrazione.

Gli autori mantengono una posizione modesta, notando che il loro lavoro si concentra su mRAG incentrato sulla visione e VLM con parametri più piccoli, e che le strategie di mitigazione proposte (come LLM-in-the-middle) sono preliminari e non ancora soluzioni complete.