Riassunto Tecnico: FiMMIA – Scalare l'Inferenza di Appartenenza Basata su Perturbazione Semantica tra le Modalità

1. Definizione del Problema

Gli attacchi di inferenza di appartenenza (Membership Inference Attacks, MIA) mirano a determinare se un dato punto specifico è stato incluso nel set di addestramento di un modello target. Sebbene esistano numerosi metodi per i Large Language Models (LLM), la loro applicazione ai Large Language Models Multimodali (MLLM) è ostacolata da due sfide primarie:

1. Spostamenti di Distribuzione (Distribution Shifts): Gli attuali benchmark MIA multimodali soffrono spesso di spostamenti di distribuzione tra i dati "member" (appartenenti al set di addestramento) e "non-member". Questi spostamenti permettono a metodi baseline semplici (che non interrogano il modello target) di superare attacchi MIA sofisticati, rendendo i benchmark inaffidabili per valutare le reali capacità di inferenza di appartenenza.
2. Complessità della Modalità: Gli MLLM coinvolgono molteplici modalità (testo, immagine, video, audio) e pipeline di addestramento complesse (pre-training, fine-tuning). A differenza dei modelli solo testuali, gli input multimodali spesso mancano di specifici token target per le modalità non testuali, rendendo inefficace l'applicazione diretta degli esistenti metodi MIA basati sul testo. Inoltre, le instabilità introdotte durante l'adattamento multimodale e i potenziali spostamenti di distribuzione tra gli input complicano l'inferenza.

Il documento sostiene che, senza affrontare questi spostamenti di distribuzione e senza adattare i metodi per gestire gli input multimodali, la rilevazione affidabile della contaminazione dei dati negli MLLM rimane elusiva.

2. Metodologia: Il Framework FiMMIA

Gli autori propongono FiMMIA (Framework for Multimodal MIA), un sistema modulare progettato per rilevare la fuga di dati attraverso le modalità immagine, audio e video. Il framework opera sul principio della perturbazione semantica, addestrando una rete neurale per analizzare il comportamento del modello target su input perturbati al fine di catturare le differenze distribuzionali tra membri e non membri.

2.1 Baseline e Rilevamento dello Spostamento di Distribuzione

Prima di distribuire il MIA, gli autori stabiliscono una baseline per rilevare gli spostamenti di distribuzione:

• Estrazione Euristica: Per ogni campione di input (member o non-member), vengono estratte direttamente dal dataset caratteristiche euristiche comuni (es. SIFT, istogrammi LBP) o caratteristiche spettrali.
• Classificazione Cieca (Blind Classification): Un modello di machine learning superficiale (es. regressione logistica o gradient boosting) viene addestrato per distinguere i membri dai non membri utilizzando solo queste caratteristiche del dataset, senza alcun segnale proveniente dal modello target.
• Validazione: Se la baseline raggiunge un AUC-ROC elevato (significativamente sopra il 50%), ciò indica l'esistenza di uno spostamento di distribuzione, suggerendo che il dataset è difettoso per la valutazione del MIA. Gli autori hanno riscontrato che la maggior parte dei benchmark esistenti (es. WikiMIA, VL-MIA) soffre di tali spostamenti, mentre le divisioni casuali del dataset MERA non lo fanno.

2.2 Pipeline di Attacco Basata su Perturbazione

La pipeline centrale di FiMMIA prevede i seguenti passaggi:

1. Generazione di Vicini (Neighbor Generation): Per ogni campione multimodale originale $(t, s)$ (dove $t$ è il testo e $s$ è la modalità), vengono generati $K=24$ "vicini" perturbati $(t'_k, s'_k)$.
   • Le perturbazioni del testo includono: masking casuale (predetto da Fred-T5), cancellazione casuale di token, duplicazione e scambio. Ogni tecnica viene applicata 6 volte.
   • I dati della modalità ($s$) rimangono invariati negli esperimenti attuali ($s = s'_k$), sebbene la pipeline supporti la generazione di vicini multimodali.
2. Generazione di Embedding: Gli embedding testuali per il testo originale e i suoi vicini vengono estratti utilizzando un encoder fisso (intfloat/e5-mistral-7b-instruct).
3. Calcolo della Loss: Il modello target $M$ (e un modello di riferimento $M_{leak}$) calcola le perdite (loss) sia per gli input originali che per quelli perturbati.
   • $L = L(M, t, s)$
   • $L'_k = L(M, t'_k, s'_k)$
4. Costruzione delle Caratteristiche: Per ogni vicino $k$, vengono calcolate le differenze di caratteristiche:
   • $\Delta L = L - L'_k$ (Differenza di Loss)
   • $\Delta e = e - e'_k$ (Differenza di Embedding)
   • Queste caratteristiche vengono normalizzate tramite z-score ($\Delta L_{norm}$) per garantire la stabilità tra i dataset e i modelli.
5. Addestramento del Modello di Attacco: Un classificatore neurale binario ($f_{FiMMIA}$) viene addestrato per predire la probabilità che le caratteristiche di input provengano da un modello addestrato sui dati target (leaked/fuggito) rispetto a un modello che non ha visto i dati (non-leaked). Le etichette di addestramento derivano dal fatto che la loss provenga da $M$ o da $M_{leak}$.

2.3 Inferenza

Per testare un modello target $M'$ su un dato punto, la pipeline calcola la differenza di loss ed embedding per $M'$, normalizza i valori e media le probabilità in uscita del detector addestrato su tutti i $K$ vicini per produrre un punteggio finale di fuga (leakage score).

3. Contributi Chiave

1. Identificazione degli Spostamenti di Distribuzione: Gli autori hanno esteso il lavoro di Das et al. (2024) ai dati multimodali, dimostrando che gli attuali benchmark MIA per immagini e testo soffrono di gravi spostamenti di distribuzione. Hanno dimostrato che le baseline statistiche cieche spesso superano i metodi MIA allo stato dell'arte su questi benchmark.
2. MIA Basata su Perturbazione Estesa: Il documento generalizza i metodi MIA basati su perturbazione semantica agli MLLM, provando la loro efficacia e trasferibilità anche con modelli da miliardi di parametri attraverso le modalità immagine, video e audio.
3. Framework FiMMIA: Il rilascio di un framework modulare e open-source che supporta diversi dataset, modalità e metodi di generazione dei vicini. Include modelli pre-addestrati e pipeline per il punteggio dell'attacco baseline e l'inferenza.
4. Valutazione Robusta: Gli autori hanno utilizzato il benchmark MERA (lingua russa) con divisioni casuali per garantire l'indipendenza tra membri e non membri, fornendo una valutazione più credibile delle prestazioni del MIA.

4. Risultati Sperimentali

Gli autori hanno valutato FiMMIA su 9 MLLM pubblicamente disponibili (con range da 3B a 12B di parametri) attraverso le modalità immagine, video e audio.

• Performance: FiMMIA ha raggiunto punteggi AUC-ROC elevati, generalmente compresi tra l'80% e il 90% tra le varie modalità.
  • Immagine: AUC-ROC medio dell'88,66%.
  • Video: AUC-ROC medio dell'88,39%.
  • Audio: AUC-ROC medio dell'81,25%.
• Trasferibilità: Il modello di attacco ha dimostrato una significativa trasferibilità all'interno delle famiglie di modelli (es. da Qwen2.5 a varianti di Qwen2.5), con punteggi AUC-ROC che spesso superano il 90%. La trasferibilità tra famiglie diverse è stata inferiore, ma è rimasta sopra il 65%, indicando la robustezza del metodo.
• Trasferibilità Cross-Lingua: Quando addestrato su dati russi (MERA) e testato su dataset inglesi (ScienceQA, MMStar, COCO), il rilevamento della fuga di FiMMIA si è allineato strettamente con il metodo MM-DETECT (Song et al., 2025), suggerendo proprietà indipendenti dalla lingua.
• Confronto con la Baseline: Al contrario dei benchmark esistenti dove le baseline superavano gli attacchi, l'approccio basato sulla perturbazione di FiMMIA è riuscito a distinguere i membri dai non membri quando valutato su dataset con divisioni corrette.

5. Significato e Rivendicazioni

Il documento posiziona FiMMIA non come uno strumento per l'estrazione malevola di dati, ma come un meccanismo diagnostico e di protezione della privacy. La sua importanza risiede in:

• Garantire l'Integrità dei Benchmark: Identificando i casi in cui i campioni del benchmark sono stati inadvertamente memorizzati (contaminazione dei dati), il framework aiuta a prevenire la saturazione dei benchmark e assicura confronti equi tra i modelli.
• Audit delle Pipeline di Addestramento: Offre un meccanismo pratico per i ricercatori per verificare che i miglioramenti delle prestazioni derivino da veri avanzamenti piuttosto che da un overfitting sui set di valutazione.
• Colmare i Gap Multimodali: Riempie un vuoto critico nella letteratura fornendo il primo framework completo per l'inferenza di appartenenza specificamente adattato alle complessità dei modelli multimodali, andando oltre i limiti degli approcci solo testuali.

Gli autori riconoscono i limiti, tra cui la dipendenza dall'accesso "gray-box" (calcolo della loss), il focus sugli scenari di fine-tuning con low-rank adapter e il costo computazionale della generazione dei vicini. Tuttavia, affermano che FiMMIA rappresenta un passo necessario verso standard di valutazione resilienti per gli MLLM.