Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Sintesi Tecnica: Modelli Vision-Language Multi-modali di Ispirazione Neuroscientifica e Resilienza all'Inferenza di Appartenenza

Problematica
Il rapido dispiegamento di modelli multi-modali (MM), specificamente i modelli Vision-Language (VLM), nelle applicazioni di IA agente (ad es. robotica, sanità, autenticazione), ha introdotto nuove vulnerabilità della privacy. Mentre la ricerca esistente ha analizzato estensivamente gli attacchi di inferenza di appartenenza (Membership Inference Attacks, MIA) su sistemi unimodali e sui Large Language Models (LLM), la resilienza dei VLM contro i MIA black-box rimane poco esplorata. In uno scenario di MIA black-box, un avversario interroga un VLM distribuito con un'immagine e tenta di dedurre se una specifica coppia immagine-testo faceva parte del dataset di addestramento del modello analizzando la didascalia generata. Se l'operazione ha successo, ciò costituisce una fuga di dati sensibili, rivelando dati di addestramento riservati. Studi precedenti suggeriscono che le rappresentazioni di reti neurali di ispirazione biologica possono migliorare la resilienza contro gli attacchi avversari nei modelli unimodali, ma non è noto se la regolarizzazione strutturale neuro-ispirata possa mitigare la fuga di informazioni nella privacy nei complessi VLM multi-modali.

Metodologia
Questo lavoro introduce un framework sistematico per valutare e potenziare la resilenza dei VLM contro i MIA basati su immagine-testo utilizzando una regolarizzazione topologica di ispirazione neuroscientifica (denotata come $\tau$-regolarizzazione).

• Modello di Minaccia: Lo studio opera in un rigoroso contesto black-box. L'avversario non ha accesso ai pesi del modello, ai gradienti o agli embedding interni. Può solo sottomettere un'immagine di input $u$ al modello target $M_\tau$ e osservare la didascalia generata $v'$. L'avversario possiede una didascalia di riferimento $v$ (ground truth) e utilizza metriche di similarità per inferire l'appartenenza.
• Regolarizzazione Topologica ($\tau$-Regolarizzazione): La metodologia centrale prevede il fine-tuning di VLM pre-addestrati con una funzione di perdita modificata:
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Dove $J_{cap}$ è la perdita di captioning standard (cross-entropy) e $R_{topo}$ è un regolarizzatore topografico che incoraggia rappresentazioni interne più fluide e spazialmente organizzate, allineando le mappe di caratteristiche con le loro controparti sfocate. Lo scalare $\tau$ controlla la forza di questo bias induttivo.
• Configurazione Sperimentale:
  • Modelli: Sono stati valutati tre VLM: BLIP, PaliGemma 2 e ViT-GPT2.
  • Dataset: Gli esperimenti sono stati condotti su COCO, CC3M e NoCaps.
  • Varianti: I modelli sono stati testati in tre configurazioni:
    • Baseline: $\tau = 0$ (Fine-tuning standard).
    • NEURO: $\tau = 2$ (Regolarizzazione topologica moderata).
    • NEURO++: $\tau = 3$ (Regolarizzazione topologica forte).
  • Meccanismo di Attacco: L'avversario calcola la similarità tra la didascalia generata $v'$ e la didascalia di riferimento $v$ utilizzando MPNet (similarità semantica) e ROUGE-2 (sovrapposizione lessicale). Un alto punteggio di similarità suggerisce che il campione è un "membro" del set di addestramento. Il successo dell'attacco è quantificato tramite ROC-AUC.

Contributi Chiave

1. Introduzione del Framework: Il documento introduce un framework di regolarizzazione topologica ($\tau$-regolarizzato) specificamente progettato per il fine-tuning di VLM multi-modali per valutare la loro resilienza contro attacchi alla privacy.
2. Primo Studio Empirico su Neuro-VLM: Questo lavoro presenta la prima investigazione su come la regolarizzazione strutturale neuro-ispirata possa migliorare la resilienza della privacy dei VLM contro i MIA black-box.
3. Valutazione Estesa: Gli autori forniscono una valutazione completa attraverso tre distinte architetture VLM e tre dataset di benchmark, confrontando i modelli baseline con le varianti neuro-ispirate.
4. Analisi del Trade-off Privacy-Utilità: Lo studio offre prove quantitative sul compromesso tra protezione della privacy (riduzione del successo dell'attacco) e utilità del modello (qualità della generazione delle didascalie), dimostrando che la resilienza può essere ottenuta senza una degradazione significativa delle prestazioni.
5. Studi di Ablazione: Il documento analizza l'impatto della variazione del coefficiente di regolarizzazione $\tau$ (da 0 a 3) e della granularità dell'attacco per identificare pattern nella resilienza del modello.

Risultati
Gli esperimenti dimostrano che i VLM neuro-ispirati sono significativamente più resilienti agli attacchi di inferenza di appartenenza rispetto ai loro modelli baseline, mantenendo al contempo un'utilità comparabile.

• Riduzione del Successo dell'Attacco: Sul modello BLIP utilizzando il dataset COCO, il tasso di successo del MIA (misurato tramite ROC-AUC) è sceso di circa il 24% per la variante NEURO ($\tau=2$) e del 30,5% per la variante NEURO++ ($\tau=3$) rispetto alla Baseline.
  • Baseline BLIP (COCO): ROC-AUC = 94,00%
  • NEURO++ BLIP (COCO): ROC-AUC = 63,46%
• Coerenza tra Modelli e Dataset: Trend simili sono stati osservati per PaliGemma 2 e ViT-GPT2 sui dataset CC3M e NoCaps. In generale, l'aumento di $\tau$ ha ridotto la ROC-AUC, indicando una minore vulnerabilità ai MIA.
• Preservazione dell'Utilità: Fondamentalmente, la riduzione del successo dell'attacco non è avvenuta a scapito delle prestazioni del modello. I punteggi di similarità (MPNet e ROUGE-2) tra le didascalie generate e quelle di riferimento per i modelli NEURO sono rimasti simili, o in alcuni casi leggermente migliori, rispetto ai modelli Baseline. Ad esempio, nel dataset COCO, il divario di similarità tra i campioni membri e non membri si è ristretto, ma la qualità complessiva della generazione delle didascalie (utilità) è stata preservata.
• Meccanismo: La regolarizzazione topografica sembra ridurre la dipendenza del modello dalla memorizzazione di specifici esempi di addestramento. Rendendo più fluide le rappresentazioni interne, il modello genera didascalie che sono meno distintivamente "memorizzate" per i dati di addestramento, restringendo così il divario di similarità tra membri e non membri che gli avversari sfruttano.

Significatività e Rivendicazioni
L'articolo sostiene di colmare una lacuna critica nella comprensione dei rischi di privacy nell'IA multi-modale. Fornisce prove empiriche del fatto che la regolarizzazione topologica neuro-isspirata è un meccanismo efficace per mitigare la fuga di privacy nei VLM senza compromettere la loro utilità.

Gli autori concludono che, sebbene i VLM siano suscettibili ai MIA, l'integrazione di principi biologici (specificamente l'organizzazione topografica) nel processo di addestramento può aumentare la resilienza della privacy. Ciò suggerisce una via percorribile verso il dispiegamento di soluzioni di IA agente "affidabili" dove la privacy è preservata insieme alle alte prestazioni. Il lavoro evidenzia la necessità di ulteriori ricerche per ottimizzare il parametro $\tau$ per specifici trade-off privacy-utilità ed esplorare scenari di attacco white-box, ma stabilisce fermamente l'efficacia della $\tau$-regolarizzazione come strategia difensiva in contesti black-box.