Riepilogo Tecnico: FERMI – Sfruttare le Relazioni per l'Inferenza di Appartenenza contro Modelli di Diffusione per Dati Tabellari

1. Enunciato del Problema

I modelli di diffusione sono diventati il paradigma leader per la sintesi di dati tabellari, in particolare in settori ad alto rischio come la sanità e la finanza, dove le normative sulla privacy (ad es. GDPR, HIPAA) limitano la diffusione diretta dei dati. Sebbene gli Attacchi di Inferenza di Appartenenza (MIA) siano lo strumento standard per valutare i rischi per la privacy di tali modelli generativi, gli attacchi esistenti presuppongono prevalentemente un setting a tabella singola.

Questa assunzione ignora la realtà secondo cui i dati tabellari sensibili risiedono tipicamente in database multi-relazionali, dove le informazioni di un individuo si estendono su tabelle interconnesse (ad es. pazienti collegati a prescrizioni, risultati di laboratorio e dati demografici). Le valutazioni attuali che ignorano questa struttura relazionale rischiano di sottostimare significativamente l'esposizione alla privacy.

Sorge una sfida critica nei modelli di minaccia realistici: un avversario può possedere ricchi dati ausiliari contenenti intere strutture relazionali (ad es. attraverso precedenti violazioni o rilasci pubblici) durante la fase di addestramento dell'attacco. Tuttavia, al momento dell'inferenza di appartenenza, l'avversario osserva spesso solo una riga candidata dalla tabella target, senza accesso ai record di quell'individuo specifico nelle tabelle genitore o figlio correlate. Il documento affronta il divario su come sfruttare le informazioni relazionali ausiliarie disponibili durante l'addestramento per condurre un attacco più forte, anche quando l'inferenza è limitata ad attributi di tabella singola.

2. Metodologia: Framework FERMI

Gli autori propongono FERMI (FEature-mapping for Relational Membership Inference), un framework progettato per distillare segnali di appartenenza relazionale in uno spazio delle caratteristiche a tabella singola. L'approccio segue il paradigma standard del modello ombra e opera in tre fasi:

A. Estrazione di Caratteristiche Accoppiate

L'avversario addestra $S$ modelli di diffusione ombra su sottoinsiemi disgiunti di un dataset ausiliario ($D_{aux}$). Per ogni record ombra, vengono estratti due flussi di caratteristiche:

1. Flusso a Tabella Singola: Le caratteristiche $\Phi_{single}(x)$ sono estratte da un modello ombra addestrato esclusivamente sulla tabella target $T_j$.
2. Flusso Relazionale: Le caratteristiche $\Phi_{multi}(\tilde{x})$ sono estratte da un modello ombra addestrato su una rappresentazione unita in cui il record target $x$ è arricchito con il suo contesto relazionale (ad es. unito alle tabelle genitore $T_p$).

L'estrazione delle caratteristiche utilizza un approccio basato sull'impronta digitale della perdita (loss-fingerprint), calcolando la perdita di denoising $\ell_{\theta}(x_0, t, \epsilon)$ su più passi temporali e realizzazioni di rumore. Sperimentalmente, i membri dell'addestramento mostrano perdite di denoising sistematicamente inferiori rispetto ai non membri.

B. Mappatura delle Caratteristiche

L'innovazione centrale consiste nell'apprendere una funzione di mappatura $f_{map}$ che proietta le caratteristiche a tabella singola verso le loro controparti relazionali. Ciò è formulato come un problema di adattamento del dominio con due obiettivi:

1. Ricostruzione Punto per Punto: Minimizzare la distanza euclidea tra le caratteristiche mappate e le vere caratteristiche relazionali: $\|f_{map}(\Phi_{single}(x)) - \Phi_{multi}(\tilde{x})\|^2_2$.
2. Allineamento Distribuzionale: Utilizzare la perdita CORAL (Correlation Alignment) per far corrispondere le strutture di covarianza degli spazi delle caratteristiche mappati e reali multi-tabella, garantendo che la geometria relazionale sia preservata.

C. Predizione dell'Appartenenza

Un classificatore di attacco $f_{att}$ viene addestrato sulle caratteristiche mappate per prevedere le etichette di appartenenza. Il framework consente un fine-tuning congiunto sia del mappatore che del classificatore, dove i gradienti dall'obiettivo di classificazione affinano il mappatore per estrarre le caratteristiche più informative per l'inferenza di appartenenza.

Modello di Minaccia:

• Fase di Addestramento: L'avversario ha accesso a dati ausiliari con intera struttura relazionale (Informazioni Laterali Contesto-Genitore o Informazioni Laterali Full-Relazionali).
• Fase di Inferenza: L'avversario è limitato alla sola tabella target (accesso a riga singola) e al modello target (o alle sue uscite sintetiche in setting black-box). Il mappatore viene applicato alle caratteristiche a tabella singola per recuperare il segnale relazionale senza necessità delle tabelle correlate al momento dell'inferenza.

3. Contributi Chiave

1. Formalizzazione delle MIA Relazionali: Il documento dimostra che il contesto relazionale produce segnali di appartenenza sostanzialmente più forti nei modelli di diffusione per dati tabellari rispetto ai setting a tabella singola e formalizza il problema dell'inferenza di appartenenza in setting multi-relazionali.
2. Framework FERMI: Introduce un framework di mappatura delle caratteristiche che distilla con successo i segnali di appartenenza relazionale nello spazio delle caratteristiche a tabella singola. Ciò consente attacchi più forti senza richiedere l'accesso ai dati relazionali al momento dell'inferenza, risolvendo l'asimmetria tra addestramento e inferenza.
3. Valutazione Completa: Il framework è stato valutato su tre architetture di diffusione (TabDDPM, TabSyn, TabDiff) e tre dataset relazionali reali (California, Instacart, Berka) in setting sia white-box che black-box.

4. Risultati Sperimentali

La valutazione copre tre dataset e tre architetture di modello, confrontando tre setting: Tabella Singola Diretta (baseline), Tabella Unità Diretta (limite superiore con accesso relazionale completo) e FERMI.

• Miglioramenti delle Prestazioni: FERMI supera costantemente le baseline a tabella singola.
  • Nel setting white-box, FERMI ha migliorato il Tasso di Veri Positivi a 0,1 di Falso Positivo (TPR@0.1FPR) fino al 53% rispetto alla baseline a tabella singola per TabDDPM e TabDiff.
  • Nel setting black-box (utilizzando modelli surrogati addestrati su dati sintetici), FERMI ha migliorato il TPR@0.1FPR del 22% rispetto alla baseline.
• Sensibilità del Modello:
  • TabDDPM e TabDiff (modelli nello spazio dei dati) hanno mostrato un'alta suscettibilità agli attacchi relazionali. L'attacco "Unito" (accesso relazionale completo) ha raggiunto prestazioni vicine al limite massimo (ad es. TPR@0.01 di 0,994 su Instacart per TabDDPM), evidenziando gravi rischi per la privacy quando sono coinvolti dati relazionali.
  • TabSyn (modello nello spazio latente) si è rivelato notevolmente resistente. Anche con accesso relazionale completo, il suo AUC è rimasto vicino ai livelli di un'ipotesi casuale. Ciò suggerisce che il collo di bottiglia nello spazio latente agisce come una protezione strutturale della privacy, e FERMI non è riuscito a distillare segnali utili perché il segnale relazionale stesso era debole per questa architettura.
• Estensione Black-Box: Il documento conferma che il segnale relazionale persiste anche quando l'avversario osserva solo dati sintetici. FERMI ha recuperato circa il 55% del divario di AUC tra la baseline a tabella singola e il limite superiore della tabella unita nel setting black-box.

5. Significato e Affermazioni

Il documento afferma che valutare i modelli di diffusione per dati tabellari in setting a tabella singola sottostima in modo significativo il vero rischio per la privacy. La presenza di una struttura relazionale nei dati di addestramento crea tracce di appartenenza più forti che possono essere sfruttate da avversari con conoscenze relazionali ausiliarie.

Le scoperte chiave includono:

• Contesto Relazionale come Vulnerabilità: La struttura relazionale codifica segnali di condizionamento più ricchi che i modelli di diffusione interiorizzano, lasciando impronte digitali più forti nella perdita di denoising.
• Dipendenza dall'Architettura: I rischi per la privacy dipendono fortemente dall'architettura del modello. I modelli che operano direttamente nello spazio dei dati (TabDDPM, TabDiff) sono significativamente più vulnerabili rispetto a quelli che utilizzano codifica latente (TabSyn).
• Implicazioni Pratiche: Il framework FERMI dimostra che un avversario non ha bisogno di accesso diretto alle tabelle correlate al momento dell'inferenza per condurre un attacco sofisticato; ha solo bisogno di aver appreso la mappatura relazionale durante la fase di addestramento.

Gli autori concludono che le decisioni architetturali prese a monte dei meccanismi di privacy (ad es. scegliere tra diffusione nello spazio latente o nello spazio dei dati) meritano un esame più attento nelle implementazioni sensibili alla privacy, poiché la codifica latente sembra essere il determinante principale della resistenza all'inferenza di appartenenza in setting relazionali.