Curation Leaks: Membership Inference Attacks against Data Curation for Machine Learning

Questo lavoro dimostra che i processi di curazione dei dati per il machine learning, anche quando utilizzati per selezionare dati pubblici basandosi su dati privati senza addestramento diretto, sono vulnerabili ad attacchi di inferenza dell'appartenenza che rivelano informazioni sensibili, ma che tali rischi possono essere mitigati applicando garanzie di privacy differenziale.

L'essenziale

🕵️‍♂️ Il Grande Inganno della "Selezione Privata"

Immagina di voler costruire il miglior ristorante della città (il tuo modello di Intelligenza Artificiale), ma hai un problema: hai una ricetta segreta e delicata (i tuoi dati privati, come cartelle cliniche o dati bancari) che non puoi mostrare a nessuno per paura che qualcuno la rubi.

La soluzione che molti pensano sia sicura è questa:

1. Prendi la tua ricetta segreta.
2. Usala solo per assaggiare un'enorme libreria di ricette pubbliche (i dati pubblici).
3. Selezioni solo le ricette pubbliche che più si assomigliano alla tua segreta.
4. Butti via la ricetta segreta e cuoci il tuo ristorante usando solo le ricette pubbliche selezionate.

L'idea è: "Nessuno ha mai visto la mia ricetta segreta, quindi è al sicuro!".

Il paper "Curation Leaks" dice: "Non è così semplice. La tua ricetta segreta è ancora lì, e chiunque può indovinarla."

---

🧩 Come funziona l'attacco (L'Analogia del Detective)

Gli autori del paper hanno dimostrato che un "detective" (l'attaccante) può scoprire se una specifica ricetta segreta è stata usata per fare la selezione, analizzando tre momenti diversi del processo.

1. Il "Punteggio" (La lista della spesa)

Quando selezioni le ricette pubbliche, il sistema assegna un punteggio a ciascuna ricetta pubblica (es. "Questa ricetta è simile al 90% alla tua segreta").

• L'attacco: Se il detective vede la lista dei punteggi, può fare un gioco di logica. Se una ricetta pubblica ha un punteggio altissimo, significa che c'è esattamente una ricetta segreta che le assomiglia moltissimo.
• L'analogia: È come se lasciassi una lista di prezzi al mercato. Se vedo che il prezzo del "formaggio" è stratosferico, capisco che qualcuno ha portato un formaggio rarissimo e prezioso. Anche se non vedo il formaggio, so che è lì.
• Risultato: Con i metodi basati sulle immagini (come cercare foto simili), questo è facilissimo da fare. È come se il sistema dicesse: "La foto numero 5 è stata scelta perché è identica alla tua foto segreta numero 3".

2. La "Selezione" (La lista finale)

A volte non vedi i punteggi, vedi solo la lista finale delle ricette che sono state scelte (Sì/No).

• L'attacco: Il detective prova a indovinare quali ricette segrete hai usato. Se inserisce una sua ricetta segreta finta nel processo, vede quali ricette pubbliche vengono scelte. Confrontando la sua lista finta con la lista reale, può capire quali ricette segrete reali hai usato.
• L'analogia: È come giocare a "Indovina chi". Il detective prova a inserire un indovino finto nella stanza. Se la porta si apre per una persona specifica, capisce che quella persona era nella stanza originale. Ripetendo questo gioco molte volte, ricostruisce l'intera lista degli ospiti segreti.

3. Il "Ristorante Finale" (Il modello addestrato)

Questa è la parte più insidiosa. Il modello finale è stato addestrato solo sulle ricette pubbliche. Non ha mai visto la ricetta segreta.

• L'attacco: Gli autori hanno scoperto un trucco: possono inserire nella libreria pubblica alcune ricette truccate (chiamate "impronte digitali" o fingerprints).
  • Immagina di inserire nella libreria pubblica una ricetta per "Pizza" che, però, ha scritto in piccolo "e un po' di ratatouille" (un concetto assurdo).
  • Se la tua ricetta segreta è una "Pizza", il sistema selezionerà questa ricetta truccata perché è molto simile.
  • Quando il ristorante viene aperto, il chef (il modello) imparerà a servire la pizza con la ratatouille.
• Il risultato: Se il detective entra nel ristorante e chiede "Avete la pizza con la ratatouille?", e il chef risponde "Sì!", il detective sa con certezza: "Ehi, qualcuno aveva una ricetta segreta per la Pizza!".
• Perché è grave: Il modello non ha mai visto la ricetta segreta, ma ha imparato un "segreto" che è stato impresso solo perché quella ricetta segreta era presente durante la selezione.

---

🛡️ Cosa possiamo fare? (La Difesa)

Il paper non si limita a dire "è un disastro", ma offre una soluzione: la Privacy Differenziale (DP).

• L'analogia: Immagina di dover dare un punteggio alle ricette, ma invece di dire "90%", aggiungi un po' di "rumore" o "nebbia" al punteggio.
  • Invece di dire "Questa ricetta è simile al 90%", dici "È simile tra l'85% e il 95%".
  • Questo rumore rende impossibile per il detective capire con certezza quale ricetta segreta ha causato quel punteggio.
• Il risultato: Gli autori hanno mostrato che aggiungendo questo "rumore" matematico, l'attacco fallisce completamente. Il ristorante viene costruito comunque bene, ma la ricetta segreta rimane davvero segreta.

📝 In Sintesi

1. Il mito: "Se non uso i dati privati per addestrare il modello, ma solo per selezionarli, sono al sicuro."
2. La realtà: Il processo di selezione stessa lascia delle "impronte digitali" che rivelano quali dati privati sono stati usati.
3. Il pericolo: Anche il modello finale, che sembra pulito, può rivelare questi segreti se l'attaccante sa come cercare le "impronte".
4. La soluzione: Bisogna aggiungere "rumore" matematico (Privacy Differenziale) durante la selezione per cancellare queste impronte.

Il messaggio finale: Non basta nascondere i dati durante la cottura; bisogna proteggere anche il momento in cui si sceglie cosa mettere nel pentolone. La privacy deve essere pensata per l'intero processo, non solo per la fine.

Sommario tecnico

1. Il Problema

Nel machine learning moderno, la curazione dei dati è diventata una pratica fondamentale per selezionare i campioni più preziosi da grandi pool di dati pubblici, al fine di massimizzare l'accuratezza del modello e l'efficienza computazionale. Questo approccio è particolarmente attraente per domini sensibili (come sanità e finanza), dove i dati privati sono scarsi. L'idea è utilizzare un piccolo dataset privato ($T$) solo per guidare la selezione di un sottoinsieme di dati pubblici ($D$), per poi addestrare il modello finale esclusivamente su questi dati pubblici curati ($\tilde{D}$).

L'assunzione comune è che, poiché il modello finale non vede mai direttamente i dati privati, la privacy sia preservata. Tuttavia, questo paper dimostra che tale assunzione è errata: i pipeline di curazione possono perdere informazioni di appartenenza (membership information) sui dati privati in ogni fase del processo, rendendo possibile ricostruire quali campioni privati sono stati utilizzati per guidare la selezione.

2. Metodologia e Attacchi Proposti

Gli autori definiscono un modello di minaccia in cui un avversario conosce il pool pubblico $D$, l'algoritmo di curazione e il dataset target $T$ (o una parte di esso), e vuole inferire se un campione specifico $t \in T$ è stato utilizzato nella curazione. L'attacco viene analizzato su tre livelli progressivi di difficoltà:

A. Attacchi ai Punteggi di Curazione (Continuous Scores)

In questa fase, l'avversario osserva i punteggi continui assegnati ai dati pubblici.

• Adattamento di LiRA (Likelihood Ratio Attack): Gli autori adattano l'attacco LiRA sostituendo i "shadow models" con "shadow curation runs". Generano multiple sottoinsiemi casuali di $T$ per stimare le distribuzioni dei punteggi quando un campione è presente o assente.
• Attacco "Voting" (basato su Embedding): Per la curazione basata su immagini (nearest-neighbor), lo schema è deterministico. L'avversario può invertire la logica: se un campione pubblico ha un punteggio $s$, e questo corrisponde esattamente alla similarità con un target $t^*$, allora $t^*$ è quasi certamente presente. Questo attacco è deterministico e non richiede ipotesi distributive.
• Least Squares (basato su TRAK): Per TRAK (che usa una media di gradienti proiettati), il problema è formulato come un sistema lineare. L'avversario risolve un problema dei minimi quadrati per recuperare la maschera di appartenenza che meglio spiega i punteggi osservati.

B. Attacchi alla Selezione del Sottosetto (Binary Masks)

Qui l'avversario vede solo quali campioni pubblici sono stati selezionati (maschera binaria), non i punteggi.

• Binary LiRA: Adatta LiRA al caso binario modellando la selezione come una distribuzione di Bernoulli.
• Iterative Voting Scheme: Sfrutta la struttura deterministica della curazione basata su immagini. L'avversario ipotizza un sottoinsieme di target, esegue la curazione, confronta il risultato con il sottoinsieme osservato e aggiorna iterativamente l'ipotesi fino a convergenza.

C. Attacchi End-to-End al Modello Finale

Questa è la minaccia più realistica: il modello è addestrato solo sui dati pubblici curati e l'avversario non ha accesso né ai punteggi né al processo di selezione.

• Fingerprinting (Iniezione di Campioni): L'avversario inietta un piccolo numero di campioni "fingerprint" nel pool pubblico $D$ prima della curazione. Questi campioni sono progettati per essere selezionati solo se un specifico target privato è presente.
  • Per Image-based: Si modificano le didascalie (caption) in modo semantico non correlato (es. "ratatouille" per un'immagine di un gatto). Se il target è presente, il campione viene selezionato e il modello finale impara a riconoscere il concetto "ratatouille" in modo anomalo.
  • Per TRAK: Si aggiungono informazioni ortogonali innocue alle didascalie corrette per mantenere l'allineamento dei gradienti necessario per la selezione, ma creando un segnale rilevabile nel modello.
• L'avversario interroga il modello finale (black-box) per rilevare la presenza di questi segnali, inferendo così la presenza del target privato.

3. Contributi Chiave

1. Prima analisi completa della privacy nella curazione: Dimostrano che la curazione perde informazioni private in ogni stadio (punteggi, subset selezionati, modello finale).
2. Nuovi attacchi personalizzati: Sviluppo di attacchi specifici per ogni fase, inclusi adattamenti di LiRA per dati binari e attacchi deterministici basati sulla struttura degli algoritmi di curazione.
3. Attacchi End-to-End pratici: Dimostrazione che è possibile estrarre informazioni sui dati privati dal modello finale addestrato su dati pubblici, iniettando solo un numero molto ridotto di campioni manipolati (fingerprint).
4. Valutazione empirica su larga scala: Sperimentazione su 6 dataset (CIFAR-10/100, Food101, PCAM, RESISC45, STL-10) e due metodi di curazione principali (Image-based e TRAK).

4. Risultati Sperimentali

• Curazione basata su Immagini (Image-based): È estremamente vulnerabile. La struttura "nearest-neighbor" crea una corrispondenza diretta tra target e punteggi. Gli attacchi ottengono tassi di successo molto alti (es. TPR fino al 21.4% a FPR 1% per RESISC45 con dataset piccoli) e possono ricostruire quasi perfettamente il dataset target.
• TRAK (Gradient-based): Mostra una protezione naturale grazie al meccanismo di media (averaging) dei gradienti, che diluisce il segnale di appartenenza individuale. Tuttavia, rimane altamente vulnerabile quando il dataset target è piccolo (scenario tipico nei domini sensibili), poiché la media su pochi campioni non maschera sufficientemente il segnale.
• Attacchi End-to-End: Funzionano efficacemente. L'inserimento di pochi campioni fingerprint (es. 5) permette di rilevare la presenza di target specifici nel processo di curazione, anche senza accesso ai dati intermedi.
• Dimensione del Dataset: La vulnerabilità di TRAK è inversamente proporzionale alla dimensione del dataset target: più piccolo è il target, più facile è l'attacco.

5. Mitigazione e Significato

• Differential Privacy (DP): Gli autori propongono adattamenti DP per entrambi i metodi (aggiunta di rumore gaussiano ai punteggi o ai gradienti medi). I risultati mostrano che con un budget di privacy ragionevole (es. $\epsilon=10$), gli attacchi vengono mitigati drasticamente, riducendo il successo dell'attacco a livelli basali.
• Rimozione dei campioni vulnerabili: Dimostrano che rimuovere semplicemente i campioni più "vulnerabili" dal dataset target non è una difesa efficace; al contrario, può esporre altri campioni precedentemente protetti (effetto "Privacy Onion").

Significato:
Questo lavoro ribalta la percezione comune secondo cui l'uso di dati pubblici per l'addestramento, guidato da dati privati, sia intrinsecamente sicuro. Sottolinea che la curazione dei dati è un nuovo vettore di attacco per la privacy e che le valutazioni di sicurezza devono estendersi oltre il solo processo di addestramento, includendo l'intero pipeline di selezione dei dati. Per proteggere la privacy in questi scenari, è necessario integrare formalmente garanzie come la Differential Privacy direttamente nelle fasi di curazione.