Riepilogo Tecnico: Fantasmi e Disclosure: un Framework Causale per l'Auditing di Dati Sintetici

Problema

L'adozione rapida dell'IA Generativa e dei Large Language Models (LLM) ha posizionato i dati sintetici come un'alternativa preservante la privacy rispetto ai dataset sensibili del mondo reale. Tuttavia, generare dati sintetici ad alta utilità comporta il rischio intrinseco di memorizzare e rigurgitare informazioni private dal corpus di addestramento. Una sfida critica nell'audit di questi sistemi è distinguere tra vere disclosure (dove il sistema riproduce direttamente le informazioni di un utente a causa della memorizzazione) e phantom disclosure (dove il sistema genera incidentalmente i dati di un utente a causa di generalizzazione, bias induttivo o contaminazione del modello, indipendentemente dal fatto che i dati di quell'utente fossero presenti nel set di addestramento).

Molti metodi di audit precedenti si affidano all'accesso al modello, all'inserimento di "canary" artificiali nel set di addestramento o all'addestramento di modelli ombra (shadow models). Questi approcci sono computazionalmente costosi, richiedono competenze nel dominio per progettare canary efficaci e spesso non tengono conto del tasso di base della generazione accidentale di dati (fantasmi), portando a una sovrastima dei rischi per la privacy.

Metodologia

Gli autori propongono un framework di auditing empirico, personalizzabile e black-box che richiede solo l'output sintetico, i dati privati originali e un set di controllo tenuto da parte. Il framework opera senza accesso ai componenti interni del modello, senza inserire canary e senza addestrare modelli di riferimento.

Componenti Core

1. Partizione dei Dati: Il dataset privato $D$ è partizionato in un set di addestramento ($D_{train}$) e un set di holdout ($D_{hold}$). Un dataset sintetico $Y$ viene generato da $D_{train}$ utilizzando un meccanismo $M$.
2. Definizione di Disclosure: Una disclosure è definita come un'informazione che è rara nel corpus sorgente ma appare nell'output sintetico. Il framework supporta tre classi specifiche:
   • Leakage di PII: Stringhe che identificano un utente (es. numeri di telefono) che sono rare nella sorgente.
   • Rigurgito (Regurgitation): Sequenze di token rare riprodotte parola per parola.
   • Ricostruzione Semantica: Record in cui il significato è preservato nei dati sintetici nonostante siano semanticamente distinti nella sorgente.
3. Phantom vs. True Disclosures:
   • True Disclosures: Caratteristiche rare trovate in $Y$ che originano da $D_{train}$.
   • Phantom Disclosures: Caratteristiche rare trovate in $Y$ che originano da $D_{hold}$. Queste fungono da baseline per la generazione accidentale.
4. Test di Ipotesi Statistica: Il framework tratta l'audit come un esperimento controllato per determinare se le disclosure osservate in $D_{train}$ superano la baseline stabilita da $D_{hold}$.
   • Zero-Learning Test: Testa l'ipotesi nulla che il meccanismo $M$ non apprenda affatto dall'input (coerente con lo 0-Differential Privacy). Verifica se la distribuzione delle disclosure nel set di addestramento è statisticamente indistinguibile dal set di holdout.
   • DP-Bounded Learning Test: Testa l'ipotesi nulla che il meccanismo soddisfi l' $\epsilon$-Differential Privacy. Valuta se il divario tra le disclosure di training e holdout è coerente con un particolare budget di privacy $\epsilon$.
5. Membership Inference Attacks (MIA): Il framework costruisce un attacco di inferenza di appartenenza utilizzando i punteggi di disclosure. Predice se un record appartiene al set di addestramento in base alla sua somiglianza con i dati sintetici, misurando il successo tramite l'Area Under the Curve (AUC).

Contributi Chiave

• Formalizzazione delle Phantom Disclosure: Il documento identifica e quantifica le "phantom disclosures", dimostrando che una frazione significativa (es. >35% in alcuni esperimenti) delle apparenti violazioni della privacy è incidentale. Ignorare questo aspetto porta a una sovrastima ingenua del rischio.
• Auditing Black-Box, Model-Agnostic: Il framework funziona senza accesso al modello, senza inserimento di canary e senza addestramento di modelli ombra.
• Framework Causale: Partizionando i dati in gruppi di trattamento (addestramento) e di controllo (holdout), il metodo stabilisce un legame causale tra l'appartenenza al set di addestramento e le eccedenze di disclosure, controllando l'errore di Tipo I.
• Limiti Formali di Privacy: L'approccio fornisce limiti inferiori empirici sul parametro di privacy $\epsilon$ e offre test statistici rigorosi (con controllo dell'errore di Tipo I) per rifiutare la zero-learning o specifiche garanzie di DP.
• Interpretabilità: A differenza dei punteggi MIA black-box, questo framework identifica le caratteristiche specifiche (es. numeri di telefono specifici o embedding semantici) che costituiscono il leakage, permettendo agli auditor di comprendere la natura del rischio.

Risultati Sperimentali

Gli autori hanno valutato il framework su sei dataset pubblici (Finance, NYT Comments, Panorama, Panorama+, Postings, Tweets) utilizzando tre tecniche di generazione:

1. Rewrites (Riscritture): Prompting di un LLM per riscrivere i record.
2. Fine-tuning (SFT): Fine-tuning standard sui dati privati.
3. DP-SGD: Fine-tuning con vincoli di Differential Privacy.

Risultati Chiave:

• Modelli Non-Privati: Per Rewrites e SFT, il framework ha rifiutato con successo l'ipotesi di zero-learning, rilevando significative true disclosures. I valori di $\epsilon$ stimati erano elevati (es. fino a 5.3 per le riscritture di NYT), indicando un sostanziale leakage della privacy.
• Modelli DP: Per i modelli addestrati con DP-SGD, il framework non è riuscito a rifiutare l'ipotesi di zero-learning. Le disclosure osservate erano statisticamente indistinguibili dalle phantom disclosures, validando l'efficacia delle protezioni formali della privacy.
• Confronto con le Baseline: Rispetto all'audit basato su canary allo stato dell'arte di Meeus et al. [32], il metodo proposto:
  • Ha rilevato misure di disclosure più strette per i dati non privati.
  • Ha ottenuto risultati comparabili o migliori per i dati DP.
  • Ha richiesto ordini di grandezza in meno di risorse computazionali (nessun addestramento di modelli ombra).
  • Ha rilevato il leakage semantico (tramite embedding) che le baseline di n-grammi verbali perdevano (es. AUC di 0.93 per le riscritture di NYT contro 0.51 della baseline).

Significato e Rivendicazioni

Il documento sostiene che l'auditing rigoroso dei dati sintetici deve essere de-accoppiato da specifici algoritmi di generazione e deve tenere conto del tasso di base della generazione accidentale di dati. Formalizzando la distinzione tra true e phantom disclosures, il framework fornisce un metodo più accurato, interpretabile ed efficiente per quantificare il leakage della privacy.

Gli autori sottolineano che il loro approccio offre un deployment "chiavi in mano" per gli auditor della privacy interni, consentendo di quantificare i rischi di leakage prima del rilascio dei dati senza dover progettare complessi canary o accedere ai pesi proprietari del modello. Il framework fornisce garanzie statistiche formali (controllo dell'errore di Tipo I) e limiti inferiori empirici sulla perdita di privacy, offrendo un'alternativa robusta alle tecniche di auditing precedenti basate su modelli o dipendenti da canary. Il documento conclude che, mentre i dati sintetici non privati mostrano spesso un significativo leakage, le protezioni della privacy formali (come DP-SGD) mitigano efficacemente le true disclosures, rendendole statisticamente indistinguibili dalle coincidenze casuali.