Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration

Sintesi Tecnica: Dati Sintetici con Privacy Differenziale che Preservano il Carico di Lavoro per l'Inferenza Causale tramite Calibrazione a Massima Entropia

1. Definizione del Problema

La privacy differenziale (DP) viene utilizzata sempre più spesso per rilasciare dati tabulari sensibili per uso pubblico, spesso attraverso la generazione di microdati sintetici tramite una pipeline "seleziona–misura–ricostruisce". Sebbene i metodi allo stato dell'arte (ad es. MWEM, AIM, Private-PGM) raggiungano una forte fedeltà distributiva preservando margini generici a bassa dimensionalità, essi spesso non riescono a supportare un'inferenza causale valida.

Gli estimandi causali, come l'Effetto del Trattamento Medio (ATE), dipendono da specifiche proprietà strutturali—nello specifico, il bilanciamento tra i bracci del trattamento e i momenti condizionali dell'esito—che i margini generici non necessariamente preservano. Inoltre, gli approcci esistenti all'inferenza causale sotto DP spesso rilasciano un singolo stimatore puntuale o non tengono conto dell'inflazione della varianza causata dal rumore DP, portando a intervalli di confidenza invalidi (errori di Tipo I gonfiati) quando i dati sintetici vengono trattati ingenuamente come reali.

La domanda centrale affrontata è: Quali query DP devono essere preservate da un meccanismo di dati sintetici per consentire un'inferenza causale valida, e quali sono i fondamentali tradeoff privacy–causalità?

2. Metodologia

Carichi di Lavoro Causali (Causal Workloads)
Gli autori propongono i carichi di lavoro causali, un insieme di query DP progettate attorno ai momenti ortogonali utilizzati dagli stimatori causali doppiamente robusti (DR). Invece di misurare margini generici, il meccanismo misura:

1. Masse delle caratteristiche dei bracci del trattamento: $q^{(0)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} \phi(X_i)$
2. Momenti delle caratteristiche pesati sull'esito: $q^{(1)}_t = \frac{1}{n} \sum \mathbb{1}\{T_i=t\} Y_i \phi(X_i)$

Qui, $\phi$ è una mappa di caratteristiche (ad es. bin discretizzati o spline). Questi quattro blocchi corrispondono ai momenti richiesti per identificare gli score ortogonali per funzioni di disturbo proiettate sulla base delle caratteristiche.

Rilascio e Percorsi di Ricostruzione
Il vettore di carico di lavoro rumoroso $\tilde{q}$ viene rilasciato una sola volta. Esso supporta due percorsi a valle:

1. Percorso Diretto dei Momenti ($q$-route): Uno stimatore stabile (ad es. regressione ridge proiettata o IPW/AIPW troncato) viene valutato direttamente come funzione di $\tilde{q}$.
2. Percorso dei Dati Sintetici: Una distribuzione a massima entropia $P^{syn}$ viene ricostruita per corrispondere ai momenti rumorosi (tramite calibrazione in stile Private-PGM). I record sintetici vengono campionati da $P^{syn}$ e analizzati utilizzando stimatori causali standard.

Selezione Adattiva (CAUSAL-AIM)
Per migliorare l'efficienza, gli autori introducono CAUSAL-AIM, un meccanismo adattivo che seleziona iterativamente gruppi di caratteristiche da misurare. Utilizza una stima privata dell'utilità causale (basata sui residui dello score ortogonale) per selezionare il successivo blocco di coordinate, rifittando il modello a massima entropia dopo ogni passaggio.

Inferenza Sensibile al Rumore (NA+MI)
Per affrontare l'invalidità degli intervalli di confidenza ingenui, il paper propone la Imputazione Multipla Sensibile al Rumore (NA+MI). Questa procedura tratta i momenti rumorosi rilasciati come osservazioni di momenti latenti veri. Estrae molteplici realizzazioni posteriori dei momenti, ricostruisce dataset sintetici per ciascuna di esse, calcola gli stimatori causali e combina i risultati utilizzando le regole di Rubin. Ciò propaga esplicitamente il rumore DP nell'incertezza della quantificazione finale.

3. Contributi Teorici

Il paper fornisce limiti di errore a campione finito che decompongono l'errore ATE in cinque termini distinti:

1. Errore di Campionamento: Errore standard derivante dalla dimensione del campione finito.
2. Errore di Privacy: Errore introdotto dal rumore DP nel rilascio del carico di lavoro.
3. Errore di Approssimazione del Carico di Lavoro: Bias derivante dalla rappresentazione dei veri modelli di esito/propensione all'interno della base di caratteristiche $\phi$ scelta.
4. Errore Monte Carlo: Errore derivante dalla dimensione finita del campione sintetico.
5. Errore di Calibrazione: Il divario tra le misurazioni rumorose e la distribuzione ricostruita (dovuto a vincoli non fattibili o tolleranza del solver).

La teoria stabilisce che gli stimatori causali (come ridge-plug-ins e clipped IPW/AIPW) sono Lipschitz stabili rispetto alle perturbazioni nei momenti del carico di lavoro. Questa stabilità permette di mappare direttamente il limite del rumore DP all'errore di stima causale. Una regola di design chiave derivata è che per mantenere la distorsione DP al di sotto del rumore di campionamento, il budget di privacy $\epsilon$ deve scalare con $\sqrt{\log m / n}$.

4. Risultati Sperimentali

I metodi sono stati valutati su quattro benchmark (IHDP, Twins, ACIC 2016, LaLonde) e uno studio ACS semi-sintetico attraverso diversi budget di privacy ($\epsilon \in \{0.5, 1, 2, 5\}$).

• Accuratezza del Punto vs. Copertura: I carichi di lavoro generici (MST, AIM) ottengono generalmente una RMSE del punto inferiore con budget di privacy ampi ($\epsilon \ge 2$). Tuttavia, con budget stretti ($\epsilon \le 1$), Carico di Lavoro Causale + NA+MI diventa competitivo o superiore in termini di RMSE su diversi dataset.
• Incertezza Calibrata: Le analisi naive dei dati sintetici (trattandoli come reali) risultano in una copertura severamente sottostimata (spesso $<35\%$ a $\epsilon \le 1$). Carico di Lavoro Causale + NA+MI è l'unico metodo che raggiunge una copertura quasi nominale (99.8–100%) in tutti i benchmark con budget di privacy stretti.
• Adattivo vs. Fisso: CAUSAL-AIM riduce significativamente la RMSE rispetto ai carichi di lavoro fissi a budget moderati ($\epsilon \ge 1$), ma può degradare le prestazioni a budget molto stretti ($\epsilon = 0.5$), dove il costo della spesa di privacy aggiuntiva per la selezione supera il beneficio di un migliore targeting delle caratteristiche.
• Riutilizzo: Un singolo rilascio sintetico DP supporta l'analisi di ATE, ATT e analisi di sottogruppo senza spese di privacy aggiuntive, una proprietà non disponibile per gli stimatori DP diretti.
• Tradeoff di Fedeltà: I carichi di lavoro generici spesso dominano nelle metriche di fedeltà marginale (Distanza di Variazione Totale), ma ciò non correla con l'utilità causale (accuratezza ATE o copertura).

5. Significato e Rivendicazioni

Il paper sostiene che la fedeltà distributiva è insufficiente per l'inferenza causale. Un'inferenza causale valida richiede la preservazione di specifici momenti causali (bilanciamento tra i bracci del trattamento e interazioni esito-caratteristica) piuttosto che di margini generici.

La significatività primaria risiede nel tradeoff tra accuratezza del punto e quantificazione valida dell'incertezza:

• Quando l'obiettivo è la fedeltà marginale ampia o l'analisi esplorativa, i carichi di lavoro generici possono bastare.
• Quando l'obiettivo è un'inferenza causale valida con intervalli di confidenza calibrati, specialmente sotto budget di privacy stretti, i carichi di lavoro causali combinati con l'inferenza sensibile al rumore (NA+MI) sono necessari.

Gli autori concludono che, sebbene i metodi generici possano offrire migliori stime puntuali in regimi di bassa privacy, essi falliscono nel fornire una quantificazione dell'incertezza affidabile. Il framework proposto consente agli analisti di eseguire analisi ATE, ATT e di sottogruppo da un singolo rilascio, propagando correttamente l'incertezza introdotta dalla privacy differenziale.

Limitazioni riconosciute dagli autori:

• L'approccio si basa sulla scelta di una mappa di caratteristiche $\phi$, introducendo un bias di approssimazione se i veri modelli sono altamente non lineari.
• Gli intervalli di confidenza validi possono essere ampi quando il rumore DP domina l'errore di campionamento.
• L'implementazione attuale si concentra sulla famiglia di ricostruzione AIM/Private-PGM.
• La teoria fornisce limiti a livello di momento ma non analizza completamente ogni routine di fitting di disturbo a valle sulle righe campionate dei dati sintetici.