Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions

Sintesi Tecnica: Intervalli di Confidenza Non Parametrici con Privacy Differenziale Sotto Assunzioni Distribuzionali Minime

Enunciato del Problema
Il lavoro affronta la sfida di costruire intervalli di confidenza (IC) non parametrici con privacy differenziale (DP) per quantità statistiche arbitrarie. Sebbene gli IC siano fondamentali per quantificare l'incertezza nell'inferenza statistica, i metodi DP esistenti presentano limitazioni significative. Gli approcci attuali spesso si basano su assunzioni forti, come la normalità asintotica della statistica, o sono vincolati a meccanismi di privacy specifici (ad esempio, l'aggiunta di rumore gaussiano). Inoltre, i metodi basati sul bootstrap o sul Bag-of-Little-Bootstrap (BLB) possono risultare poco pratici in regimi a campioni finiti, generando spesso intervalli che sono o non validi (sotto-copertura) o eccessivamente conservativi (troppo ampi). Gli autori mirano a sviluppare un quadro generale che converta qualsiasi stimatore DP che soddisfi condizioni lievi in un IC non parametrico valido, senza richiedere distribuzioni limite specifiche o assunzioni di regolarità sul funzionale target.

Metodologia: PrivSub (Campionamento Privato)
La soluzione proposta, PrivSub, sfrutta la tecnica statistica del campionamento (subsampling) anziché il bootstrap. L'algoritmo opera come segue:

1. Stima Completa: Calcolare una stima con privacy differenziale della quantità target sull'intero dataset utilizzando un meccanismo $M_{full}$.
2. Campionamento: Estrarre $T$ sottoinsiemi di dimensione $m$ dal dataset senza reimmissione.
3. Stima Parziale Privata: Applicare uno stimatore con privacy differenziale $M_{sub}$ a ciascuno dei $T$ sottoinsiemi.
4. Post-Processing: Costruire la Funzione di Distribuzione Cumulativa (CDF) empirica delle statistiche private centrate e ridimensionate. Nello specifico, il metodo centra le stime dei sottoinsiemi attorno alla stima sull'intero dataset e le ridimensiona per il rapporto dei tassi di convergenza $\tau_m / \tau_n$ (dove $\tau_n$ è il tasso di convergenza della statistica).
5. Costruzione dell'Intervallo: L'IC finale è derivato prendendo i quantili $\alpha/2$ e $1-\alpha/2$ di questa CDF empirica.

Il quadro è "a scatola nera", il che significa che non richiede la conoscenza della forma specifica della distribuzione limite, ma solo l'esistenza di una tale distribuzione e di un tasso di convergenza noto. La garanzia di privacy è ottenuta applicando meccanismi DP standard ai calcoli sui sottoinsiemi e sfruttando l'amplificazione della privacy tramite il campionamento, seguita dalla composizione sulle $T$ iterazioni.

Contributi Chiave

• Quadro Generale: Gli autori propongono un metodo che trasforma qualsiasi stimatore DP in un IC non parametrico sotto assunzioni distribuzionali minime. Non richiede che la statistica sia asintoticamente normale o che il funzionale sia regolare.
• Garanzie Teoriche: Il lavoro dimostra che la CDF empirica indotta da PrivSub converge alla vera distribuzione di campionamento della statistica privata (Teorema 3.3). Di conseguenza, l'IC risultante è dimostrato essere asintoticamente valido e stretto (Corollario 3.4), a condizione che il meccanismo di privacy sia $\tau_n$-consistente (cioè, l'errore indotto dalla privacy sia di ordine inferiore rispetto all'errore statistico).
• Analisi della Privacy: Gli autori forniscono limiti rigorosi sulla privacy per l'algoritmo, tenendo conto sia della DP pura ($\delta=0$) che della DP approssimata ($\delta > 0$), sfruttando l'amplificazione tramite campionamento e teoremi di composizione avanzati.
• Guida Euristiche: Sebbene gli iperparametri ottimali per campioni finiti ($m$ e $T$) non possano essere derivati sotto assunzioni minime, il lavoro offre indicazioni euristiche. Suggerisce un vincolo $m \cdot T \gtrsim n$ per bilanciare l'utilizzo dei dati e il costo della privacy, e raccomanda $m \propto n^{2/3}$ e $T=60$ per una stabilità pratica.

Risultati Empirici
Gli autori valutano PrivSub rispetto a metodi esistenti di IC DP non parametrici generali, in particolare BLBquant (basato su BLB) e PrivBoot (basato su bootstrap privato), su tre compiti:

1. Stima della Mediana: Sotto una distribuzione normale troncata.
2. Stima della Pendenza della Regressione Logistica: Un setting parametrico con una distribuzione limite normale.
3. Statistica di Kolmogorov-Smirnov (KS): Un funzionale non regolare con una distribuzione limite non normale.

Risultati:

• Validità e Strettezza: PrivSub produce costantemente IC con una copertura vicina al livello nominale (ad esempio, 90%). Al contrario, BLBquant spesso presenta sotto-copertura (non valido) in campioni finiti, mentre PrivBoot è costantemente eccessivamente conservativo, producendo intervalli significativamente più ampi.
• Robustezza: PrivSub performa bene sia su funzionali regolari (mediana, regressione) che non regolari (KS). Si distingue nettamente rispetto ai concorrenti nell'esperimento KS, dove distribuzioni limite non normali mettono in difficoltà altri metodi.
• Prestazioni in Campioni Finiti: Il metodo raggiunge ampiezze competitive con, e spesso inferiori a, le corrispondenti linee di base non private, mentre i metodi privati concorrenti soffrono spesso di eccessiva ampiezza a causa dei costi di composizione della privacy o della non validità.

Significato e Affermazioni
Il lavoro afferma che PrivSub offre un approccio modulare e generale all'inferenza statistica privata. Il suo significato principale risiede nel rilassamento delle assunzioni richieste per IC DP validi. A differenza di lavori precedenti che necessitano di normalità asintotica o meccanismi di rumore specifici, PrivSub si basa solo sull'esistenza di una distribuzione limite e di un tasso di convergenza noto. Ciò rende il quadro applicabile a una classe più ampia di problemi statistici, in particolare quelli che coinvolgono funzionali non regolari o distribuzioni complesse dove i metodi tradizionali di bootstrap o di approssimazione normale falliscono. Gli autori sottolineano che le loro garanzie teoriche si traducono in prestazioni pratiche, offrendo un'alternativa robusta per la quantificazione dell'incertezza nell'analisi di dati sensibili alla privacy.