Pure Differential Privacy for Functional Summaries with a Laplace-like Process

1. Il Problema

L'analisi dei dati funzionali (Functional Data Analysis - FDA) tratta dati che sono funzioni continue o curve osservate su domini temporali o spaziali (es. traiettorie di segnali, curve di mortalità). Questi dati sono intrinsecamente infiniti-dimensionali.
L'obiettivo è proteggere la privacy di tali dati utilizzando il Differential Privacy (DP), in particolare la versione "pura" ($\epsilon$-DP), che offre garanzie di sicurezza più forti rispetto alla versione approssimata $(\epsilon, \delta)$-DP.

Le sfide principali identificate dagli autori sono:

• Limiti degli approcci esistenti: La maggior parte dei meccanismi DP attuali per dati funzionali si basa sull'embedding in sottospazi a dimensione finita (es. espansione in basi finite come Fourier o polinomi). Questi metodi trattano tutte le dimensioni in modo uniforme (aggiungendo rumore i.i.d.), ignorando la struttura complessa e la diversa importanza dei coefficienti nelle diverse dimensioni.
• Trade-off Utilità-Privacy: La scelta della dimensione del sottospazio è critica. Una dimensione troppo bassa introduce un bias elevato (perdita di dettagli), mentre una dimensione troppo alta richiede l'iniezione di eccessivo rumore per mantenere la privacy, degradando l'utilità.
• Impossibilità teorica: È stato dimostrato che distribuzioni ellittiche (come il processo Gaussiano) non possono garantire $\epsilon$-DP in spazi infiniti senza rilassamenti ($\delta > 0$).

2. Metodologia Proposta: ICLP

Gli autori propongono un nuovo meccanismo chiamato Independent Component Laplace Process (ICLP). A differenza dei metodi precedenti, l'ICLP tratta sia il riassunto funzionale che il rumore come oggetti funzionali veri e propri e infiniti-dimensionali, senza ricorrere a troncamenti arbitrari.

Concetti Chiave:

• Processo ICLP: Il rumore $Z$ è definito come una somma infinita di variabili aleatorie di Laplace indipendenti, scalate dagli autovalori di un operatore di covarianza $C$:
  $$Z = \sum_{j=1}^{\infty} \sqrt{\lambda_j} Z_j \phi_j$$
  dove $\{Z_j\}$ sono i.i.d. con distribuzione Laplace(0,1), $\{\lambda_j\}$ e $\{\phi_j\}$ sono autovalori e autofunzioni dell'operatore di covarianza $C$.
• Spazi di Funzionalità: Per garantire l'esistenza del processo e la validità della privacy, gli autori identificano spazi specifici (sottospazi di Hilbert) in cui la differenza tra i riassunti di dataset adiacenti deve risiedere. In particolare, la differenza deve appartenere allo spazio $H_{1,C}$, definito dalla norma $\|h\|_{1,C} = \sum \frac{|\langle h, \phi_j \rangle|}{\sqrt{\lambda_j}} < \infty$.
• Meccanismo di Iniezione del Rumore: Il riassunto privatizzato è $\tilde{f}_D = f_D + \sigma Z$, dove $\sigma = \Delta / \epsilon$ e $\Delta$ è la sensibilità globale calcolata rispetto alla norma $\|\cdot\|_{1,C}$.

Costruzione di Riassunti Qualificati (Qualified Summaries):

Poiché i riassunti grezzi potrebbero non soddisfare le condizioni di regolarità richieste per l'ICLP, gli autori propongono l'uso di Empirical Risk Minimization regolarizzata (Regularized ERM):

1. ICLP-AR (Absolute Regularization): Utilizza una penalità di tipo $L_1$ ($\|f\|_{1,C^\eta}$).
2. ICLP-QR (Quadratic Regularization): Utilizza una penalità di tipo $L_2$ ($\|f\|_{C^\eta}^2$) in uno spazio di Hilbert a nucleo riproducente (RKHS).
   • Oversmoothing: Un contributo teorico cruciale è la dimostrazione che applicando un leggero oversmoothing (scegliendo un parametro di regolarizzazione $\eta > 1$), è possibile ottenere riassunti privati che mantengono un errore di stima ottimale, rendendo l'errore di privacy asintoticamente trascurabile rispetto all'errore di stima ("free privacy").

Selezione dei Parametri (PSS):

Per evitare la perdita di privacy nella selezione dei parametri di regolarizzazione (tipicamente fatta tramite Cross-Validation, che è data-driven), gli autori introducono la Privacy-Safe Selection (PSS). Questo metodo sceglie i parametri basandosi esclusivamente sulla struttura della covarianza del rumore e sulla dimensione del campione, senza guardare i dati reali, garantendo così una protezione end-to-end.

3. Contributi Chiave

1. Nuovo Meccanismo ICLP: Introduzione del primo meccanismo per $\epsilon$-DP puro su spazi di Hilbert separabili infiniti-dimensionali, basato su un processo di Laplace a componenti indipendenti.
2. Analisi di Fattibilità Teorica: Dimostrazione delle condizioni necessarie e sufficienti affinché il meccanismo funzioni (la differenza tra dataset adiacenti deve risiedere nello spazio $H_{1,C}$). Estensione del risultato agli spazi di funzioni continue.
3. Strategie di Costruzione e Oversmoothing: Sviluppo di strategie ERM regolarizzate che permettono di bilanciare utilità e privacy. Dimostrazione che l'oversmoothing controllato può portare a un errore di privacy di ordine inferiore rispetto all'errore di stima.
4. Selezione Parametri Privacy-Safe: Proposta di un metodo (PSS) per la selezione dei parametri di regolarizzazione che non viola la privacy.
5. Applicabilità Generale: Il framework è applicato non solo alla stima della media funzionale, ma anche alla stima della densità di probabilità (Kernel Density Estimation) e alla regressione funzionale.

4. Risultati Sperimentali

Gli autori hanno valutato il meccanismo su dati sintetici e reali, confrontandolo con:

• FRL (Finite-Dimensional Representation-wise Laplace): Il metodo standard basato su troncamento.
• Bernstein Mechanism: Un altro approccio basato su basi finite.
• GP-ADP: Un approccio basato su processi Gaussiani per $(\epsilon, \delta)$-DP.

Risultati Principali:

• Performance Superiore: Il meccanismo ICLP-QR ha costantemente superato gli altri meccanismi $\epsilon$-DP (FRL, Bernstein) in termini di errore di stima-privacy, specialmente quando le funzioni target sono complesse (multimodali o con fluttuazioni rapide).
• Gestione della Complessità: Mentre FRL fallisce nel catturare dettagli locali quando le funzioni diventano complesse (richiedendo un numero enorme di dimensioni che aumenta il rumore), ICLP gestisce l'infinità dimensionale in modo eterogeneo, iniettando più rumore dove la varianza è bassa e meno dove è alta.
• Confronto con GP-ADP: ICLP-QR offre prestazioni comparabili o superiori al processo Gaussiano (che usa $\delta > 0$) pur garantendo $\epsilon$-DP puro, dimostrando che la purezza della privacy non deve necessariamente comportare una perdita significativa di utilità se si usa il meccanismo corretto.
• Dati Reali: Applicazioni su dati di risonanza magnetica cerebrale (DTI) e domanda elettrica hanno mostrato che ICLP-QR riesce a preservare la forma e i dettagli locali delle curve medie meglio degli altri metodi, con errori $L_2$ significativamente inferiori.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale nell'intersezione tra Privacy Differenziale e Analisi di Dati Funzionali.

• Superamento dei limiti dimensionali: Dimostra che non è necessario sacrificare la natura infinita dei dati funzionali per ottenere la privacy. Trattare i dati come oggetti infiniti-dimensionali permette di sfruttare la struttura intrinseca (decadimento degli autovalori) per ottimizzare l'iniezione del rumore.
• Garanzia di Purezza: Fornisce una soluzione pratica per ottenere $\epsilon$-DP (la forma più rigorosa di privacy) su dati complessi, superando le limitazioni dei processi Gaussiani che richiedono $\delta > 0$.
• Efficienza Statistica: L'idea di "oversmoothing" per ottenere "privacy gratuita" (dove l'errore di privacy diventa trascurabile rispetto all'errore di stima) offre una nuova prospettiva teorica per la progettazione di algoritmi privati.
• Applicabilità Pratica: La proposta di un metodo di selezione dei parametri (PSS) che non richiede dati risolve un problema pratico critico nell'implementazione di algoritmi DP, rendendo il metodo pronto per l'uso in scenari reali sensibili (sanità, energia, demografia).

In sintesi, il paper propone un cambio di paradigma: invece di approssimare i dati funzionali per adattarli a strumenti di privacy finiti, si adatta lo strumento di privacy (ICLP) alla natura infinita dei dati, ottenendo risultati superiori sia in termini di privacy rigorosa che di utilità statistica.