Pure Differential Privacy for Functional Summaries with a Laplace-like Process

Titel: Pure Differentiële Privacy voor Functionele Samenvattingen met een Laplace-achtig Proces

1. Het Probleem

De groei van de verzameling van geïndividualiseerde data heeft de noodzaak voor strikte privacybeveiliging vergroot. Differentiële Privacy (DP) is de huidige standaardparadigma voor data-anonimisering. Hoewel er veel mechanismen bestaan voor eindig-dimensionale data (scalars of vectoren), zoals de Laplace- en Gaussische mechanismen, zijn deze onvoldoende voor functionele data.

Functionele data bestaan uit dicht waargenomen waarnemingen over tijd- of ruimtedomeinen (bijv. curves of oppervlakken) en worden wiskundig behandeld als objecten in oneindig-dimensionale Hilbertruimten. Bestaande methoden om DP op deze data toe te passen, vertonen twee fundamentele tekortkomingen:

1. Eindige dimensie-embeddings: Ze projecteren de oneindig-dimensionale functie naar een eindig-dimensionale deelruimte (via basis-expansies zoals Fourier of polynomen) en passen vervolgens multivariate DP-toepassingen toe. Dit vereist een keuze voor het aantal dimensies ($M$), wat een compromis is tussen bruikbaarheid en privacy. Een te kleine $M$ leidt tot bias (verlies van structuur), terwijl een te grote $M$ overmatige ruis toevoegt.
2. Uniforme ruisinjectie: Traditionele methoden behandelen alle dimensies gelijk en verdelen het privacybudget uniform. Dit negeert het feit dat sommige coëfficiënten (dimensies) belangrijker zijn dan anderen voor de schatting, wat leidt tot inefficiëntie en een verlies van nut.

Het doel van dit werk is een mechanisme te ontwikkelen dat pure $\epsilon$-DP bereikt voor echt oneindig-dimensionale functionele samenvattingen zonder deze te hoeven trunceren of uniform te behandelen.

2. Methodologie: Het ICLP-mechanisme

De auteurs introduceren het Independent Component Laplace Process (ICLP) mechanisme. In plaats van ruis toe te voegen aan een eindige vector van coëfficiënten, behandelen ze zowel de functionele samenvatting als de privacyruis als oneindig-dimensionale functionele objecten.

Kernconcepten:

• ICLP Ruis: Het mechanisme voegt ruis $Z$ toe aan de samenvatting $f_D$ volgens $\tilde{f}_D = f_D + \sigma Z$. De ruis $Z$ wordt gedefinieerd via een Karhunen-Loève expansie:
  $$Z = \sum_{j=1}^{\infty} \sqrt{\lambda_j} Z_j \phi_j$$
  Waarbij $\{\phi_j\}$ de eigenfuncties en $\{\lambda_j\}$ de eigenwaarden van een covariantie-operator $C$ zijn, en $Z_j$ onafhankelijke Laplace-variabelen zijn met gemiddelde 0 en variantie 1.
• Heterogene Ruis: Door de schaling met $\sqrt{\lambda_j}$ wordt ruis heterogeen toegevoegd: dimensies met een hogere variantie (belangrijker voor de structuur) krijgen meer ruimte, terwijl minder belangrijke dimensies minder ruis ontvangen. Dit in tegenstelling tot i.i.d. ruis.
• Feasibility (Haalbaarheid): Een cruciale theoretische bevinding is dat niet elke oneindig-dimensionale functie geschikt is voor dit mechanisme. Om pure $\epsilon$-DP te garanderen, moet het verschil tussen de samenvattingen van twee aangrenzende datasets ($f_D - f_{D'}$) liggen in een specifieke deelruimte van de Hilbertruimte, genaamd $H_{1,C}$.
  • $H_{1,C}$ is gerelateerd aan de Cameron-Martin-ruimte maar vereist een sterkere convergentie (een gewogen $\ell_1$-norm).
  • Als het verschil in deze ruimte ligt, kan de dichtheid van de kansmaat worden afgeleid, wat essentieel is voor het bewijzen van $\epsilon$-DP.

Constructie van Kwalificerende Samenvattingen:
Om te garanderen dat de gegenereerde samenvattingen in $H_{1,C}$ liggen, gebruiken de auteurs Reguliere Empirische Risicominimalisatie (Regularized ERM). Ze stellen twee strategieën voor:

1. ICLP-AR (Absolute Regularization): Gebruikt een $\ell_1$-achtige regularisatie ($\|\cdot\|_{1,C_\eta}$). Dit leidt tot soft-thresholding, maar introduceert bias.
2. ICLP-QR (Quadratische Regularization): Gebruikt een kwadratische regularisatie ($\|\cdot\|_{C_\eta}^2$) in een Reproducing Kernel Hilbert Space (RKHS). Hierbij wordt $\eta > 1$ gekozen. Dit zorgt ervoor dat de oplossing automatisch in de vereiste ruimte $H_{1,C}$ valt.

Privacy-Safe Parameter Selectie (PSS):
Om privacylekken te voorkomen bij het kiezen van regularisatieparameters (zoals $\psi$ of het aantal dimensies $M$), stellen de auteurs een "Privacy Safe Selection" methode voor. In plaats van data-gedreven validatie (zoals Cross-Validation), worden parameters puur gebaseerd op de samplegrootte, het privacybudget en de eigenschappen van de ruiscovariantie. Dit garandeert end-to-end privacy.

3. Belangrijkste Bijdragen

1. Nieuw Mechanisme: Introductie van het ICLP-mechanisme dat pure $\epsilon$-DP bereikt voor oneindig-dimensionale objecten in Hilbertruimten en de ruimte van continue functies, zonder eindige dimensie-embeddings.
2. Theoretische Fundamenten: Bewijs dat het mechanisme werkt als en slechts als het verschil tussen datasets in de ruimte $H_{1,C}$ ligt. Dit lost het probleem op van de "oneindige gevoeligheid" dat vaak optreedt bij oneindig-dimensionale ruis.
3. Oversmoothing Strategie: Het aantonen dat door de niet-privé samenvattingen lichtjes te oversmoothen (door $\eta > 1$ te kiezen in ICLP-QR), de privacyfout asymptotisch verwaarloosbaar wordt ten opzichte van de schattingsfout. Dit wordt "gratis privacy" genoemd: de privacy toevoegt geen extra fout aan de statistische prestaties.
4. Toepassingsbreedte: De methoden zijn toegepast op diverse problemen, waaronder het schatten van het gemiddelde, covariantiefuncties, lineaire regressie en kernel-dichtheidsschattingen.

4. Resultaten

De auteurs evalueren het ICLP-mechanisme via synthetische data en twee real-world datasets (medische DTI-scans en elektriciteitsverbruik).

• Vergelijking met Bestaande Methoden:
  • ICLP-QR presteert consequent beter dan de Finite-Dimensional Representation-wise Laplace (FRL) en Bernstein-mechanismen, vooral bij complexe, niet-gladde functies.
  • FRL faalt vaak bij complexe data omdat het te weinig componenten gebruikt (hoge bias) of te veel ruis toevoegt.
  • ICLP-QR behoudt de lokale details van de functie beter en heeft een lagere totale fout (privacy-estimation error).
• Privacy vs. Bruikbaarheid:
  • Bij het schatten van het gemiddelde bereikt ICLP-QR de optimale convergentiesnelheid van $O(n^{-1})$, zelfs onder privacybeperkingen.
  • De "gratis privacy" eigenschap wordt bevestigd: bij juiste parameterkeuze is de extra fout door privacyverlies verwaarloosbaar in vergelijking met de natuurlijke schattingsfout.
• Real Data:
  • Op de DTI-dataset (hersenscans) en Elektriciteitsdata levert ICLP-QR privatized mean functions die de vorm van de originele data nauwkeurig volgen, terwijl FRL alleen de globale vorm vasthoudt en lokale details mist.
  • Bij Mortaliteitsdata (UN data) presteert ICLP-QR goed bij zowel ontwikkelde (unimodale verdelingen) als ontwikkelingslanden (multimodale verdelingen door hogere kindersterfte), waar FRL moeite heeft met de complexere vormen.

5. Betekenis en Conclusie

Dit artikel is een doorbraak in het veld van privacy-bewuste functionele data-analyse. Het overbrugt de kloof tussen de theoretische eisen van pure differentiële privacy en de praktische realiteit van oneindig-dimensionale data.

• Significantie: Het toont aan dat het niet nodig is om data te trunceren of te vereenvoudigen om privacy te waarborgen. Door de structuur van de data (via de covariantie-operator) te benutten, kan ruis efficiënter worden toegevoegd.
• Toekomstperspectief: Hoewel het mechanisme theoretisch en empirisch sterk is, is de berekening van de eigenfuncties en eigenwaarden (via Karhunen-Loève expansie) computatie-intensief. De auteurs wijzen op de noodzaak van efficiëntere numerieke methoden voor toekomstig onderzoek.

Samenvattend biedt het ICLP-mechanisme een robuust, wiskundig onderbouwd kader voor het vrijgeven van functionele data met gegarandeerde pure privacy, waarbij de statistische bruikbaarheid optimaal wordt behouden.