DP-Hype: Federated Differentially Private Hyperparameter Search

Technische Samenvatting: DP-HYPE

Probleemstelling

In Federated Learning (FL) is het afstemmen van hyperparameters cruciaal voor de modelprestaties, maar dit introduceert aanzienlijke privacyrisico's. Standaard hyperparameterzoektoestanden omvat het evalueren van talrijke kandidaten, en het onthullen van evaluatieresultaten (bijv. verlieswaarden) kan gevoelige informatie over lokale cliëntgegevens lekken. Hoewel Differential Privacy (DP) de standaard is voor bewijsbaar privacy, kampen bestaande benaderingen met drie belangrijke beperkingen in de federated setting:

1. Taakspecifiteit: Veel methoden zijn afgestemd op specifieke leertaken of gradiëntgebaseerde optimalisatie, en missen algemeenheid.
2. Privacylek van Aggregaten: Voorgaand werk houdt vaak geen rekening met het inherente privacylek in geaggregeerde resultaten of vertrouwt op aannames dat een tegenstander tussenliggende evaluatiestappen niet kan zien (een aanname die ongeldig is in standaard FL).
3. Suboptimale Trade-offs: Bestaande oplossingen lijden vaak onder een privacy-utiliteit trade-off waarbij het privacybudget snel degradeert met het aantal geëvalueerde hyperparameters (compositie), of ze vertrouwen op vertrouwde derde partijen en Secure Multi-Party Computation (SMPC) die niet goed schalen.

De kernuitdaging is het vinden van een gedeelde set hyperparameters (een compromis) over cliënten met heterogene (non-iid) datadistributies, terwijl er wordt voldaan aan cliënt-niveau differential privacy en de privacygarantie onafhankelijk is van het aantal geëvalueerde hyperparameters.

Methodologie: DP-HYPE

De auteurs stellen DP-HYPE voor, een federated hyperparameter zoekalgoritme dat het paradigma verschuift van globale verliesevaluatie naar federated voting.

Kernbenadering

In plaats van een globaal model te trainen voor elke hyperparameterkandidaat (wat privacytechnisch onhaalbaar is), werkt DP-HYPE vanuit de observatie dat als lokale datadistributies niet te sterk uiteenlopen, lokale evaluaties correleren met globale prestaties. Het algoritme verloopt als volgt:

1. Lokale Evaluatie: Elke cliënt $i$ evalueert alle kandidaat-hyperparameters $H = \{H_1, \dots, H_p\}$ op hun lokale dataset $D_i$ om lokale verliezen te berekenen.
2. Lokale Stemming (Voting): Elke cliënt selecteert hun top-$k$ hyperparameters met het laagste lokale verlies. Zij construeren een binaire stemvector $v_i \in \{0, 1\}^p$ waarbij de vermeldingen die overeenkomen met de top-$k$ kandidaten op 1 worden gezet.
3. Lokale Perturbatie: Om differential privacy te waarborgen, voegt elke cliënt Gaussische ruis $z \sim \mathcal{N}(0, \frac{\sigma^2}{n} I_p)$ toe aan hun stemvector $v_i$, wat resulteert in een ruisige vector $\tilde{v}_i$. Cruciaal is dat het lokale trainingsproces zelf niet differential private hoeft te zijn; ruis wordt pas in de stemfase geïntroduceerd.
4. Secure Aggregation: Cliënten gebruiken een Secure Summation protocol (bijv. SecAgg++) om de ruisige vectoren $\sum \tilde{v}_i$ te aggregeren zonder individuele stemmen aan de server te onthullen.
5. Selectie: De server identificeert de hyperparameter met het maximale geaggregeerde ruisige stemgetal.

Privacy Mechanisme

• Cliënt-niveau DP: Het algoritme voldoet aan cliënt-niveau differential privacy, wat de invloed van een volledige dataset van een cliënt beschermt.
• Onafhankelijkheid van Hyperparametersaantal: Door de stemvector als geheel te behandelen en gebruik te maken van de eigenschappen van de Gaussische mechanisme op de $L_2$-sensitiviteit van de vector, hangt de privacy-accounting alleen af van het aantal stemmen $k$ per cliënt, en niet van het totaal aantal hyperparameters $p$. Dit voorkomt de $\sqrt{p}$ compositie-straf die typisch is voor iteratieve zoekprocessen.
• Sensitiviteit: De $L_2$-sensitiviteit van de stemvector is begrensd door $\sqrt{2k}$, wat nauwkeurige ruis-kalibratie mogelijk maakt.

Belangrijkste Bijdragen

1. Algoritme Ontwerp: DP-HYPE is het eerste algoritme voor federated hyperparameter zoektoestanden dat taak-agnostisch is, cliënt-niveau DP behoudt en privacygaranties biedt die onafhankelijk zijn van het aantal hyperparameters.
2. Theoretische Garanties:
   • Formeel bewijs dat DP-HYPE cliënt-niveau Rényi Differential Privacy (RDP) voldoet en kan worden omgezet naar $(\epsilon, \delta)$-DP.
   • Afleiding van utiliteitsgrenzen die aantonen dat de waarschijnlijkheid van het selecteren van een "goede" hyperparameter exponentieel toeneemt met de kloof ($\gamma$) tussen de stemmen van goede en slechte kandidaten.
3. Implementatie: Het algoritme is geïmplementeerd als een submodule in Flower, een state-of-the-art federated learning framework, wat praktische toepasbaarheid garandeert.
4. Empirische Evaluatie: Uitgebreide evaluatie op drie benchmark-datasets (MNIST, CIFAR-10, Adult) onder zowel iid als non-iid (Dirichlet-gepartitioneerde) instellingen.

Resultaten

• Utiliteit bij Kleine Budgets: DP-HYPE vertoont een hoge utiliteit, zelfs onder kleine privacybudgets ($\epsilon \le 1$). In iid-scenario's benadert het de prestaties van de optimale niet-private baseline (OPT) zeer nauwkeurig.
• Non-IID Robuustheid: In non-iid settings, waar cliënten over uiteenlopende datadistributies beschikken, vindt DP-Hោង succesvol een compromis. Hoewel het mogelijk niet altijd de globaal optimale hyperparameter selecteert (omdat lokale evaluaties de globale optima kunnen missen), presteert het significant beter dan willekeurig raden (RANDGUESS) en behoudt het robuuste prestaties naarmate het aantal cliënten toeneemt.
• Schaalbaarheid: De communicatieoverhead is minimaal en vereist slechts één aanroep van secure summation. De bandbreedte schaalt lineair met het aantal hyperparameters maar blijft in de KB-range per cliënt.
• Parameter $k$: Simulaties wijzen uit dat de keuze van $k$ (aantal lokale stemmen) kritiek is, maar alleen onder zeer strikte privacybudgets. Een kleine $k$ volstaat over het algemeen, hoewel een iets grotere $k$ kan helpen in non-iid scenario's waar een compromis een tweede- of derde beste keuze kan zijn voor veel cliënten.

Betekenis en Claims

Het artikel claimt dat DP-HYPE een kritiek gat in privacy-bewuste federated learning opvult door schaalbare, taak-agnostische hyperparameter zoektoestanden mogelijk te maken zonder de prohibitieve privacykosten die geassocieerd worden met het aantal kandidaten.

• Privacy Amplificatie: Door globale evaluaties te vervangen door lokale stemming, bereikt DP-HYPE enorme privacy-amplificatie. De server ziet alleen geaggregeerde resultaten, en de privacykosten zijn ontkoppeld van de grootte van de zoekruimte.
• Practicaliteit: In tegen tegenstelling tot voorgaand werk dat steunt op vertrouwde derde partijen of complexe SMPC-opstellingen die niet schalen, vertrouwt DP-HYPE uitsluitend op secure summation, wat het inzetbaar maakt in real-world cross-silo omgevingen.
• Trade-off Management: De auteurs demonstreren dat de privacy-utiliteit trade-off beheersbaar is; zelfs met strikte privacybeperkingen kan het algoritme hyperparameters identificeren die sterke modelprestaties opleveren, waardoor de kloof tussen theoretische privacygaranties en praktische utiliteit in federated systemen effectief wordt overbrugd.

De conclusie is dat DP-HYPE een robuuste, efficiënte en theoretisch onderbouwde oplossing biedt voor het vinden van gedeelde hyperparameters in federated omgevingen, wat bijzonder waardevol is wanneer datadistributies heterogeen zijn en privacybudgets beperkt zijn.