Technische Samenvatting: Convergente Differentiële Privacy-analyse voor Algemene Federated Learning

1. Probleemstelling

Federated Learning (FL) in combinatie met Differentiële Privacy (DP) biedt een paradigma voor het trainen van modellen op grote schaal privé-clientgegevens zonder directe datalekken. Echter, bestaande theoretische analyses van FL-DP-frameworks vertrouwen sterk op het composities-theorema (bijvoorbeeld $(\epsilon, \delta)$-DP of Rényi-DP). Deze traditionele benaderingen leveren doorgaans privacygrenzen op die divergeren (willekeurig los worden naarmate het aantal communicatierondes $T$ toeneemt.

Deze divergentie impliceert een tegenintuïtieve en empirisch niet-ondersteunde conclusie: dat FL-DP-frameworks uiteindelijk alle privacybeschermingscapaciteiten kunnen verliezen onder constante niveau-ruisverstorende verstoringen tijdens langdurig trainen. Dit creëert een aanzienlijke discrepantie tussen theoretische voorspellingen (die een onvermijdelijk privacyfalen suggereren) en experimentele resultaten (die vaak een stabiele privacy tonen). De kernuitdaging ligt in het analyseren van de privacy van FL-methoden met niet-convexe doelfuncties en heterogene lokale updates, waarbij multi-stap lokaal trainen vooroordeelde modellen introduceert die de standaard gevoeligheidsanalyse bemoeilijken.

2. Methodologie

De auteurs stellen een uitgebreide analyse voor op basis van $f$-Differentiële Privacy ($f$-DP), met name gebruikmakend van Gaussische Differentiële Privacy (GDP), die een informatie-theoretisch verliesvrije definitie van privacy biedt via de afweging tussen Type I- en Type II-fouten bij hypothesetoetsing.

Belangrijke methodologische componenten zijn:

• Verschoven Interpolatietechniek: Om de losse grenzen te vermijden die geassocieerd zijn met standaard privacyversterking door iteratie, hanteert het artikel een verschoven interpolatiesequentie. In plaats van de directe relatie tussen globale modellen op aangrenzende datasets over $T$ rondes te analyseren, definiëren de auteurs een hulpsequentie $\tilde{w}_t$ die interpoleert tussen de trajecten van de twee aangrenzende datasets. Dit maakt een strakkere privacyversterkingsanalyse mogelijk over een specifiek interval $[t_0, T]$.
• Decompositie van Globale Gevoeligheid: De term voor globale gevoeligheid $\|\phi(w_t) - \phi'(\tilde{w}_t)\|$ wordt ontleed in twee componenten:
  1. Gegevensgevoeligheid: De fout die voortvloeit uit het trainen op verschillende datasets, startend vanuit dezelfde initialisatie.
  2. Modelgevoeligheid: De fout die voortvloeit uit het trainen op dezelfde dataset, startend vanuit verschillende initialisaties.
     De auteurs leiden specifieke grenzen af voor deze gevoelheden onder zowel Noisy-FedAvg- als Noisy-FedProx-algoritmen.
• Optimalisatie van Interpolatiecoëfficiënten: De privacygrens wordt geformuleerd als een minimaliseringsprobleem over interpolatiecoëfficiënten $\lambda_t$ en een startronde $t_0$. Om convergentie te waarborgen, verlichten de auteurs het probleem door $t_0 = 0$ te stellen, waardoor de divergentie veroorzaakt door de initiële stabiliteitskloof wordt geëlimineerd, terwijl een strakke grens op de geaccumuleerde gevoeligheid behouden blijft.
• Leersnelheidsstrategieën: De analyse behandelt vier verschillende strategieën voor het vervagen van de leersnelheid: constant, cyclisch vervagend, stapsgewijs vervagend en iteratief vervagend.

3. Belangrijkste Bijdragen

Het artikel biedt de eerste convergente privacyanalyse voor algemene FL-DP-methoden onder niet-convexe en gladde doelfuncties. De specifieke bijdragen zijn:

• Convergente Privacy voor Noisy-FedAvg: De auteurs bewijzen dat de privacy in het slechtste geval van Noisy-FedAvg niet divergeert met betrekking tot het aantal communicatierondes $T$. Zij leveren strakke convergente grenzen voor vier verschillende strategieën voor het vervagen van de leersnelheid. Dit daagt het langdurige geloof uit dat privacybudgetten oneindig moeten toenemen met de trainingsduur.
• Stabiele Privacy voor Noisy-FedProx: Door de proximale term in Noisy-FedProx te analyseren, tonen de auteurs aan dat de slechtste privacy convergeert naar een algemene constante ondergrens. Zij laten zien dat de proximale coëfficiënt $\alpha$ fungeert als een regularisator die privacy kan ontkoppelen van het lokale trainingsinterval $K$, mits $\alpha > L$ (waarbij $L$ de gladheidsconstante is).
• Framework-onafhankelijkheid: De afgeleide $f$-DP-grenzen kunnen verliesvrij worden omgezet naar andere standaardframeworks, waaronder $(\epsilon, \delta)$-DP en Rényi-DP (RDP), waardoor gedetailleerde inzichten worden geboden voor bestaande FL-DP-systemen.
• Theoretische Oplossing van Discrepantie: De analyse lost de kloof op tussen theoretische divergentie en empirische stabiliteit, en toont aan dat ruis op constant niveau voldoende is om convergente privacygaranties in FL te handhaven.

4. Resultaten

De theoretische bevindingen worden samengevat in Tabel 1 en Tabel 3 van het artikel:

• Noisy-FedAvg:
  • Onder constante leersnelheden convergeert de privacygrens naar een waarde afhankelijk van $K$, $m$ (clientschaal) en $\sigma$ (ruis), maar blijft begrensd naarmate $T \to \infty$.
  • Onder stapsgewijs en iteratief vervagende leersnelheden convergeert de privacygrens naar een vorm evenredig met $\sqrt{2 - 1/T}$, waardoor convergentie wordt gewaarborgd.
  • De grenzen zijn strakker dan eerdere werken, die vaak vereisten dat de ruisvariatie $\sigma^2$ schaalt met $T$ of $TK$.
• Noisy-FedProx:
  • De privacygrens convergeert naar een constante ondergrens die onafhankelijk is van $T$ en $K$.
  • De grens is omgekeerd evenredig met $\sqrt{\alpha}$, wat aangeeft dat een grotere proximale coëfficiënt $\alpha$ de privacy aanzienlijk verbetert (vermindert de gevoeligheid) zonder dat er meer ruis nodig is.
• Empirische Validatie:
  • Experimenten op MNIST en CIFAR-10 met LeNet-5 en ResNet-18 bevestigen dat de globale gevoeligheid stabiliseert naarmate het trainen vordert, ongeacht $T$ of $K$.
  • Gevoeligheidsstudies tonen aan dat het verhogen van het aantal clients ($m$) de gevoeligheid verlaagt ($O(1/\sqrt{m})$), terwijl het lokale interval $K$ de convergentiesnelheid beïnvloedt maar niet de asymptotische grens.
  • Lidmaatschapsinferentie- en gradiëntinversie-aanvallen bevestigen dat de aanvalssuccespercentages stabiliseren in plaats van naar 100% te gaan onder constante ruis, wat de theorie van convergente privacy valideert.

5. Betekenis

Het artikel claimt een solide theoretisch fundament te leggen voor de betrouwbaarheid van privacy in FL-DP-frameworks. De betekenis hiervan ligt in:

1. Correctie van Theoretische Misvattingen: Het weerlegt de inferentie dat FL-DP onvermijdelijk privacybescherming verliest tijdens langdurig trainen onder constante ruis, en brengt theorie in overeenstemming met empirische waarnemingen.
2. Mogelijkmaking van Langdurig Trainen: Door convergente grenzen te bewijzen, suggereert het werk dat FL-systemen gedurende langere perioden kunnen opereren zonder dat er onbegrensde toename van de ruisintensiteit nodig is, wat anders de modelbruikbaarheid zou verslechteren.
3. Optimalisatie-Privacy Afweging: De analyse van Noisy-FedProx onthult dat lokale regularisatie (de proximale term) kan dienen als een mechanisme om een "win-win"-oplossing te bereiken, waarbij zowel optimalisatiestabiliteit als privacygaranties gelijktijdig worden verbeterd.
4. Ontwerprichtlijnen: De resultaten bieden toepasbare inzichten voor het ontwerpen van FL-systemen, zoals de voordelen van grotere client-schalen en de strategische selectie van leersnelheidsvervaging en proximale coëfficiënten om privacy te maximaliseren zonder convergentie te compromitteren.

De auteurs concluderen dat hun werk een kritieke theoretische kloof opvult, en aantonen dat correct gestructureerde lokale en globale interacties in FL strikte privacywaarborgen kunnen behouden zonder het leerframework fundamenteel te compromitteren.