Unveiling the Non-Monotonic Effect of Privacy on Generalization under Byzantine Robustness

Probleemstelling
Gedistribueerde leersystemen, zoals Federated Learning (FL), worden geconfronteerd met een fundamentele spanning tussen drie kritieke vereisten: Byzantijnse robuustheid (veerkracht tegen kwaadwillige of defecte deelnemers), Local Differential Privacy (LDP) (bescherming van deelnemersgegevens tegen een eerlijke-maar-nieuwsgierige server) en optimalisatie-utiliteit. Recent werk heeft een "trilemma" vastgesteld dat aantoont dat het gelijktijdig voldoen aan zowel Byzantijnse robuustheid als LDP een onvermijdelijke optimalisatiefout introduceert die niet bestaat wanneer een van beide beperkingen in isolatie wordt overwogen. Echter, de impact van dit trilemma op de generalisatiefout (het verschil tussen trainingsrisico en populatierisico) blijft onduidelijk. Hoewel privacyruis bekend staat om het verslechteren van optimalisatie, is het ook geassocieerd met impliciete regularisatie die de generalisatie kan verbeteren. De centrale vraag die wordt behandeld is of het privacy-robuustheid-optimalisatie trilemma zich uitstrekt tot generalisatie, en zo ja, hoe de interactie tussen privacyruis en Byzantijnse aanvallen de bekwaamheid van een model beïnvloedt om te generaliseren naar ongeziene data.

Methodologie
De auteurs analyseren de algoritmische stabiliteit van Safe-D(S)GD, een gedistribueerd leeralgoritme dat is ontworpen om een optimale optimalisatiefout te bereiken onder Byzantijnse defecten en LDP-beperkingen. De studie maakt gebruik van het volgende methodologische kader:

1. Theoretische analyse via stabiliteit: Het artikel maakt gebruik van uniforme stabiliteit om de generalisatiefout te begrenzen. De auteurs leiden nauwe boven- en ondergrenzen af voor de stabiliteit van Safe-D(S)GD onder LDP en Byzantijnse defecten.
2. Adversariële constructie voor ondergrenzen: Om ondergrenzen vast te stellen, construeren de auteurs een specifiek aanvalsscenario bestaande uit twee fasen:
   • Fase 1 (Membership Inference Attack - MIA): Byzantijnse deelnemers observeren eerlijke gradiënten over een initiële set iteraties om een statistische test (hypothesetoetsing) uit te voeren om te achterhalen of een specifieke datapunt aanwezig is in de datasets van de eerlijke deelnemers.
   • Fase 2 (Gerichte aanval): Op basis van de uitkomst van de MIA sturen Byzantijnse deelnemers kwaadwillige updates die afhankelijk zijn van de geïnformeerde lidmaatschapsstatus. Deze updates zijn ontworpen om te worden geselecteerd door de SMEA (Smallest Maximum Eigenvalue Averaging) aggregatieregel, wat de robuuste aggregatiemethode is die wordt gebruikt in Safe-D(S)GD.
3. Regime-differentiatie: De analyse onderscheidt twee privacyregimes op basis van de grootte van de geïnjecteerde ruis ($\sigma_{DP}$) relatief aan de sensitiviteit van de gradiënten:
   • Zwak privacyregime: Lage ruisniveaus waarbij de succeskans van de MIA niet verwaarloosbaar is.
   • Sterk privacyregime: Hoge ruisniveaus waarbij de MIA ineffectief wordt.
4. Empirische validatie: De theoretische bevindingen worden bevestigd met behulp van de ByzFL bibliotheek over drie datasets: synthetische data (logistische regressie), MNIST (logistische regressie) en CIFAR-10 (Convolutioneel Neuraal Netwerk). Experimenten variëren de ruismultiplier, het deel Byzantijnse deelnemers ($f$), dimensionaliteit ($d$) en data-heterogeniteit.

Belangrijkste bijdragen

• Niet-monotone generalisatiegedrag: Het artikel bewijst dat de relatie tussen privacygaranties en de generalisatiefout niet-monotoon is. In tegen tegenstelling tot de intuïtie dat meer privacy altijd de utiliteit verslechtert, of dat privacy altijd de generalisatie helpt via regularisatie, hangt het effect kritiek af van het privacyregime.
• Karakterisering van twee regimes:
  • Zwakke privacy (Lage ruis): In dit regime werkt de geïnjecteerde ruis nadelig samen met de Byzantijnse-robuuste aggregatie. De ruis is onvoldoende om data te verbergen voor Byzantijnse deelnemers, waardoor zij effectieve Membership Inference Attacks kunnen uitvoeren. Dit leidt tot een verslechtering van de generalisatieprestaties, waarbij de fout toeneemt met het ruisniveau en het aandeel Byzantijnse deelnemers.
  • Sterke privacy (Hoge ruis): Voorbij een specifieke drempel waar de MIA ineffectief wordt, komt het systeem in een regime dat consistent is met klassieke differential privacy-gedragingen. Hier verbetert het verhogen van het ruisniveau de algoritmische stabiliteit, waardoor de generalisatiefout afneemt en uiteindelijk verdwijnt naarmate de privacy sterker wordt.
• Strakke stabiliteitsgrenzen: De auteurs bieden overeenkomstige boven- en ondergrenzen voor algoritmische stabiliteit. De ondergrenzen koppelen de instabiliteit expliciet aan de succeskans van de MIA, waarbij wordt aangetoond dat de "spanning" tussen privacy en robuustheid wordt gedreven door het vermogen van de adversary om eerlijke datapunten te onderscheiden.
• Empirische bevestiging: Experimenten laten zien dat het voorspelde niet-monotone gedrag (een initiële toename van de fout gevolgd door een afname naarmate de ruis toeneemt) observeerbaar is in de praktijk over verschillende datasets en modelarchitecturen.

Resultaten

• Theoretische grenzen: De afgeleide bovengrenzen tonen aan dat in de convexe setting de stabiliteit lineair afneemt met de magnitude van de privacyruis ($\sigma_{DP}$) in het zwakke privacyregime. De ondergrenzen bevestigen dat deze verslechtering onvermijdelijk is en evenredig is aan het product van de MIA-succeskans en de door de Byzantijnse aanval veroorzaakte instabiliteit.
• Transitiepunt: De transitie tussen het zwakke en sterke privacyregime vindt plaats wanneer de ruismagnitude voldoende is om de adversary te verhinderen om lidmaatschap betrouwbaar te infereren. In het sterke regime wordt de stabiliteitsgrens gedomineerd door standaard DP-naar-stabiliteit argumenten, die invers schalen met de ruis.
• Experimentele observaties:
  • Op synthetische en MNIST-datasets (die voldoen aan de convexiteitsveronderstellingen), vertoont de generalisatiefout een duidelijke "U-vormige" curve ten opzichte van de ruismultiplier: deze stijgt aanvankelijk (zwakke privacy) en daalt vervolgens (sterke privacy).
  • Op CIFAR-10 (niet-convex) blijft de kwalitatieve trend consistent, hoewel het gedrag minder regelmatig is, wat suggereert dat het fenomeen zich uitstrekt buiten de convexe setting.
  • De experimenten bevestigen dat hogere dimensionaliteit en hogere fracties van Byzantijnse deelnemers de fout in het zwakke privacyregime verergeren.

Significantie
Het artikel beweert de karakterisering van de privacy-robuustheid-utiliteit afweging in gedistribueerd leren te verfijnen. Door de focus te verschuiven van de optimalisatiefout naar de generalisatiefout, onthullen de auteurs dat het "trilemma" geen universele constante is, maar een regime-afhankelijk fenomeen. Het werk benadrukt dat in praktische scenario's waar privacybudgetten vaak krap zijn (zwak privacyregime), het gelijktijdig bereiken van privacy, robuustheid en generalisatie fundamenteel beperkt is omdat privacyruis onbedoeld Byzantijnse aanvallen kan faciliteren. Daarentegen kunnen privacy en robuustheid in hoge ruisregimes samenbestaan zonder de generalisatie te verslechteren. Dit biedt een theoretisch tegenpunt voor het optimalisatietrilemma, en suggereert dat de impact van privacy op leerprestaties genuanceerder is dan voorheen begrepen, afhankelijk van het vermogen van de adversary om de ruis te gebruiken voor inferentie.