Technische Samenvatting: Heroverweging van Privacy Amplificatie door Subsampling in Selective Release DPSGD

1. Probleemstelling

Differentially Private Stochastic Gradient Descent (DPSGD) is de de facto standaard voor privacy-bewuste deep learning, maar lijdt onder aanzienlijke degradatie van de bruikbaarheid (utility) en trage convergentie. Deze problemen komen voort uit gradiënt-clipping (wat bias introduceert door signalen weg te gooien), Gaussische ruisinjectie (wat de variantie verhoogt) en de gevoeligheid van het algoritme voor hyperparameters.

Recent werk, specifiek het Differentially Private Selective Update and Release (DPSUR) algoritme, probeerde deze problemen te verzachten door modelupdates alleen selectief vrij te geven wanneer ze de prestaties verbeteren. De auteurs identificeren echter twee kritieke gebreken in het bestaande DPSUR-framework:

1. Gebrekkige Privacy Accounting: DPSUR gaat uit van een uniforme Poisson-samplingwaarschijnlijkheid ($q$) voor alle geaccepteerde updates. Het houdt geen rekening met het feit dat het "selectieve release"-mechanisme fungeert als een datagebonden filter. Dit filter verandert de effectieve samplingwaarschijnlijkheid van individuele datapunten in geaccepteerde batches, wat potentieel kan leiden tot een onderschatting van het privacyverlies en een schending van rigoureuze privacygaranties.
2. Computationele Overhead: DPSUR vertrouwt op een aparte validatiebatch om de kwaliteit van de update te evalueren, wat aanzienlijke computationele kosten en latentie met zich meebrengt.
3. Gradiënt Misalignment: De minimale clipping-strategie in DPSUR kan nog steeds leiden tot gradiënt-misalignment en bias.

2. Methodologie: DPSR-CG

De auteurs stellen Differentially Private Selective Release based on Clipped Gradients (DPSR-CG) voor, een nieuw framework dat is ontworpen om de theoretische en praktische beperkingen van DPSUR aan te pakken.

Kernmechanismen

• Intrinsieke Metrische Filtratie: In plaats van een aparte validatiebatch en loss-berekening te gebruiken, maakt DPSR-CG gebruik van de clipping bias (het verschil in geaccumuleerde gradiëntnormen) als een intrinsieke metriek om de kwaliteit van de update te bepalen. Dit elimineert de computationele overhead van validatiestappen.
• Gradiënt- en Bias-schaling: Het algoritme gebruikt een gradiënt-schalingsmechanisme (geïnspireerd door DPSGD-Global) in plaats van strikte minimale clipping. Dit behoudt de relatieve directionele uitlijning van gradiënten terwijl de sensitiviteit begrensd blijft. Dezelfde schalingslogica wordt toegepast op de clipping-bias metriek die wordt gebruikt voor de release-beslissing.
• Conditionele Acceptatie: Een update wordt alleen geaccepteerd als de ruisige, geclippte bias-variatie ($\tilde{\Delta E}$) groter is dan een geschaalde drempelwaarde ($\beta \cdot C_t$). Als aan de voorwaarde niet wordt voldaan, wordt de update afgewezen en behoudt het model zijn vorige staat zonder de iteratie-teller te verhogen.

Rigoureuze Privacy Analyse

De theoretische bijdrage van het paper centreert zich rond een nieuw privacy accounting framework dat de fout van "sampling probability inflation" in eerdere werken corrigeert:

• Adaptieve Filtratie: De auteurs modelleren het selectieproces als een datagebonden filter geconditioneerd op historische filtratie ($\mathcal{F}_{t-1}$).
• Worst-Case Afbakening: Ze leiden een rigoureuze bovengrens af voor de effectieve samplingwaarschijnlijkheid ($q_{sup}$). Met behulp van de stelling van Bayes en eigenschappen van de Gaussische distributie bewijzen ze dat de conditionele waarschijnlijkheid dat een sample is opgenomen in een geaccepteerde batch, begrensd is door een constante factor ten opzichte van de baseline sampling rate $q$.
• Theorema 3.1: Het paper stelt vast dat de waarschijnlijkheidsinflatie-ratio ($\rho_{max}$) strikt begrensd is, waardoor het gebruik van de Adaptive Composition Theorem voor Rényi Differential Privacy (RDP) mogelijk is. Dit zorgt ervoor dat het privacybudget wordt berekend op basis van de worst-case effectieve sampling rate, wat de "onbeperkte" lekkage voorkomt die in DPSUR wordt geclaimd.

3. Belangrijkste Bijdragen

1. Identificatie van Privacy Gaten: De auteurs demonstreren dat bestaande selectieve release-algoritmen (zoals DPSUR) de variatie in samplingwaarschijnlijkheid over het hoofd zien die door het release-mechanisme wordt geïntroduceerd, wat de rigueur van hun privacygaranties in gevaar brengt.
2. Nieuw Algoritme (DPSR-CG): Ze stellen een nieuw algoritme voor dat clipping bias als selectiemetriek gebruikt en gradiënt-schaling toepast om sensitiviteit te beheren, waardoor de noodzaak voor dure validatiestappen vervalt.
3. Rigoureuze Privacy Accounting: Een wiskundig solide privacy-analyse wordt geleverd die de worst-case effectieve samplingwaarschijnlijkheid ($q_{sup}$) afbakent, wat strikte $(\epsilon, \delta)$-DP garanties mogelijk maakt onder adaptieve compositie.
4. Convergentie Analyse: Het paper biedt een theoretische convergentie-afbakening voor DPSR-CG onder niet-convexe assumpties, waarbij de fout wordt gedecomponeerd in initialisatiefout, selectieruis-straf en gradiënt-perturbatievariantie.

4. Experimentele Resultaten

De auteurs hebben DPSR-CG geëvalueerd op vier datasets: MNIST, CIFAR-10, IMDB en Fashion-MNIST (FMNIST), waarbij het is vergeleken met standaard DPSGD en vijf state-of-the-art varianten (inclusief DPSUR).

• Model Bruikbaarheid (Utility): DPSR-CG presteerde consequent beter dan alle concurrenten over alle datasets en privacybudgets ($\epsilon \in \{1, 2, 3\}$). Opvallend genoeg, op beeld-datasets, overtrof DPSR-CG de non-private baselines bij $\epsilon=3$, terwijl eerdere literatuur suggereerde dat DPSUR dit alleen bereikte op CIFAR-10 onder lossere budgetten ($\epsilon=4$).
• Efficiëntie van het Privacybudget: De auteurs hebben de effectieve samplingwaarschijnlijkheid ($q_{sup}$) voor DPSUR opnieuw berekend met hun nieuwe accounting framework. Ze vonden dat onder strikte privacygaranties de effectieve trainingsstappen van DPSUR met bijna de helft verminderd zouden worden door waarschijnlijkheidsinflatie, wat verklaart waarom de prestaties van DPSUR achteruitgaan wanneer het rigoureus wordt geanalyseerd.
• Robuustheid: DPSR-CG demonstreerde robuustheid tegen Black-Box/Shadow en White-Box/Partial membership inference attacks, waarbij de succesratio van aanvallen werd teruggebracht naar bijna het niveau van willekeurige gokken ($\approx 0.50$).
• Ablatie: Experimenten bevestigden dat het selectieve release-mechanisme zelf een prestatieverbetering biedt ten opzichte van non-selectieve baselines, en dat DPSR-CG DPSUR overtreft zelfs wanneer beide dezelfde gradiënt-schalingsmechanismen gebruiken, wat de superioriteit van de intrinsieke metriek en de gecorrigeerde privacy accounting valideert.

5. Betekenis en Claims

Het paper claimt dat DPSR-CG een significante vooruitgang vormt in het veld van differentially private deep learning door een fundamentele theoretische inconsistentie in eerdere selectieve release-methoden op te lossen.

• Theoretische Rigoureusheid: De primaire betekenis ligt in de correctie van de privacy accounting fout. De auteurs stellen dat eerdere claims van hoge bruikbaarheid in selectieve release mogelijk gebaseerd waren op onderschatte privacykosten. Door de effectieve samplingwaarschijnlijkheid rigoureus af te bakenen, biedt DPSR-CG een methode die zowel theoretisch solide als praktisch efficiënt is.
• Efficiëntie: Door externe validatie te vervangen door een intrinsieke gradiënt-gebaseerde metriek, vermindert de methode de computationele overhead terwijl de modelnauwkeurigheid behouden blijft of zelfs verbetert.
• Prestaties: De empirische resultaten suggereren dat de combinatie van gradiënt-schaling, intrinsieke filtratie en rigoureuze privacy accounting het model in staat stelt effectiever uit slechte lokale minima te ontsnappen dan standaard DPSGD, waardoor state-of-the-art nauwkeurigheid wordt bereikt onder strikte privacyrestricties.

De auteurs concluderen dat hoewel selectieve release een krachtig paradigma is, het succes ervan afhangt van een wiskundig consistente privacy-analyse die rekening houdt met het datagebonden karakter van het selectieproces. Toekomstig werk wordt voorgesteld om dit paradigma uit te breiden naar federated learning en foundation models.