Dynamic Probabilistic Noise Injection for Membership Inference Defense

Titel: Dynamic Probabilistic Noise Injection for Membership Inference Defense

Auteurs: Javad Forough en Hamed Haddadi (Imperial College London)

---

1. Het Probleem: Membership Inference Attacks (MIA)

Machine learning-modellen kunnen gevoelige informatie uit hun trainingsset "leren" (memoriseren), wat leidt tot privacyrisico's. Een Membership Inference Attack (MIA) is een aanval waarbij een tegenstander probeert te bepalen of een specifiek data-punt deel uitmaakte van de trainingsset van een model.

• Risico: In sectoren zoals gezondheidszorg of financiën kan dit onthullen of een patiënt een bepaalde ziekte had of of een klant een specifieke transactie heeft gedaan.
• Huidige oplossingen en hun beperkingen: Traditionele methoden, zoals statische Differentiële Privacy (DP), voegen een vast hoeveelheid ruis toe tijdens training of inferentie. Dit leidt echter tot een nadelige afweging (trade-off):
  • Te weinig ruis: De aanval slaagt nog steeds.
  • Te veel ruis: De nauwkeurigheid van het model (de "utility") daalt aanzienlijk.
  • Het probleem is dat niet alle vragen (queries) even gevoelig zijn; een uniforme ruisinjectie is dus inefficiënt.

2. Methodologie: DynaNoise

De auteurs stellen DynaNoise voor, een adaptieve verdediging die wordt uitgevoerd op het moment van inferentie (post-hoc). In plaats van een vaste ruis toe te passen, past DynaNoise de hoeveelheid ruis dynamisch aan op basis van de gevoeligheid per query.

Het proces bestaat uit drie hoofdstappen:

1. Gevoeligheidsanalyse (Sensitivity Analysis):

   • Voor elke invoer $q$ berekent het model de kansverdeling $p$.
   • Er wordt de Shannon-entropie $H(p)$ berekend. Lage entropie betekent dat het model zeer zeker is van zijn voorspelling (hoge vertrouwen), wat vaak correleert met een hoger risico op het lekken van lidmaatschapsinformatie.
   • Een gevoeligheidsscore $R(q)$ wordt afgeleid: $R(q) = 1 - \frac{H(p)}{\log k}$. Een hogere score betekent een hoger risico.

2. Dynamische Ruisinjectie:

   • De variantie van de toe te voegen Gaussische ruis ($\sigma^2$) wordt geschaald op basis van de gevoeligheidsscore:
     $$\sigma^2(q) = \sigma_0^2 (1 + \lambda R(q))$$
   • Hierbij is $\sigma_0$ de basisvariantie en $\lambda$ een schalingsparameter.
   • Resultaat: Hoog-risico queries (hoge zekerheid) krijgen meer ruis om lidmaatschapssignalen te verdoezelen, terwijl laag-risico queries (onzekere voorspellingen) minder ruis krijgen om de nauwkeurigheid te behouden.

3. Probabilistische Glading (Smoothing):

   • Na het toevoegen van ruis worden de verstoerde logits opnieuw genormaliseerd met een temperatuur-geschaalde softmax-functie ($T > 1$). Dit zorgt voor een gestructureerde uitkomst die de voorspellende bruikbaarheid behoudt.

3. Belangrijkste Bijdragen

1. DynaNoise-mechanisme: Een nieuwe, post-hoc verdediging die ruis dynamisch aanpast aan de onzekerheid van het model per query. Dit vereist geen hertraining van het model en is model-onafhankelijk.
2. MIDPUT-metriek: De auteurs introduceren MIDPUT (Membership Inference Defense Privacy-Utility Trade-off). Dit is een scalar-metriek die de balans kwantificeert tussen de reductie van de aanvalsuccesratio (ASR) en het behoud van de modelnauwkeurigheid.
   • Formule: $MIDPUT = \Delta_{attack} - \Delta_{accuracy}$.
   • Een hogere score betekent betere privacy met minimale verlies aan bruikbaarheid.
3. Uitgebreide Evaluatie: Systematische tests op drie benchmarks (CIFAR-10, ImageNet-10, SST-2) tegen zes verschillende soorten MIAs, waaronder de state-of-the-art LiRA (Likelihood Ratio Attack) en Shadow-model-aanvallen.

4. Resultaten

De experimenten tonen aan dat DynaNoise superieur presteert ten opzichte van bestaande methoden zoals AdvReg, MemGuard, RelaxLoss, SELENA en HAMP.

• Privacy vs. Utility: DynaNoise bereikt een aanzienlijke daling in de succesratio van aanvallen (vaak dicht bij 50%, wat neerkomt op willekeurig gokken) terwijl de nauwkeurigheid van het doelmodel bijna gelijk blijft aan de basislijn (zonder verdediging).
• Vergelijking met HAMP: Hoewel HAMP ook sterke privacy biedt door overconfidence te onderdrukken, doet dit ten koste van de nauwkeurigheid, vooral bij beelddatasets. DynaNoise behoudt de nauwkeurigheid beter door selectief ruis toe te voegen.
• Berekeningsoverhead: DynaNoise is extreem lichtgewicht. Het vereist geen hertraining en voegt slechts $O(\ell)$ overhead toe aan de inferentie (waarbij $\ell$ het aantal klassen is), in tegenstelling tot methoden zoals MemGuard (iteratieve optimalisatie) of SELENA (ensemble training).
• MIDPUT Scores: DynaNoise behaalde de hoogste overall MIDPUT-scores op CIFAR-10 en ImageNet-10, wat aantoont dat het de beste balans biedt tussen privacy en prestaties. Op SST-2 (tekst) presteerde het vergelijkbaar met de beste methoden, hoewel HAMP hier iets beter scoorde vanwege de aard van taalmodellen.

5. Betekenis en Conclusie

Dit paper is significant omdat het een praktische oplossing biedt voor het fundamentele probleem van de privacy-utility trade-off in machine learning.

• Adaptiviteit: Door te erkennen dat niet alle voorspellingen even gevoelig zijn, vermijdt DynaNoise de "overkill" van statische ruisinjectie.
• Implementatievriendelijkheid: Omdat het een post-hoc methode is, kan het direct worden toegepast op bestaande, voorgetrainde modellen (zoals AlexNet of DistilBERT) zonder architecturale wijzigingen of toegang tot de trainingsdata.
• Toekomstperspectief: Hoewel DynaNoise geen formele differentieel-privacygaranties biedt (het is empirisch robuust), biedt het een zeer efficiënte en effectieve verdediging tegen de meest geavanceerde membership inference attacks, wat het een sterke kandidaat maakt voor inzet in MLaaS (Machine Learning as a Service) omgevingen.

Kortom, DynaNoise bewijst dat kennis van de query-gevoeligheid de sleutel is tot het maximaliseren van privacy zonder de bruikbaarheid van machine learning-modellen te offeren.