Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge

Titel

Evaluatie van Differentiële Privacy (DP) tegen Lidmaatschapsinferentie in Federated Learning: Inzichten uit de NIST Genomics Red Team Challenge.

1. Probleemstelling

Federated Learning (FL) staat machine learning toe zonder ruwe data uit te wisselen, wat privacygevoelige domeinen zoals gezondheidszorg en genomics beschermt. Echter, de getrainde modellen zelf blijven kwetsbaar voor Lidmaatschapsinferentie-aanvallen (MIA's). Een succesvolle MIA bevestigt of een specifiek datapunt deel uitmaakte van het trainingssetje van een model. Dit vormt een risico voor individuen die geen toestemming hebben gegeven voor hun data-inclusie en kan dienen als verkenning voor verdere aanvallen.

Hoewel Differentiële Privacy (DP) wordt gebruikt als verdediging door ruis toe te voegen aan gradiëntupdates, is de effectiviteit hiervan tegen geavanceerde, multi-signalen MIA's in FL-omgevingen niet volledig gekarakteriseerd. De uitdaging is om te bepalen hoeveel privacyverlies er optreedt bij verschillende privacy-budgetten ($\epsilon$) en of bestaande verdedigingen voldoende zijn tegen geavanceerde aanvallers.

2. Methodologie

De auteurs evalueren een nieuwe aanvalsmethode binnen het kader van de 2025 NIST Genomics PPFL Red Teaming Event. De aanval richt zich op het voorspellen van seed coat-kleuren bij sojabonen op basis van genetische varianten (125.767 features).

Bedreigingsmodel

• Aanvaller: De centrale server (aggregator) die als kwaadaardig wordt verondersteld.
• Toegang: Black-box toegang tot de getrainde client-modellen (invoer en uitvoer/probabiliteiten).
• Hulpdata: De aanvaller heeft toegang tot "Relevante" data (mix van leden en niet-leden), "Externe" data (garandeerd niet-leden) en een "Uitdaging" dataset (blind testset).
• Aanneming: Eén client colludeert met de server, waardoor de aanvaller de waarheid weet over de leden van die specifieke client (Client 4) voor validatie.

De Aanval: Stacking-based Ensemble MIA

In plaats van traditionele "shadow models" (die onmogelijk zijn zonder toegang tot de trainingsdata), gebruikt de auteurs een stacking-strategie:

1. Base Estimators: Ze trainen zeven verschillende black-box modellen (Neural Network, Random Forest, Decision Tree, Gradient Boosting, KNN, SVM, Logistic Regression) op de output-probabiliteiten van het doelmodel.
2. Feature Engineering: Voor elk record wordt een 8-dimensionale feature vector gemaakt bestaande uit:
   • De lidmaatschapskansen van de 7 base-modellen.
   • De Cross-Entropy Loss (LCE) van het doelmodel (een directe maat voor overfitting).
3. Meta-Classifier: Een XGBoost-model fungeert als meta-leraar die deze heterogene signalen combineert om de uiteindelijke lidmaatschapsvoorspelling te doen.
4. Domain Adaptation: Omdat de meta-leraar alleen op Client 4 is getraind (waar de labels bekend zijn), wordt deze aangepast voor andere clients door ze te fine-tunen op de "Externe" data (garandeerd niet-leden) om distributieveranderingen te compenseren.

3. Belangrijkste Bijdragen

1. Shadow-Model-vrije Aanval: Een black-box MIA die geen toegang vereist tot de trainingsdata van de clients, wat cruciaal is voor realistische FL-bedreigingsmodellen.
2. Empirische Karakterisering van DP: Een gedetailleerde analyse van hoe een multi-signalen aanval degradeert over drie privacy-niveaus:
   • Geen DP ($\epsilon = \infty$)
   • Laag Privacy ($\epsilon = 200$)
   • Hoog Privacy ($\epsilon = 10$)
3. Onafhankelijke Validatie: Evaluatie op een publiek, third-party benchmark (NIST Genomics dataset), wat reproduceerbare resultaten biedt voor toekomstig onderzoek.

4. Resultaten

De aanval werd getest tegen CNN-modellen (1D CNN) in de drie privacy-scenario's.

• Zonder DP ($\epsilon = \infty$): De ensemble-aanval behaalde 53,42% nauwkeurigheid, wat aanzienlijk hoger is dan de beste baseline (30,14%). Dit bevestigt dat de meta-classifier rijkere signalen extrahert dan enkelvoudige methoden.
• Laag Privacy ($\epsilon = 200$): De nauwkeurigheid daalde naar 38,36%. Hoewel dit lager is dan zonder DP, blijft het significant hoger dan de baselines. Cruciaal: terwijl een enkelvoudige signaalaanval (zoals LiRA) hier bijna volledig faalt (TPR van 0% bij lage FPR), behoudt de ensemble-aanval een TPR van 30,77% bij een FPR van 1%. Dit toont aan dat er nog steeds meetbaar lekken zijn bij "zwakke" DP.
• Hoog Privacy ($\epsilon = 10$): De nauwkeurigheid daalde naar 24,66%, wat dicht bij de willekeurige toewijzing (random guess) ligt. Hier is de DP-ruis sterk genoeg om de distributies van leden en niet-leden volledig te laten samenvloeien, waardoor alle methoden falen.

Privacy-Utility Trade-off:
De studie toont een scherpe afweging:

• Bij $\epsilon = 200$ blijft de modelnuttigheid hoog (ca. 83-85% nauwkeurigheid), maar is er nog steeds een significant privacyrisico voor multi-signalen aanvallers.
• Bij $\epsilon = 10$ wordt de privacy goed beschermd, maar faalt het model om te convergeren (nuttigheid daalt tot 16-47%), vooral bij realistische FL-instellingen met weinig lokale epochs.

5. Betekenis en Conclusie

De paper concludeert dat Differentiële Privacy alleen mogelijk onvoldoende is tegen geavanceerde, multi-signalen MIA's zonder de bruikbaarheid van het model te offeren.

• Zwakke DP ($\epsilon = 200$) biedt geen volledige bescherming tegen een slimme aanval die gebruikmaakt van ensemble-methoden en loss-signalen.
• Sterke DP ($\epsilon = 10$) biedt wel bescherming, maar maakt het model in dit specifieke genomics-scenario onbruikbaar door extreme nuttigheidsverlies.

De auteurs suggereren dat voor de inzet van Privacy-Preserving FL in gevoelige domeinen (zoals genomics), aanvullende verdedigingen nodig zijn, zoals Secure Aggregation of Output Perturbation, om de privacy te waarborgen zonder de modelnuttigheid te vernietigen. De studie benadrukt dat het evalueren van privacy alleen op basis van gemiddelde nauwkeurigheid van eenvoudige aanvallen het risico kan onderschatten; geavanceerde ensemble-aanvallen onthullen resterende kwetsbaarheden.