Evaluating Differential Privacy Against Membership Inference in Federated Learning: Insights from the NIST Genomics Red Team Challenge

1. Problemstellung und Kontext

Das Paper adressiert die Sicherheitslücken in Federated Learning (FL)-Systemen, insbesondere im Kontext sensibler genomischer Daten. Obwohl FL die direkte Weitergabe roher Daten verhindert, bleiben die trainierten Modelle anfällig für Membership Inference Attacks (MIAs). Ein erfolgreicher MIA bestätigt einem Angreifer, ob ein spezifischer Datensatz im Trainingsset eines Modells enthalten war. Dies verletzt die Privatsphäre der Dateninhaber und kann als Aufklärung für weitere Angriffe (z. B. Evasion oder Extraction) dienen.

Als Verteidigungsmechanismus wird Differential Privacy (DP) eingesetzt, indem Rauschen in die Gradientenupdates der lokalen Modelle eingefügt wird. Die zentrale Forschungsfrage lautet: Wie effektiv ist DP tatsächlich gegen fortschrittliche, ensemble-basierte MIAs in einem realistischen FL-Szenario?

Die Evaluation basiert auf dem 2025 NIST Genomics Privacy-Preserving Federated Learning (PPFL) Red Teaming Event. Das Szenario umfasst die Vorhersage der Samenschalenfarbe von Sojabohnen basierend auf Genvarianten (125.767 Merkmale). Die Daten sind hochdimensional, aber die Stichprobengröße ist gering ($n \ll p$), was zu einer starken Überanpassung (Overfitting) der lokalen Modelle führt und MIAs begünstigt.

Bedrohungsmodell:

• Der Angreifer ist der zentrale Server (untrusted aggregator), der böswillig ist.
• Der Angreifer hat Black-Box-Zugriff auf die trainierten Client-Modelle (Eingaben und Ausgaben/Prognosen sind sichtbar, interne Parameter oder Gradienten sind nicht zugänglich).
• Der Angreifer verfügt über Hilfsdaten (Relevant-Daten, die teilweise Mitglieder enthalten, und External-Daten, die garantiert keine Mitglieder sind).
• Ein kritischer Annahme im Szenario ist die Kollusion eines Clients mit dem Server, wodurch der Angreifer für einen Client (Client 4) die wahren Mitgliedschaftslabels kennt.

2. Methodik: Ensemble-basierter Stackings-Angriff

Da im Black-Box-FL-Szenario keine klassischen „Shadow Models" (die auf denselben Daten wie das Zielmodell trainiert werden) erstellt werden können, schlägt der Autor einen neuartigen Stacking-Ansatz vor.

Der Angriffs-Pipeline:

1. Basis-Ensemble (Base Estimators):
   Statt eines einzelnen Angriffsmodells werden sieben verschiedene Black-Box-Classifier trainiert, um die Mitgliedschaftswahrscheinlichkeit zu schätzen. Diese nutzen die Ausgabe des Zielmodells (Vorhersage-Wahrscheinlichkeiten und Cross-Entropy-Verlust) als Eingabe.

   • Algorithmen: Neuronales Netz (NN), Random Forest (RF), Decision Tree (DT), Gradient Boosting (GB), K-Nearest Neighbors (KNN), Support Vector Machine (SVM) und Logistic Regression (LR).
   • Training: Die Basis-Modelle werden auf den Hilfsdaten trainiert. Da die Labels in den „Relevant-Daten" verrauscht sind (ein Mix aus Mitgliedern und Nicht-Mitgliedern), dienen sie als noisy Proxy.

2. Meta-Feature-Engineering:
   Für jeden zu testenden Datensatz werden die kontinuierlichen Wahrscheinlichkeiten aller sieben Basis-Modelle sowie der Cross-Entropy-Verlust des Zielmodells extrahiert. Dies ergibt einen 8-dimensionalen Feature-Vektor:
   $$X_{meta} = [p_{NN}, p_{RF}, \dots, p_{LR}, L_{CE}]$$

3. Meta-Classifier (Stacking):
   Ein XGBoost-Modell fungiert als Meta-Lerner, der die Vorhersagen der sieben Basis-Modelle kombiniert, um die endgültige Mitgliedschaft zu bestimmen.

   • Training des Meta-Modells: Es wird auf Client 4 trainiert, für den die Ground-Truth-Labels bekannt sind.
   • Domain Adaptation: Um das Modell auf Clients 1–3 anzuwenden, wird eine Partial-Fit-Strategie verwendet. Das Meta-Modell wird mit den „External Records" (garantierte Nicht-Mitglieder, Label=0) der jeweiligen Ziel-Clients feinabgestimmt (fine-tuned), um Verteilungsverschiebungen auszugleichen.

4. Entscheidungsregel:
   Ein Datensatz wird nur dann als Mitglied eines bestimmten Clients klassifiziert, wenn zwei Bedingungen erfüllt sind:

   • Die vorhergesagte Wahrscheinlichkeit überschreitet einen client-spezifischen Schwellenwert (55. Perzentil).
   • Die Wahrscheinlichkeit für diesen Client ist um mindestens 50% höher als der Durchschnitt über alle anderen Clients ($\lambda = 1.5$).

3. Wichtige Beiträge

1. Shadow-Model-freier Angriff: Entwicklung einer Black-Box-MIA, die im FL-Kontext ohne Zugriff auf die Trainingsdaten der Clients auskommt, indem sie Hilfsdaten und Meta-Lernen nutzt.
2. Empirische Charakterisierung von DP: Detaillierte Analyse, wie sich ein multi-signal-basierter Angriff über drei DP-Ebenen hinweg verhält:
   • Kein DP ($\epsilon = \infty$)
   • Niedrige Privatsphäre ($\epsilon = 200$)
   • Hohe Privatsphäre ($\epsilon = 10$)
3. Reproduzierbare Benchmark: Evaluation auf einem unabhängigen, third-party genomischen Datensatz (NIST), der als Referenz für zukünftige MIA-Forschung dient.

4. Ergebnisse

Die Evaluation erfolgte in zwei Phasen: Lokale Validierung auf Client 4 und Blind-Test auf dem NIST-Plattform.

A. Angriffsgenauigkeit (Accuracy) auf dem Challenge-Set:

• Kein DP ($\epsilon = \infty$): Der Ensemble-Angriff erreichte 53,42 % Genauigkeit (deutlich höher als die besten Baselines bei ca. 30 %). Dies bestätigt, dass das Ensemble signifikant mehr Mitgliedschaftssignale extrahiert als einzelne Modelle.
• Niedrige Privatsphäre ($\epsilon = 200$): Die Genauigkeit sank auf 38,36 %. Obwohl dies statistisch nicht signifikant von den besten Baselines abweicht, zeigt es, dass selbst bei einem großzügigen DP-Budget ($\epsilon=200$) ein messbares Leckage besteht, das von komplexeren Angriffen ausgenutzt wird, während einfache Baselines (wie LiRA) hier bereits kollabieren.
• Hohe Privatsphäre ($\epsilon = 10$): Die Genauigkeit fiel auf 24,66 %, was nahe am Zufallswert (ca. 25-26 %) liegt. Hier sind die Signale für alle Methoden ununterscheidbar.

B. True-Positive-Rate (TPR) bei niedriger False-Positive-Rate (FPR):
Dies ist ein strengeres Maß für das Privatsphärenrisiko.

• Bei $\epsilon = 200$ und einer FPR von 1 % erreichte der Ensemble-Angriff eine TPR von 30,77 %, während die klassische LiRA-Methode (basierend auf einem einzelnen Verlust-Signal) bei 0,00 % lag.
• Dies zeigt, dass das Rauschen von DP die Verteilung der Verluste so verändert, dass einfache Schwellenwerte versagen, das Ensemble jedoch durch die Kombination mehrerer Signale (Wahrscheinlichkeiten + Verlust) residualen Leckagen aufspüren kann.
• Bei $\epsilon = 10$ versagten beide Methoden bei niedrigen FPRs (0,00 % TPR).

C. Trade-off zwischen Privatsphäre und Nutzen (Utility):
Die Autoren simulierten den Nutzen der Modelle unter realistischen Bedingungen (weniger lokale Epochen als im Challenge-Szenario).

• $\epsilon = 200$: Das Modell behält einen nützlichen Genauigkeitsbereich (83–85 %).
• $\epsilon = 10$: Das Modell konvergiert nicht und erreicht Genauigkeiten nahe dem Zufallswert (16–47 %).
• Fazit: Um einen wirksamen Schutz gegen MIAs zu gewährleisten ($\epsilon=10$), muss die Modellnutzbarkeit in diesem Szenario fast vollständig geopfert werden. Ein Kompromiss bei $\epsilon=200$ erhält den Nutzen, lässt aber signifikante Restrisiken bestehen.

5. Bedeutung und Schlussfolgerung

Das Paper demonstriert, dass Differential Privacy allein in hochdimensionalen, datenarmen FL-Szenarien (wie Genomik) eine zweischneidige Waffe ist:

1. Wirksamkeit: Starke DP ($\epsilon=10$) eliminiert Mitgliedschaftslecks effektiv, zerstört aber gleichzeitig die Modellnutzbarkeit.
2. Resilienz: Schwache DP ($\epsilon=200$) erhält die Nutzbarkeit, ist jedoch gegen fortschrittliche, ensemble-basierte Angreifer unzureichend, da diese durch die Kombination multipler Signale (Stacking) residualen Leckagen aufspüren können, die einfache Angriffe übersehen.

Die Studie unterstreicht, dass für den Einsatz von PPFL in sensiblen Bereichen wie der Genomik zusätzliche Verteidigungsmechanismen (z. B. Secure Aggregation oder Output Perturbation) notwendig sein könnten, um die Lücke zwischen Privatsphäre und Nutzen zu schließen, ohne die Modellleistung zu stark zu beeinträchtigen.