💻 computer science

Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection

Die Arbeit stellt FedSVA vor, einen erklärbar differenziell privaten Mechanismus für das Federated Learning, der mithilfe von Shapley-Werten attributbasiertes Rauschen dynamisch kalibriert, um sowohl strenge Privatsphärengarantien als auch eine optimierte Modellgenauigkeit zu gewährleisten.

Ursprüngliche Autoren: Yunbo Li, Jiaping Gui, Yue Wu

Veröffentlicht 2026-04-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunbo Li, Jiaping Gui, Yue Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und Ihre Nachbarn wollen gemeinsam einen sehr klugen Kochkurs organisieren, um die perfekte Pizza-Rezeptur zu finden. Das Problem ist: Niemand möchte sein geheimes Familienrezept (die Daten) an die anderen weitergeben oder gar an einen zentralen Kochmeister (den Server).

Das Grundproblem: Der "Flüsternde" Koch
Beim herkömmlichen "Federated Learning" (ein gemeinsames Lernen ohne Datenaustausch) schicken alle nur kleine Notizen mit ihren Änderungen an der Rezeptur an den Kochmeister. Aber es gibt ein Risiko: Ein neugieriger Kochmeister (oder ein Spion unter den Nachbarn) könnte aus diesen Notizen das Originalrezept rekonstruieren. Um das zu verhindern, fügt man normalerweise "Rauschen" hinzu – also absichtlich falsche Informationen in die Notizen, wie wenn man beim Übermitteln der Notizen absichtlich ein paar Buchstaben vertauscht.

Das Problem bei den alten Methoden war: Man hat das Rauschen oft willkürlich oder nach dem Bauchgefühl hinzugefügt.

Entweder war es zu viel: Die Notizen waren so voller Unsinn, dass niemand mehr die echte Rezeptur verstand (das Modell wurde dumm).
Oder es war zu wenig: Der Spion konnte trotzdem das Originalrezept erraten.
Und das Schlimmste: Niemand konnte erklären, warum gerade so viel Rauschen hinzugefügt wurde. Es war ein "Black Box"-Verfahren.

Die Lösung: FedSVA – Der "Gerechtigkeits-Check"
Die Forscher von der Shanghai Jiao Tong Universität haben eine neue Methode namens FedSVA entwickelt. Sie ist wie ein intelligenter, fairer Richter, der genau weiß, wann und wie viel Rauschen nötig ist.

Hier ist die einfache Erklärung mit einer Analogie:

1. Die Schatzkarte (Shapley-Werte)

Stellen Sie sich vor, jeder Teilnehmer hat einen Koffer mit Zutaten. Manche Zutaten sind sehr sensibel (z. B. das geheime Gewürzmix-Verhältnis), andere sind harmlos (z. B. normales Mehl).

FedSVA nutzt ein mathematisches Werkzeug namens Shapley-Werte (aus der Spieltheorie). Man kann sich das wie eine Schatzkarten-Analyse vorstellen:

Das System fragt sich: "Wie viel hat diese eine geheime Zutat zum Erfolg der Pizza beigetragen?"
Wenn eine geheime Zutat den Geschmack der Pizza enorm verbessert, ist ihr "Beitrag" hoch.
Wenn eine Zutat kaum einen Unterschied macht, ist ihr Beitrag gering.

2. Der maßgeschneiderte Schutz (Dynamisches Rauschen)

Anstatt allen das gleiche Maß an Rauschen zu geben, passt FedSVA den Schutz genau an:

Hoher Beitrag = Hoher Schutz: Wenn eine geheime Zutat sehr wichtig für das Ergebnis ist, wird die Notiz mit dieser Zutat stark verrauscht (viel "Salz und Pfeffer" in die Notiz gemischt), damit niemand sie zurückrechnen kann.
Geringer Beitrag = Weniger Schutz: Wenn eine Zutat unwichtig ist, wird nur wenig Rauschen hinzugefügt.

Warum ist das genial?
Stellen Sie sich vor, Sie schützen ein Schloss.

Alte Methoden: Sie bauen eine massive, unüberwindbare Mauer um das ganze Haus, auch um den Schuppen, in dem nur alte Zeitungen liegen. Das kostet viel Energie und macht den Zugang schwer (das Modell wird ungenau).
FedSVA: Es baut eine dicke Mauer nur um den Tresor (die sensiblen Daten) und lässt den Schuppen offen. Das spart Energie und macht den Zugang zum Rest viel einfacher.

3. Das Ergebnis: Besserer Schutz, bessere Pizza

In ihren Tests haben die Forscher gezeigt, dass FedSVA:

Besser schützt: Spione können die Originalrezepte kaum noch erraten (selbst bei weniger Rauschen).
Besser lernt: Da weniger unnötiges Rauschen hinzugefügt wird, bleibt das Modell klug und liefert gute Ergebnisse (hohe Genauigkeit).
Erklärbar ist: Man kann genau sagen: "Wir haben so viel Rauschen hinzugefügt, weil diese Daten 40% zum Erfolg beigetragen haben." Das ist Transparenz statt Black Box.

Zusammenfassung in einem Satz:
FedSVA ist wie ein intelligenter Bodyguard, der nicht jeden Besucher gleich streng abfackelt, sondern genau prüft, wer was trägt, und nur denjenigen, der wirklich etwas Wertvolles (oder Gefährliches) dabei hat, besonders gut schützt – alles ohne die Bewegungsfreiheit der anderen unnötig einzuschränken.

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Trainieren von Modellen, ohne dass lokale Daten die Geräte der Teilnehmer verlassen. Dennoch sind FL-Systeme anfällig für fortgeschrittene Privatsphäre-Angriffe wie Model-Inversion und Membership-Inference, bei denen Angreifer sensible Trainingsdaten rekonstruieren oder Rückschlüsse auf die Anwesenheit bestimmter Datenpunkte ziehen können.

Um dies zu verhindern, wird häufig Differential Privacy (DP) eingesetzt, indem Rauschen in die Modell-Updates injiziert wird. Das zentrale Problem bestehender DP-Methoden im FL-Kontext ist jedoch:

Mangelnde Erklärbarkeit: Die Menge des injizierten Rauschens wird oft heuristisch oder indirekt bestimmt (z. B. basierend auf dem Trainingsfortschritt oder der Anzahl der Clients), ohne einen klaren Bezug zum tatsächlichen Privatsphärenrisiko der spezifischen Daten.
Suboptimale Trade-offs: Dies führt entweder zu übermäßigem Rauschen, das die Modellgenauigkeit (Utility) stark verschlechtert, oder zu unzureichendem Rauschen, das den Datenschutz gefährdet.
Fehlende Granularität: Es wird oft nicht unterschieden, welche Teile der lokalen Daten (Attribute) besonders sensibel sind und daher stärker geschützt werden müssen.

2. Methodik: FedSVA

Die Autoren schlagen FedSVA vor, einen neuartigen, erklärbarkeitsbasierten DP-Mechanismus, der die Shapley-Werte aus der kooperativen Spieltheorie nutzt, um das Rauschen dynamisch und attributbasiert zu kalibrieren.

Der Ansatz besteht aus zwei Hauptmodulen auf Client-Seite:

A. Privacy Estimation (PE) Modul

Datenpartitionierung: Jeder Client unterteilt seinen lokalen Datensatz $D_i$ orthogonal in Teilmengen basierend auf Attributen (z. B. private vs. nicht-private Attribute).
Shapley-Wert-Berechnung: Um den Einfluss jedes Attributs auf das lokale Lernen zu quantifizieren, berechnet FedSVA die Shapley-Werte ( $\psi_a$ $ψ_{a}$ ).
- Dazu werden für jede Kombination von Attributen (Power Set) Hilfsmodelle trainiert und deren Nutzen (Validierungsgenauigkeit) bewertet.
- Der Shapley-Wert misst den marginalen Beitrag eines Attributs zur Gesamtgenauigkeit.
Beitragsrate ( $R^p_i$ ): Aus den Shapley-Werten wird eine Beitragsrate für die privaten Attribute berechnet:
$R^p_i = \frac{\psi^p_i}{\sum_{a \in A \setminus \{p\}} \psi^a_i + \psi^p_i}$
Ein hoher Wert bedeutet, dass die privaten Attribute einen großen Einfluss auf das Modell haben und somit ein höheres Privatsphärenrisiko darstellen.

B. Noise Injection (NI) Modul

Dynamische Rauschanpassung: Basierend auf $R^p_i$ wird die Varianz des Gaußschen Rauschens ( $\sigma^2_i$ ) angepasst.
Risikotoleranz: Die Beitragsrate wird in eine Risikotoleranz $T^p_i$ umgewandelt. Das Rauschen wird so skaliert, dass bei hohem Einfluss der privaten Daten mehr Rauschen hinzugefügt wird, um die Privatsphäre zu schützen, und weniger Rauschen, wenn das Risiko gering ist.
Formel: Die Standardabweichung $\sigma_i$ wird wie folgt berechnet (unter Berücksichtigung der Sensitivität $\Delta f_i$ und des Budgets $\epsilon$ ):
$\sigma_i = \frac{2C\sqrt{\max(T^p_i, \beta_i)}}{\epsilon |D_i|}$
wobei $\beta_i$ eine untere Grenze für den Basisschutz darstellt.

3. Theoretische Analyse

Privatsphärengarantie: FedSVA bietet formale $(\epsilon, \delta')$ -DP-Garantien. Der Wert $\delta'$ hängt direkt von der Beitragsrate $R^p_i$ ab ( $\delta' \le 1.25e^{-R^p_i/2}\delta$ ). Bei geringer Beitragsrate wird ein strikterer Schutz gewährleistet.
Konvergenz: Unter Standardannahmen (L-glatt, schwach konvex) wurde bewiesen, dass FedSVA konvergiert. Der Konvergenzfehler wird durch die injizierte Rauschvarianz begrenzt, zeigt aber eine quadratische Abhängigkeit von der Anzahl der Clients pro Runde ( $K$ ).

4. Ergebnisse und Evaluation

Die Evaluation erfolgte auf den Datensätzen CIFAR-10 (mit ResNet-18) und FEMNIST (mit CNN) unter Verwendung von 100 Clients (davon 10 „honest-but-curious" Angreifer).

Privacy-Utility-Trade-off:
- FedSVA übertrifft alle State-of-the-Art-Baselines (NbAFL, TV DP, Sens DP, DPA DP) signifikant.
- Auf CIFAR-10 bei $\epsilon=0.2$ erreichte FedSVA eine Endgenauigkeit von 75,98 %, während die beste Baseline (DPA DP) nur 65,21 % erreichte.
- Bei $\epsilon=0.5$ stieg die Genauigkeit von FedSVA auf 82,14 %.
Rausch-Injektion: FedSVA injiziert deutlich weniger Rauschen als statische Methoden und eine präzisere Menge als dynamische Baselines, da das Rauschen nur dann erhöht wird, wenn der Beitrag privater Daten signifikant ist.
Schutz vor Rekonstruktionsangriffen: Gegenüber Angriffsversuchen mittels ACGAN (Auxiliary Classifier GAN) zeigte FedSVA eine robuste Verteidigung. Die rekonstruierten Bilder hatten einen deutlich höheren Fréchet Inception Distance (FID)-Wert als beim ungeschützten FedAvg, was auf eine bessere Unkenntlichmachung sensibler Daten hinweist, ohne die Modellleistung zu stark zu beeinträchtigen.
Effizienz: Die Feinabstimmung der Attribut-Granularität ( $N$ ) zeigte, dass eine binäre Aufteilung ( $N=2$ ) den besten Kompromiss zwischen Genauigkeit und Rechenaufwand bietet. Höhere $N$ -Werte erhöhen die Laufzeit exponentiell durch die Berechnung der Shapley-Werte, ohne signifikante Genauigkeitsgewinne.

5. Key Contributions

Erstmalige Integration: FedSVA ist der erste FL-Mechanismus, der Shapley-Werte mit Differential Privacy kombiniert, um eine erklärbare Rauschinjektionsstrategie zu schaffen.
Theoretische Fundierung: Es werden strenge Beweise für die DP-Garantien und die Konvergenz des federierten Optimierungsprozesses unter Rauschen geliefert.
Überlegene Leistung: Experimente belegen einen überlegenen Trade-off zwischen Privatsphäre und Modellnutzen sowie eine effektive Abwehr gegen Rekonstruktionsangriffe im Vergleich zu bestehenden Methoden.

6. Bedeutung und Ausblick

Die Arbeit adressiert das kritische Problem der „Black-Box"-Natur aktueller DP-Methoden in FL. Durch die direkte Verknüpfung der Rauschstärke mit dem quantifizierten Einfluss privater Daten auf das Modell macht FedSVA den Datenschutz interpretierbar und effizient.

Dies ermöglicht es, Ressourcen (Rauschen) gezielt dort einzusetzen, wo das Risiko am höchsten ist, anstatt pauschal zu schützen. Zukünftige Arbeiten zielen darauf ab, die Berechnungskomplexität der Shapley-Werte durch Approximationen zu reduzieren, um eine skalierbare, feingranulare Privatsphärenanalyse für den praktischen Einsatz zu ermöglichen.