🤖 machine learning

FedXDS: Leveraging Model Attribution Methods to counteract Data Heterogeneity in Federated Learning

Dieses Paper stellt FedXDS vor, einen neuartigen Federated-Learning-Ansatz, der erklärbare KI-Merkmalsattribution nutzt, um aufgabenspezifische Datenelemente zwischen Clients zu identifizieren und selektiv zu teilen, wodurch Datenheterogenität gemildert wird, während gleichzeitig formale Datenschutzgarantien gewahrt bleiben und eine überlegene Genauigkeit sowie Konvergenz im Vergleich zu bestehenden Methoden erreicht werden.

Ursprüngliche Autoren: Maximilian Andreas Hoefler, Karsten Mueller, Wojciech Samek

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maximilian Andreas Hoefler, Karsten Mueller, Wojciech Samek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Köchen vor, die versuchen, das beste Pizzarezept der Welt zu kreieren. Jeder von ihnen hat seine eigenen Geheimzutaten und Techniken, aber sie können ihre tatsächlichen Küchen oder Rohzutaten nicht mit den anderen teilen, da strenge Datenschutzregeln gelten. Dies ist Federated Learning: Alle lernen gemeinsam, ohne jemals ihre privaten Daten preiszugeben.

Es gibt jedoch ein Problem. Koch A hat nur Tomaten aus Italien, Koch B hat nur Paprika aus Spanien und Koch C hat nur Käse aus Frankreich. Weil ihre Zutaten so unterschiedlich sind (dies wird als Datenheterogenität bezeichnet), wird das endgültige Rezept verwirrt und schmeckt schlecht, wenn sie versuchen, ihre Notizen zu kombinieren. Sie streiten ständig darüber, welche Zutat die „wichtigste“ ist.

Hier kommt FedXDS ins Spiel, eine neue Methode, die in diesem Paper vorgeschlagen wurde und wie ein intelligenter, datenschutzbewusster Sous-Chef fungiert, um dieses Chaos zu beseitigen. So funktioniert es, unterteilt in einfache Schritte:

1. Der „Textmarker“-Trick (XAI)

Anstatt ganze Fotos ihrer Zutaten zu versenden (was riskant ist), verwenden die Köche einen speziellen Textmarker (eine sogenannte Attribution Method).

Dieser Stift betrachtet ein Bild einer Pizza und findet genau heraus, welche Pixel am wichtigsten für den Geschmack sind.
Er markiert die Salami und den Teigrand, ignoriert aber den Hintergrund oder das Tischtuch.
Die Magie: Die Köche senden nur diese „markierten“ Teile an die Gruppe. Sie werfen den irrelevanten Müll weg. Das bedeutet, die Gruppe erhält ein klareres, fokussierteres Bild davon, was eine gute Pizza ausmacht, ohne die Verwirrung durch unterschiedliche Hintergründe.

2. Das Sicherheitsnetz des „unscharfen Fotos“ (Datenschutz)

Selbst wenn man nur die markierten Teile versendet, könnte jemand immer noch versuchen zu erraten, wie das ursprüngliche Foto aussah. Um dies zu verhindern, fügt das Paper eine Ebene aus digitalem Nebel hinzu (genannt Metric Differential Privacy).

Stellen Sie sich das so vor, als würde man ein Foto der markierten Zutaten machen und es dann gerade so weit zu verschleiern, dass niemand mehr die spezifische Marke der Salami erkennen kann, es aber immer noch wie Salami aussieht.
Warum das klüger ist: Da die Köche bereits den irrelevanten Hintergrundmüll entfernt haben (Schritt 1), wird weniger „Nebel“ benötigt, um die Geheimnisse zu verbergen. Wenn sie versucht hätten, das ganze Originalbild zu verschleiern, wäre der Nebel so dicht, dass die Pizza unerkennbar wäre. Durch die Konzentration auf nur die wichtigen Teile können sie das Bild klar genug halten, um daraus zu lernen, und gleichzeitig die Sicherheit gewährleisten.

3. Das „Gemeinsame Kochbuch“ (Training)

Nun sammelt der zentrale Server all diese „markierten und leicht verschleierten“ Foto-Zutaten von jedem Koch ein.

Er mischt sie in ein Globales Kochbuch (einen gemeinsamen Datensatz).
Jeder Koch erhält eine Kopie dieses Kochbuchs. Jetzt kann Koch A (der nur italienische Tomaten hatte) von Koch Bs spanischer Paprika und Koch Cs französischem Käse lernen, obwohl er die Rohzutaten nie gesehen hat.
Dies hilft allen, viel schneller zu einem besseren, universelleren Pizzarezept zu gelangen.

Warum ist das eine große Sache?

Das Paper hat diese Idee bei Aufgaben der Computer Vision (wie dem Erkennen von Katzen, Hunden oder Zahlen) getestet und festgestellt:

Es ist schneller: Die Köche erreichten ein großartiges Rezept in weniger Treffen (Kommunikationsrunden) als andere Methoden.
Es ist intelligenter: Selbst als die Köche sehr unterschiedliche Zutaten hatten, war das endgültige Rezept viel genauer als zuvor.
Es ist sicherer: Das Paper hat bewiesen, dass selbst wenn ein Hacker versucht hätte, die „verschleierten“ Fotos zu rekonstruieren, um die ursprünglichen Zutaten zu stehlen, er mit dieser Methode viel seltener Erfolg hatte als mit älteren Methoden.

Zusammenfassend lässt sich sagen: FedXDS ist wie eine Gruppe von Menschen, die gemeinsam ein Puzzle lösen. Anstatt ihre ganzen Puzzleteile herauszuschreien (was gefährlich ist), verwenden sie einen Textmarker, um nur die einzigartigen Formen zu zeigen, die in das Bild passen, verschleiern sie diese leicht zur Sicherheit und teilen sie dann. Dies ermöglicht es der Gruppe, das Puzzle schneller und genauer zu lösen, ohne dass dabei die Privatsphäre verletzt wird.

Technisches Resümee: FedXDS

Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Modellen, ohne dass Rohdaten geteilt werden müssen, steht jedoch vor erheblichen Leistungseinbußen, wenn die Datenverteilungen der Clients statistische Heterogenität (Non-IID) aufweisen. Während bestehende Ansätze versuchen, dies durch proximale Optimierung oder die Glättung der Loss-Landschaft zu mildern, kämpfen sie oft mit der Divergenz der Updates. Umgekehrt führt das Teilen von Rohdaten oder synthetischen Merkmalen zur Angleichung der Verteilungen zwar zu einer besseren Generalisierung, bringt jedoch schwerwiegende Datenschutzrisiken mit sich. Die Anwendung von Standard-Differential Privacy (DP) auf hochdimensionale Rohdaten (z. B. Bilder) erfordert eine übermäßige Rauschzugabe, um den Datenschutz zu gewährleisten, was zu einem erheblichen Nutzenverlust führt. Die Kernherausforderung, die in dieser Arbeit adressiert wird, besteht darin, wie die Leistungsvorteile des Datenteilens in heterogenen FL-Umgebungen beibehalten werden können, während gleichzeitig starke Datenschutzgarantien und eine hohe Recheneffizienz gewährleistet werden.

Methodik: FedXDS

Die Autoren schlagen FedXDS (Federated Learning via XAI-guided Data Sharing) vor, ein neuartiges Framework, das Explainable AI (XAI) nutzt, um selektiv nur aufgabenrelevante Datenmerkmale zu teilen. Die Methodik besteht aus drei primären Phasen:

1. Attributionsgestützte Merkmalsauswahl

Anstatt Rohbilder zu teilen, nutzen Clients propagationsbasierte Attributionsmethoden, um die Eingangsmerkmale zu identifizieren, die für die Modellvorhersagen am kritischsten sind.

Warmup-Phase: Clients trainieren zunächst ein lokales „Warmup“-Modell ( $\theta_{warmup}$ ) mittels Standard-FedAvg über eine festgelegte Anzahl von Runden.
Attributions-Mapping: Für jedes Eingangsbeispiel $x$ berechnet eine Attributionsmethode $\mathcal{A}$ (z. B. Layer-wise Relevance Propagation, Integrated Gradients) eine pixelweise Relevanz-Score-Map $h$ .
Maskierung: Eine binäre Maske $m$ wird generiert, indem nur die obersten $s$ -Prozentile der Attributions-Scores beibehalten werden (Sparsity-Level). Der Input wird mittels elementweiser Multiplikation gefiltert: $f_A(x) = x \odot m$ . Dieser Schritt verwirft Hintergrundrauschen und Scheinkorrelationen und behält nur semantisch bedeutsame Merkmale bei.

2. Mechanismus zur Wahrung der Privatsphäre

Um die verbleibenden Merkmale zu schützen, verwendet das Framework Metric Differential Privacy.

Sensitivitätsreduktion: Durch die Spärlichmachung (Sparsification) des Inputs mittels Attributionsmaskierung wird die Sensitivität ( $\Delta f$ ) der Merkmalsauswahlfunktion streng begrenzt (bewiesen als $\le 1$ in der $\ell_2$ -Norm).
Rauschinjektion: Gaußsches Rauschen wird zu den maskierten Merkmalen hinzugefügt. Da die Sensitivität durch das Verwerfen irrelevanter Dimensionen reduziert wird, ist signifikant weniger Rauschen erforderlich, um ein spezifisches Privacy-Budget ( $\epsilon, \delta$ ) zu erreichen, als im Vergleich zur Anwendung von Rauschen auf das vollständige Rohbild. Dies bewahrt einen höheren Nutzen (Utility).
Formale Garantie: Der Mechanismus erfüllt $(\epsilon, \delta)$ -metrische Privatsphäre, wobei der Privacy-Verlust relativ zum Abstand zwischen den Inputs im Metrikraum begrenzt ist.

3. Föderiertes Training mit geteilten Daten

Globale Aggregation: Clients laden ihre privaten, maskierten und verrauschten Merkmale an den Server hoch, der diese zu einem globalen Datensatz $D_g$ aggregiert.
Lokale Optimierung: Clients laden $D_g$ herunter und optimieren eine zusammengesetzte Zielfunktion, die die lokale Aufgabenerfüllung mit dem Wissen aus den geteilten globalen Daten ausbalanciert:
$\min_{\theta} \left[ \mathbb{E}_{(x,y) \sim D_k}[\ell(f_\theta(x), y)] + \lambda \mathbb{E}_{(x,y) \sim D_g}[\ell(f_\theta(x), y)] \right]$
Hierbei steuert $\lambda$ den Kompromiss zwischen lokaler Spezialisierung und globaler Wissensintegration.

Zentrale Beiträge

Neuartiger Algorithmus: Die Einführung von FedXDS, dem ersten Ansatz, der XAI-Merkmalsattributions-Techniken nutzt, um spezifische Datenelemente selektiv zwischen Clients zu teilen, um Heterogenität zu mildern.
Datenschutzwirksame Dimensionalitätsreduktion: Ein Mechanismus, der durch Attributionsgestützte Maskierung die Dimensionalität der Rohmerkmale vor der Rauschzugabe reduziert. Dies ermöglicht Metric Differential Privacy mit geringeren Rauschpegeln, wodurch die Utility im Vergleich zu Standard-DP auf Rohdaten verbessert wird.
Theoretische und empirische Validierung des Datenschutzes: Die Arbeit liefert theoretische Schranken für die Sensitivität und demonstriert empirisch die Robustheit gegenüber Membership Inference Attacks (MIA) und Feature-Inversion-Angriffen, wobei gezeigt wird, dass Attributionsmaskierte Merkmale unter äquivalenten Privacy-Budgets einen stärkeren Schutz bieten als unmaskierte Merkmale.
Effizienz: Im Gegensatz zu Generator-basierten Ansätzen (z. B. GANs oder VAEs), die ein kostspieliges Retraining erfordern, berechnet FedXDS Attributionsmasken in einem einzigen Backward-Pass während einer Warmup-Phase, was einen minimalen Rechenaufwand verursacht.

Experimentelle Ergebnisse

Die Autoren evaluierten FedXDS auf Standard-Benchmarks (CIFAR-10, CIFAR-100, Tiny-ImageNet) und realen heterogenen Datensätzen (CelebA, FEMNIST) unter Verwendung des LEAF-Frameworks.

Genauigkeit: FedXDS, insbesondere bei Verwendung von Layer-wise Relevance Propagation (FedXLRP), übertraf konsistent State-of-the-Art-Baselines (einschließlich FedAvg, FedProx, FedDyn sowie Data-Sharing-Methoden wie FedFed und FedFTG).
- Auf CIFAR-10 mit 100 Clients und hoher Heterogenität ( $\alpha=0.05$ ) erreichte FedXLRP eine Genauigkeit von 83,46 %, was FedAvg (60,94 %) und FedFed (82,58 %) signifikant übertraf.
- Auf realen Datensätzen (CelebA, FEMNIST) erzielte FedXDS die höchste Genauigkeit über alle getesteten Methoden hinweg.
Konvergenzgeschwindigkeit: FedXDS demonstrierte eine überlegene Kommunikationseffizienz. Beispielsweise erreichte es auf CIFAR-10 mit 10 Clients eine Genauigkeit von 70 % in 14 Runden, während FedAvg 49 Runden benötigte.
Ablationsstudien:
- Attributionsmethode: LRP erwies sich als überlegen gegenüber gradientenbasierten Methoden (Gradient $\times$ Input, Integrated Gradients, SmoothGrad), da es strukturell kohärente Relevanzkarten erzeugt, die bedeutsame visuelle Muster selbst unter hoher Sparsity bewahren.
- Hyperparameter: Ein mittleres Wissensgewicht ( $\lambda=0,5$ ) lieferte die optimale Leistung, und eine Warmup-Periode von 10 Runden wurde als optimaler Kompromiss für die Konvergenz identifiziert.
Privacy-Analyse: Empirische Tests zeigten, dass FedXDS-Merkmale signifikant schwerer zu rekonstruieren waren (niedrigere SSIM-Scores in Feature-Inversion-Angriffen) und einen besseren Widerstand gegen Membership Inference im Vergleich zu unmaskierten Merkmalen oder Merkmalen anderer Data-Sharing-Methoden boten.

Bedeutung und Behauptungen

Das Paper behauptet, dass FedXDS einen bedeutenden Fortschritt bei der Bewältigung des „Trilemmas“ des Federated Learning darstellt: Heterogenität, Datenschutz und Effizienz.

Brückenschlag zwischen XAI und FL: Die Arbeit zeigt zum ersten Mal, dass XAI-Methoden, die traditionell für die Interpretierbarkeit genutzt werden, als funktionales Werkzeug zur Lösung des statistischen Heterogenitätsproblems in FL umfunktioniert werden können.
Utility-Privacy-Trade-off: Durch die Nutzung der durch Attributionskarten induzierten Sparsity erreicht die Methode einen günstigeren Privacy-Utility-Trade-off. Es wird argumentiert, dass das Verwerfen aufgabenirrelevanter Informationen nicht nur ein Filterprozess ist, sondern einen datenschutzsteigernden Mechanismus darstellt, der die Sensitivität der Daten reduziert und somit eine geringere Rauschzugabe ermöglicht.
Praktikabilität: Der Ansatz vermeidet die Rechenlast generativer Modelle und ist somit für ressourcenbeschränkte Umgebungen geeignet, während er gleichzeitig formale Datenschutzgarantien bietet.

Die Autoren kommen zu dem Schluss, dass Attributionsmethoden ein vielversprechendes Werkzeug zur Verbesserung des Federated Learning sind, da sie einen effektiven Wissenstransfer ermöglichen und gleichzeitig Datenschutz und Recheneffizienz wahren.