Technische Samenvatting: FedXDS

Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk zonder het delen van ruwe data, maar kampt met aanzienlijke prestatievermindering wanneer de datadistributies van cliënten statistische heterogeniteit (non-IID) vertonen. Hoewel bestaande benaderingen proberen dit te verzachten via proximale optimalisatie of het afvlakken van het loss-landschap, hebben zij vaak moeite met divergentie van updates. Daarentegen introduceert het delen van ruwe data of synthetische kenmerken om distributies uit te lijnen verbeterde generalisatie, maar brengt ernstige privacyrisico's met zich mee. Standaard differential privacy (DP) toegepast op hoogdimensionele ruwe data (bijv. afbeeldingen) vereist excessieve ruis om privacy te garanderen, wat leidt tot substantieel verlies aan bruikbaarheid (utility). De kernuitdaging die dit artikel aanpakt, is hoe de voordelen van datadeling in heterogene FL-omgevingen behouden kunnen blijven terwijl sterke privacygaranties en computationele efficiëntie worden geboden.

Methodologie: FedXDS

De auteurs stellen FedXDS voor (Federated Learning via XAI-guided Data Sharing), een nieuw framework dat Explainable AI (XAI) gebruikt om selectief alleen taakrelevante datakenmerken te delen. De methodologie bestaat uit drie primaire fasen:

1. Attributie-gestuurde Kenmerkselectie

In plaats van ruwe afbeeldingen te delen, maken cliënten gebruik van propagatie-gebaseerde attributiemethoden om de inputkenmerken te identificeren die het meest kritiek zijn voor modelvoorspellingen.

• Warmup-fase: Cliënten trainen eerst een lokaal "warmup"-model ($\theta_{warmup}$) met standaard FedAvg gedurende een vast aantal rondes.
• Attributie-mapping: Voor elke input-sample $x$ berekent een attributiemethode $\mathcal{A}$ (bijv. Layer-wise Relevance Propagation, Integrated Gradients) een pixel-gewijze relevantiescorekaart $h$.
• Masking: Een binaire masker $m$ wordt gegenereerd door alleen de top $s$-percentiel van de attributiescores te behouden (sparsity level). De input wordt gefilterd via elementgewijze vermenigvuldiging: $f_A(x) = x \odot m$. Deze stap verwijdert achtergrondruis en spuriële correlaties, en behoudt alleen semantisch betekenisvolle kenmerken.

2. Privacy-beschermend Mechanisme

Om de resterende kenmerken te beschermen, gebruikt het framework Metric Differential Privacy.

• Sensitiviteitsreductie: Door de input te versparden via attributie-masking, wordt de sensitiviteit ($\Delta f$) van de kenmerkselectiefunctie strikt begrensd (bewezen $\le 1$ in de $\ell_2$-norm).
• Ruisinjectie: Gaussische ruis wordt toegevoegd aan de gemaskeerde kenmerken. Omdat de sensitiviteit wordt verminderd door irrelevante dimensies te verwijderen, is er aanzienlijk minder ruis nodig om een specifiek privacybudget ($\epsilon, \delta$) te bereiken in vergelijking met het toepassen van ruis op de volledige ruwe afbeelding. Dit behoudt een hogere bruikbaarheid.
• Formele Garantie: Het mechanisme voldoet aan $(\epsilon, \delta)$-metric privacy, waarbij het privacyverlies begrensd is ten opzichte van de afstand tussen inputs in de metriekruimte.

3. Federatieve Training met Gedeelde Data

• Globale Aggregatie: Cliënten uploaden hun private, gemaskeerde en met ruis voorzien kenmerken naar de server, die deze aggregeert tot een globale dataset $D_g$.
• Lokale Optimalisatie: Cliënten downloaden $D_g$ en optimaliseren een samengestelde objectieve functie die de lokale taakprestaties balanceert met kennis uit de gedeelde globale data:
  $$\min_{\theta} \left[ \mathbb{E}_{(x,y) \sim D_k}[\ell(f_\theta(x), y)] + \lambda \mathbb{E}_{(x,y) \sim D_g}[\ell(f_\theta(x), y)] \right]$$
  Hier controleert $\lambda$ de afweging tussen lokale specialisatie en globale kennisintegratie.

Belangrijkste Bijdragen

1. Nieuw Algoritme: De introductie van FedXDS, de eerste benadering die XAI-kenmerkattributietechnieken gebruikt om specifieke data-elementen selectief tussen cliënten te delen om heterogeniteit te mitigeren.
2. Privacy-beschermende Dimensionaliteitsreductie: Een mechanisme dat attributie-gestuurde masking gebruikt om de dimensionaliteit van ruwe kenmerken te reduceren voordat ruis wordt toegepast. Dit maakt metric differential privacy mogelijk met lagere ruisniveaus, waardoor de bruikbaarheid wordt verbeterd vergeleken met standaard DP op ruwe data.
3. Theoretische en Empirische Privacyvalidatie: Het artikel biedt theoretische grenzen op sensitiviteit en demonstreert empirisch de robuustheid tegen Membership Inference Attacks (MIA) en Feature Inversion attacks, waarbij wordt aangetoond dat attributie-gemaskeerde kenmerken een sterkere bescherming bieden dan ongemaskeerde kenmerken onder een gelijkwaardig privacybudget.
4. Efficiëntie: In tegenstelling tot generator-gebaseerde benaderingen (zo.n. GANs of VAEs) die kostbare hertraining vereisen, berekent FedXDS attributie-maskers in een enkele backward pass tijdens een warmup-fase, wat minimale computationele overhead met zich meebrengt.

Experimentele Resultaten

De auteurs evalueerden FedXDS op standaard benchmarks (CIFAR-10, CIFAR-100, Tiny-ImageNet) en real-world heterogene datasets (CelebA, FEMNIST) met behulp van het LEAF-framework.

• Nauwkeurigheid: FedXDS, met name wanneer Layer-wise Relevance Propagation (FedXLRP) wordt gebruikt, presteerde consistent beter dan state-of-the-art baselines (inclusief FedAvg, FedProx, FedDyn, en data-sharing methoden zoals FedFed en FedFTG).
  • Op CIFAR-10 met 100 cliënten en hoge heterogeniteit ($\alpha=0.05$) bereikte FedXLRP 83,46% nauwkeurigheid, wat aanzienlijk beter is dan FedAvg (60,94%) en FedFed (82,58%).
  • Op real-world datasets (CelebA, FEMNIST) behaalde FedXDS de hoogste nauwkeurigheid van alle geteste methoden.
• Convergentiesnelheid: FedXDS demonstreerde superieure communicatie-efficiëntie. Bijvoorbeeld, op CIFAR-10 met 10 cliënten bereikte het 70% nauwkeurigheid in 14 rondes, terwijl FedAvg 49 rondes nodig had.
• Ablatie-studies:
  • Attributiemethode: LRP bleek superieur aan gradiënt-gebaseerde methoden (Gradient $\times$ Input, Integrated Gradients, SmoothGrad) omdat het structureel coherente relevantiekaarten produceert, waardoor betekenisvolle visuele patronen behouden blijven, zelfs bij hoge sparsity.
  • Hyperparameters: Een intermediair kennisgewicht ($\lambda=0.5$) leverde optimale prestaties op, en een warmup-periode van 10 rondes werd gevonden als de optimale afweging voor convergentie.
• Privacy-analyse: Empirische tests toonden aan dat de kenmerken van FedXDS aanzienlijk moeilijker te reconstrueren waren (lagere SSIM-scores in feature inversion attacks) en een betere weerstand boden tegen membership inference vergeleken met ongemaskeerde kenmerken of kenmerken van andere data-sharing methoden.

Betekenis en Claims

Het artikel claimt dat FedXDS een belangrijke vooruitgang vormt in het aanpakken van de "trilemma" van Federated Learning: heterogeniteit, privacy en efficiëntie.

• Brug tussen XAI en FL: Het werk demonstreert voor het eerst dat XAI-methoden, traditioneel gebruikt voor interpreteerbaarheid, kunnen worden hergebruikt als een functioneel hulpmiddel om het statistische heterogeniteitsprobleem in FL op te lossen.
• Utility-Privacy Afweging: Door gebruik te maken van de sparsity geïnduceerd door attributie-kaarten, bereikt de methode een gunstigere privacy-utility afweging. Er wordt gesteld dat het weggooien van taakonrelevante informatie niet alleen een filterstap is, maar ook een privacy-verbeterend mechanisme dat de sensitiviteit van de data vermindert, waardoor minder ruisinjectie nodig is.
• Praktische Bruikbaarheid: De benadering vermijdt de computationele last van generatieve modellen, waardoor het geschikt is voor omgevingen met beperkte middelen, terwijl het formele privacygaranties biedt.

De auteurs concluderen dat attributiemethoden een veelbelovend hulpmiddel zijn voor het verbeteren van federated learning, waardoor effectieve kennisoverdracht mogelijk wordt terwijl privacy en computationele efficiëntie behouden blijven.