Technische Samenvatting: FedKT-CSD voor One-Shot Federated Learning

Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over gedecentraliseerde data terwijl de privacy gewaarborgd blijft, maar het lijdt doorgaans onder een hoge communicatie-overhead en trage convergentie, met name wanneer de datadistributies van cliënten heterogeen zijn. One-Shot Federated Learning (OSFL) pakt communicatiebeperkingen aan door de interactie te beperken tot één enkele ronde. Bestaande OSFL-methoden kampen echter met een kritieke afruil: ze missen vaak formele privacygaranties of vereisen rekenintensieve lokale training (bijv. het trainen van lokale generatoren of het distilleren van modellen). Wanneer Differential Privacy (DP) achteraf aan deze methoden wordt toegevoegd, zorgt de hoge dimensionaliteit van de modelparameters voor een inflatie van de sensitiviteit, wat de bruikbaarheid (utility) verslechtert. Bovenergens kunnen veel huidige benaderingen modelgewichten of gedestilleerde data verzenden die informatie over individuele trainingsrecords kunnen lekken.

De kernuitdaging die dit werk aanpalleert is: Kan er een framework worden ontworpen dat gebruikmaakt van representatie-deling in een OSFL-setting om simultaan zowel formele privacygaranties als lichtgewicht cliëntberekeningen te bereiken?

Methodologie: FedKT-CSD

De auteurs stellen FedKT-CSD (Federated Knowledge Transfer via Collaborative Synthetic Data) voor, een framework geïnspireerd door neurale beeldcompressie. De methode maakt gebruik van een publiek voorgetrainde, bevroren autoencoder (Encoder $E$ en Decoder $D$) als een gedeelde latente ruimte, waardoor de noodzaak voor on-device training of adaptatie wordt geëlimineerd.

1. Cliënt-zijde Verwerking (Geen Training)

Elke cliënt $i$ bezit een private dataset $D_i$. Het proces omvat een enkele forward pass:

• Encoding: Beelden worden gecodeerd naar compacte latente vectoren $z_{i,j} = E(x_{i,j})$.
• Clipping: Latente vectoren worden geclipt naar een begrensde $\ell_2$-norm $R$ om sensitiviteitsgrenzen voor DP te waarborgen.
• Statistiek Berekening: Voor elke klasse $c$ die in de data van de cliënt aanwezig is, berekent de cliënt drie additieve statistieken:
  • Som van de geclippte latente vectoren: $m_c^i = \sum \bar{z}_{i,j}$
  • Som van de buitenproducten: $M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
  • Aantal monsters: $n_c^i$
• Transmissie: Cliënten uploaden alleen deze lichtgewicht samenvattingen (vectoren en matrices) naar de server. Er wordt geen ruwe data of modelgewichten verzonden.

2. Server-zijde Aggregatie en Ruisinjectie

De server aggregeert de statistieken met behulp van Secure Aggregation, die elementgewijze sommen over cliënten berekent zonder individuele bijdragen te onthullen.

• Globale Sommen: $S_{\mu,c} = \sum m_c^i$, $S_{\Sigma,c} = \sum M_c^i$, en $n_c = \sum n_c^i$.
• Differential Privacy: Gekalibreerde Gaussische ruis wordt toegevoegd aan de geaggregeerde sommen ($\tilde{S}_{\mu,c}$ en $\tilde{S}_{\Sigma,c}$) op basis van de sensitiviteit van de clipping-drempel $R$. Het privacybudget $(\epsilon, \delta)$ wordt verdeeld tussen de gemiddelde (mean) en covariantie-queries.
• Post-verwerking: De server herstelt de ruizige gemiddelden en covarianties, past bias-correctie toe (om de variantie van de ruis in het gemiddelde te compensen) en voert een Positive Semidefinite (PSD) projectie uit (om valide sampling te garanderen).

3. Synthetische Data Generatie

De server samplet latente vectoren uit de resulterende klasse-conditionele Gaussische distributies $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ en decodeert deze met de bevroren decoder $D$ om een DP-beschermde synthetische dataset $X^*$ te genereren. Deze dataset wordt vervolgens gebruikt om een globaal model te trainen of voor downstream taken.

Belangrijkste Bijdragen

1. One-Shot DP Synthetische Data Generatie: Het artikel demonstreert dat diepe compressie-autoencoders een gedeelde latente ruimte bieden waar klasse-conditionele statistieken berekend en geaggregeerd kunnen worden met formele $(\epsilon, \delta)$-DP garanties. Dit maakt een pipeline mogelijk die slechts één communicatieronde vereist en nul on-device training behoeft.
2. Competitieve Prestaties onder DP: Ondanks het opereren onder strikte privacyrestricties presteert FedKT-CSD beter dan bestaande niet-private one-shot FL-baselines (bijv. FedSD2C, DENSE, CoBoosting) over diverse datasets en heterogeniteit-settings.
3. Heterogeniteit en Schaalonafhankelijkheid: In tegen tegenstelling tot model-aggregatie benaderingen die lijden onder bevooroordeelde lokale modellen in heterogene settings, is FedKT-CSD invariant voor de mate van datadistributie-heterogeniteit en het aantal cliënten. De additieve aard van de statistieken zorgt ervoor dat de globale distributie identiek wordt gereconstrueerd, ongeacht de datapartitie.
4. Praktische Efficiëntie: De methode is zeer efficiënt, met cliënt-payloads in het Kilobyte-regime (bijv. ~327 KB voor 10 klassen) en rekentijden van seconden op consumentenhardware, wat implementatie in bandbreedte- en rekenkracht-beperkte omgevingen mogelijk maakt.
5. Veelzijdige Downstream Bruikbaarheid: De gegenereerde synthetische dataset bestaat uit werkelijke afbeeldingen (niet vaste features), waardoor deze kan worden gebruikt voor het trainen van elke architectuur, het pretrainen van gepersonaliseerde FL, of als hulpdata voor multi-round methoden.

Experimentele Resultaten

De auteurs evalueerden FedKT-CSD op vier beeldclassificatie-benchmarks: ImageNette, CIFAR-100, EuroSAT, en BloodMNIST.

• Prestaties vs. Baselines: FedKT-CSD behaalde state-of-the-art resultaten onder de one-shot methoden en presteerde vaak beter dan niet-private baselines. Zo behield FedKT-CSD op CIFAR-100 onder pathologische heterogeniteit (waarbij elke cliënt slechts 10 van de 100 klassen ziet) ongeveer 29% nauwkeurigheid, terwijl baselines instortten naar ~21%. Op EuroSAT bereikte het ~80% nauwkeurigheid vergeleken met ~55% voor de beste baseline.
• Privacy Evaluatie: De methode voldoet aan de formele $(\epsilon=10, \delta=10^{-5})$-DP. Membership Inference Attacks (MIA) leverden een AUC op van 0.501 (random gokken), wat bevestigt dat de deelname aan individuele records niet kan worden afgeleid.
• Schaalbaarheid: De methode schaalt lineair naar 1.000 cliënten zonder prestatieverlies, terwijl baselines significant degraderen naarmate de data dunner wordt verspreid.
• Ablatie-studies:
  • Heterogeniteit: De prestaties bleven stabiel over variërende Dirichlet-concentratieparameters ($\alpha$), terwijl baselines monotoon degradeerden.
  • Participatiegraad: De methode degradeerde geleidelijk, zelfs bij een cliëntparticipatie van 10%.
  • Architectuur: Een latente dimensie van $d=128$ met een 64x64 resolutie autoencoder (DC-AE f32c32) bood de beste balans tussen representatiecapaciteit en ruisaccumulatie.

Betekenis en Claims

Het artikel claimt dat FedKT-CSD de kloof dicht tussen lage communicatie, robuustheid tegen heterogeniteit en rigoureuze privacy in federated learning. Door gebruik te maken van de structuur van voorgetrainde autoencoders, transformeert de methode het probleem van private datadeling naar de aggregatie van laag-dimensionale, additieve statistieken.

De auteurs benadrukken dat de synthetische dataset de inter-klasse scheiding behoudt die nodig is voor classificatie zonder dat daar fotorealisme voor vereist is, wat verklaart waarom het een hoge downstream nauwkeurigheid bereikt ondanks het grove uiterlijk van individuele gegenereerde beelden. Het werk suggereert een breder ontwerpprincipe: voorgetrainde autoencoders kunnen dienen als een gedeelde, laag-dimensionale ruimte waar eenvoudige additieve statistieken volstaan voor hoogwaardige, privacy-bewuste datageneratie, wat schaalbare en efficiënte federated systemen mogelijk maakt zonder de computationele last van lokale training of de privacyrisico's van parameterexchange.