Technische Samenvatting: FedeKD

Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over gedecentraliseerde clients zonder ruwe gegevens te delen. Echter, real-world FL-implementaties staan voor aanzienlijke uitdagingen door data-heterogeniteit (niet-IID-verdelingen) en modelasymmetrie. Deze omstandigheden leiden vaak tot negatieve overdracht, waarbij kennis die tussen clients wordt gedeeld de lokale prestaties verslechtert in plaats van verbetert.

Bestaande methoden voor Federated Knowledge Distillation (FKD) proberen dit te mitigeren door modeloutput (logits of representaties) uit te wisselen in plaats van parameters. Huidige benaderingen lijden echter onder twee primaire beperkingen:

1. Uniforme Betrouwbaarheidsaanname: Ze gaan er doorgaans van uit dat overgedragen kennis uniform betrouwbaar is over alle samples en clients, en negeren de variabiliteit in kenniskwaliteit veroorzaakt door verdelingsverschuivingen of architecturale verschillen.
2. Afhankelijkheid van Publieke Data: Veel methoden vertrouwen op aanvullende publieke datasets of gedeelde data-representaties om training te stabiliseren, wat in praktische scenario's vaak niet beschikbaar is of privacybezwaren oproept.

Gevolg hiervan is dat het blindelings overdragen van kennis van een "leraar" (globale proxy) naar een "student" (lokaal privaat model) misleidende signalen kan introduceren, wat leidt tot ernstige prestatieverlies ten opzichte van lokale training.

Methodologie: FedeKD

Het artikel stelt FedeKD (Energy-Based Gating for Robust Federated Knowledge Distillation) voor, een framework ontworpen om vertrouwensschatting per sample uit te voeren tijdens kennisoverdracht zonder publieke data te vereisen.

Architectuur

FedeKD maakt gebruik van een asymmetrische private-proxy architectuur bij elke client:

• Privé Model ($f_k$): Een netwerk met hoge capaciteit dat verantwoordelijk is voor de primaire lokale leertaak.
• Proxy Model ($g_k$): Een lichtgewicht netwerk dat uitsluitend wordt gebruikt voor kennisuitwisseling tussen clients. Alle proxy-modellen delen een gemeenschappelijke architectuur.

Trainingsproces

Het framework werkt in sequentiële fasen per communicatieronde:

1. Forward Proxy Distillatie: Elke client bevriest zijn privé model en traint de lokale proxy om de voorspellingen van het privé model op lokale data na te bootsen.
2. Proxy Aggregatie: Lokale proxies worden naar de server geüpload, geaggregeerd tot een globale proxy, en teruggezonden naar alle clients.
3. Energy-Gated Backward Distillatie: De globale proxy stuurt updates aan het lokale privé model. Cruciaal is dat deze stap gebruikmaakt van een betrouwbaarheidsbewust gating-mechanisme om te bepalen hoeveel vertrouwen er in de begeleiding van de proxy moet worden gesteld voor elk specifiek sample.

Het Energy-Based Gating Mechanisme

De kerninnovatie is de omzetting van private-proxy onenigheid in vertrouwensgewichten per sample.

• Energy Score ($E(x)$): Meet de onenigheid tussen het privé model en de globale proxy.
  • Voor Classificatie: Gebruikt een entropie-genormaliseerde symmetrische Kullback-Leibler (KL) divergentie. Dit normaliseert de onenigheid door de totale voorspellende entropie, zodat hoog-vertrouwens contradicties zwaarder worden bestraft dan diffuse, hoog-entropie onenigheden.
  • Voor Regressie: Gebruikt de kwadratische fout tussen voorspellingen.
• Vertrouwensgewicht ($w_i$): De energy scores worden batch-genormaliseerd en door een logistische poort geleid om continue vertrouwensgewichten te produceren:
  $$w_i = \rho(-\beta \tilde{E}_i)$$
  waarbij $\tilde{E}_i$ de batch-genormaliseerde energy is en $\beta$ de scherpte regelt.
• Update Regel: Het privé model wordt bijgewerkt met een gewogen combinatie van de supervised loss en de distillatie loss. Samples met hoge onenigheid (hoge energy) ontvangen lagere vertrouwensgewichten, wat effectief onbetrouwbare kennis down-weightt, terwijl samples met lage onenigheid hogere gewichten ontvangen.

Het gating-mechanisme is batch-relatief, wat betekent dat vertrouwen wordt toegewezen op basis van hoe de onenigheid van een sample zich verhoudt tot andere in dezelfde minibatch, in plaats van een vaste globale drempel. De gewichten worden losgekoppeld tijdens backpropagation om te waarborgen dat ze fungeren als betrouwbaarheids-scalar zonder nieuwe optimalisatiepaden in te voeren.

Belangrijkste Bijdragen

1. Betrouwbaarheidsbewuste Backward Distillatie: Het artikel introduceert een nieuw doel dat de focus verschuift van hoe kennis wordt uitgewisseld naar hoeveel er in elk overgedragen signaal moet worden vertrouwd. Dit wordt bereikt zonder publieke data door gebruik te maken van taak-specifieke private-proxy onenigheid.
2. Asymmetrisch Private-Proxy Framework: Het ontwerp scheidt lokaal leren (hoog-capaciteit privé model) van communicatie (lichtgewicht proxy), wat de blootstelling van gevoelige parameters vermindert terwijl robuuste kennisuitwisseling mogelijk wordt gemaakt.
3. Energy-Based Gating: Een continue, differentieerbare gating-mechanisme dat onenigheid afbeeldt op vertrouwensgewichten. Het behandelt zowel classificatie (via entropie-gekalibreerde KL-divergentie) als regressie (via kwadratische fout) binnen een unified framework.
4. Theoretische Eigenschappen: De auteurs stellen vast dat het gating-mechanisme de richting van distillatie-gradiënten behoudt (voorkomend reversie van het leersignaal) en gebonden, niet-degenererende vertrouwensgewichten biedt.

Experimentele Resultaten

FedeKD werd geëvalueerd op zes real-world datasets (vier classificatie: FashionMNIST, CIFAR-10, OCTMNIST, OrganAMNIST; twee regressie: RetinaMNIST, Diabetic Retinopathy) onder variërende niveaus van heterogeniteit (gecontroleerd door de Dirichlet concentratieparameter $\alpha$).

• Mitigatie van Negatieve Overdracht: FedeKD behaalde consistent de laagste gemiddelde-case ($\Delta_{avg}$) en worst-case ($\Delta_{worst}$) negatieve overdracht over alle datasets en heterogeniteitsniveaus. Onder ernstige heterogeniteit ($\alpha=0.1$) presteerde het aanzienlijk beter dan baselines zoals FedAvg, FedProx, FedDyn en de recente FedType.
• Robuustheid: De methode toonde superieure robuustheid in de onderste staart van de client-prestatieverdeling (P10 $\Delta$ voor classificatie) en de bovenste staart van de foutverdeling (P90 $\Delta$ voor regressie), wat aangeeft dat het de meest kwetsbare clients beschermt en extreme fouten mitigeert.
• Voorspellende Prestaties: Ondanks prioritering van robuustheid, behield FedeKD concurrerende of superieure gemiddelde client-nauwkeurigheid en RMSE ten opzichte van baselines, wat bewijst dat het verminderen van negatieve overdracht niet ten koste gaat van de algehele voorspellende prestaties.
• Ablatie Studies:
  • Het verwijderen van het gating-mechanisme ("No Gating") resulteerde in aanzienlijk hogere negatieve overdracht, wat de noodzaak van betrouwbaarheidsbewuste weighting bevestigt.
  • Alternatieve energy-functies (entropie, marge, feature-afstand) waren minder consistent dan de voorgestelde KL-gebaseerde energy.
  • De gating-scherpte parameter $\beta$ en de distillatie-weights $\lambda_{kd}$ toonden optimale prestaties in gematigde bereiken, waarbij de afweging tussen het benutten van gedeelde kennis en het behoud van lokaal leren in evenwicht werd gebracht.

Betekenis en Claims

Het artikel claimt dat FedeKD een fundamentele kloof in heterogene FL aanpakt: het gebrek aan mechanismen om dynamisch de betrouwbaarheid van overgedragen kennis te beoordelen. Door kennisbetrouwbaarheid als een first-class object te behandelen, mitigeert FedeKD negatieve overdracht zonder de privacyrisico's of data-eisen van bestaande methoden.

De auteurs positioneren FedeKD als een stap naar robuustere en schaalbaardere federated learning, met name voor privacy-gevoelige domeinen zoals gezondheidszorg waar data-heterogeniteit wijdverbreid is en de kosten van negatieve overdracht (bijv. misdiagnose) hoog zijn. Het werk benadrukt dat adaptieve, sample-wise vertrouwensschatting essentieel is voor effectieve samenwerking in niet-IID-omgevingen, en voorbijgaat aan de aanname dat alle overgedragen signalen even voordelig zijn.

Het artikel erkent beperkingen, met name dat experimenten zijn uitgevoerd op publieke benchmarks met gesimuleerde partities en dat de regressie-energy functionele onenigheid meet in plaats van gekalibreerde onzekerheid. Toekomstig werk wordt voorgesteld om zich te richten op real-world multi-site implementaties, eerlijkheidsbewuste evaluatie en adaptieve vertrouwensschatting.