Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data

Technische Samenvatting: EdgeFD – Efficiënte Client-Zijde Filtering voor Non-IID Data in Federated Distillation

Probleemstelling

Federated Distillation (FD) biedt een veelbelovend alternatief voor traditioneel Federated Learning (FL) door modeluitvoer (soft logits) uit te wisselen op een gedeelde proxy-dataset in plaats van volledige modelparameters, waardoor communicatiekosten worden verlaagd en de privacy wordt verbeterd. Echter, bestaande op kenmerken gebaseerde FD-methode ondervinden aanzienlijke hindernissen bij implementatie op hulpbronnenbeperkte randapparaten, met name onder omstandigheden met Non-Independent and Identically Distributed (Non-IID) data.

Huidige state-of-the-art benaderingen, zoals Selective-FD, vertrouwen op complexe statistische dichtheidsverhoudings-schatters (bijv. KuLSIF-DRE) om proxy-data te filteren. Deze methoden vereisen dat clients in-distribution (ID) versus out-of-distribution (OOD) proxy-data identificeren met behulp van rekenintensieve matrixoperaties en vaak synthetische hulpdata nodig hebben. Dit creëert een hoge reken- en geheugenoverhead, wat de schaalbaarheid op randapparaten beperkt. Bovendien introduceert server-zijde filtering van ambigu kennis extra latentie. De uitdaging is om een lichtgewicht, robuuste FD-methode te ontwikkelen die proxy-data effectief filtert aan de client-zijde zonder zware statistische schatters of server-zijde interventie.

Methodologie: EdgeFD en KMeans-DRE

De auteurs stellen EdgeFD voor, een hulpbron-efficiënt federated distillation-framework dat is ontworpen om te opereren op heterogene randapparaten met aangepaste ML-modellen. De kerninnovatie is een tweestaps client-zijde filteringstrategie aangedreven door een KMeans-gebaseerde Dichtheidsverhoudings-Schatter (KMeans-DRE).

1. Werkwijze Overzicht:

• Initialisatie: Clients trainen een lokaal KMeans-model op hun privé-data om centroid-posities te berekenen die de lokale data-distributie vertegenwoordigen. Ze genereren ook een proxy-dataset door een klein subset (bijv. 10–20%) van hun privé-data te delen met de server, die een globale proxy-dataset aggregeert en opnieuw distribueert naar alle clients.
• Trainingsrondes:
  • De server selecteert willekeurige indices uit de globale proxy-dataset en zendt deze uit naar clients.
  • Client-Zijde Filtering: Elke client berekent voorspellingen voor de geselecteerde proxy-steekproeven met behulp van hun lokale model. Cruciaal past de client de KMeans-DRE-filter toe:
    • Het berekent de Euclidische afstand tussen elke proxy-steekproef en de dichtstbijzijnde centroid afgeleid van de privé-data van de client.
    • Steekproeven met afstanden onder een vooraf gedefinieerde drempel ($T_{ID}$) worden geclassificeerd als In-Distribution (ID).
    • Steekproeven die de drempel overschrijden, worden geclassificeerd als Out-of-Distribution (OOD) en verworpen.
  • Alleen de voorspellingen die overeenkomen met ID-steekproeven worden naar de server geüpload.
  • De server aggregeert deze gefilterde voorspellingen om een ensemble-leraar-model te creëren, dat vervolgens door clients wordt gebruikt om hun lokale modellen bij te werken via kennisdistillatie.

2. Technische Onderscheidingen:
In tegenstelling tot statistische DRE's die vertrouwen op complexe kernel-dichtheidsschatting en hulpdata, vangt EdgeFD data-distributie op via centroid-posities. Dit elimineert de behoefte aan synthetische hulpdata en reduceert het filterproces tot eenvoudige afstandsberekeningen, wat de rekencomplexiteit aanzienlijk verlaagt.

Belangrijkste Bijdragen

1. Hulpbron-efficiënte KMeans-DRE: Het paper introduceert een nieuwe dichtheidsverhoudings-schatter die rekenintensieve statistische methoden vervangt door KMeans-clustering. Deze benadering verlaagt de tijdscomplexiteit van exponentieel (in het geval van KuLSIF-DRE met betrekking tot steekproefgrootte) naar lineair, waardoor het geschikt is voor randapparaten.
2. Client-Zijde Filtering zonder Server Overhead: EdgeFD verwijdert de behoefte aan server-zijde filtering van ambigu kennis. Door effectief ID- en OOD-proxy-data lokaal te onderscheiden, voorkomt de methode negatieve kennisoverdracht en vermindert communicatielatentie.
3. Robuustheid tegen Non-IID Data: De methode is ontworpen om sterke en zwakke Non-IID-scenario's te hanteren waarbij clients heterogene data-distributies en aangepaste modelarchitecturen bezitten, een veelvoorkomende beperking in real-world randimplementaties.
4. Minimale Proxy-Data Vereiste: Het framework demonstreert effectieve kennisdistillatie met slechts een klein fractie (20%) van client-privé-data als proxy-data, wat het privacyrisico geassocieerd met data-deling vermindert.

Experimentele Resultaten

De auteurs evalueerden EdgeFD op drie benchmark-datasets (MNIST, FashionMNIST, CIFAR-10) in scenario's met Sterke Non-IID, Zwakke Non-IID en IID, en vergeleken dit met zes state-of-the-art methoden (inclusief FedMD, FedED, Selective-FD en data-vrije benaderingen).

• Nauwkeurigheidsprestaties: EdgeFD presteerde consequent beter dan bestaande methoden, met name in uitdagende Non-IID-instellingen.
  • Sterke Non-IID: Bereikte 98,92% op MNIST, 88,55% op FashionMNIST en 82,57% op CIFAR-10, en overtrof de vorige beste (Selective-FD) met aanzienlijke marges (bijv. +4,24% op MNIST).
  • Zwakke Non-IID: Bereikte 98,88% (MNIST), 88,74% (FashionMNIST) en 84,88% (CIFAR-10).
  • IID: Behield concurrerende prestaties, met 99,08% op MNIST, 89,90% op FashionMNIST en 86,37% op CIFAR-10.
• Reken-efficiëntie: Vergelijkende analyse van tijd- en ruimtecomplexiteit onthulde dat KMeans-DRE lineaire groei vertoont in zowel leer- als schattingsfasen, terwijl KuLSIF-DRE exponentiële groei in tijdscomplexiteit en hoger geheugengebruik toont.
• Drempelgevoeligheid: Experimenten gaven aan dat hoewel hogere drempels OOD-opname verhogen (wat de nauwkeurigheid verslechtert), de methode robuust blijft met geoptimaliseerde drempels, zelfs op complexe datasets zoals CIFAR-10 bij gebruik van kenmerkextractie (ResNet-18).

Betekenis en Claims

Het paper claimt dat EdgeFD de kritieke schaalbaarheidsknelpunt in federated distillation voor edge computing aanpakt. Door zware statistische schatters te vervangen door een lichtgewicht KMeans-gebaseerde aanpak, maakt de methode de implementatie van collaboratief leren mogelijk op apparaten met beperkte verwerkingscapaciteit en bandbreedte.

De auteurs benadrukken dat EdgeFD de kloof tussen gecentraliseerde AI en gedecentraliseerde toepassingen overbrugt door:

• Het mogelijk maken van nauwkeurig modeltrainen onder sterke data-heterogeniteit zonder dat een vooraf getraind leraar-model op de server vereist is.
• Het reduceren van de rekenoverhead tot een niveau dat geschikt is voor hulpbronnenbeperkte randapparaten.
• Het bieden van een praktische oplossing voor scenario's met heterogene modellen en strikte bandbreedtelimieten, zoals medische consortia, robotvloot en bestuurdersmonitoringssystemen.

Het werk concludeert dat EdgeFD de real-world toepasbaarheid van federated distillation aanzienlijk verbetert, en een schaalbaar pad biedt naar privacy-bewust collaboratief leren in heterogene randomgevingen.