FedHENet: A Frugal Federated Learning Framework for Heterogeneous Environments

Probleemstelling

Federated Learning (FL) staat bekend als een cruciale paradigmaverschuiving voor collaboratief modeltraining zonder dat gevoelige data centraal wordt opgeslagen. Echter, bestaande fundamentele algoritmen zoals FedAvg en FedProx hebben drie belangrijke tekortkomingen, vooral in heterogene omgevingen:

1. Slechte convergentie en "client drift": Bij niet-IID-data (data die niet gelijkmatig verdeeld is over clients) hebben iteratieve methoden moeite om te convergeren.
2. Hoge kosten: Ze vereisen honderden communicatie- en berekeningsrondes, wat leidt tot hoge energieconsumptie en communicatie-overhead.
3. Privacy-risico's: Het delen van gradiënten kan kwetsbaar zijn voor privacy-aanvallen.
   Daarnaast vereist het afstellen van hyperparameters (zoals leer snelheid en local epochs) een energie-intensieve zoektocht, wat de ecologische voetafdruk vergroot.

Methodologie: FedHENet

De auteurs stellen FedHENet voor, een "Frugal" (zuinig) FL-framework specifiek ontworpen voor beeldclassificatie. De kern van de methode ligt in het ontkoppelen van feature-extractie van het leerproces:

1. Vaste Feature Extractor: Alle clients gebruiken dezelfde vooraf getrainde (op ImageNet) en bevroren (frozen) backbone (bijv. ResNet-18). Dit elimineert de noodzaak voor dure lokale fine-tuning. Clients genereren alleen compacte embeddings.
2. Analytische Output Layer (ROLANN): In plaats van iteratieve gradiëntafstijging, trainen clients een Regularized One-Layer Neural Network (ROLANN). De optimale gewichten worden berekend in gesloten vorm (closed-form) door het minimaliseren van de MSE (Mean Squared Error) op de gewenste pre-activatie-outputs. Dit resulteert in een systeem van lineaire vergelijkingen dat analytisch oplosbaar is.
3. Homomorf Versleuteling (HE): Om privacy te garanderen, wordt de matrix $M_k$ (die statistische afhankelijkheden bevat) versleuteld met CKKS (een HE-schema voor benaderende reële getallen).
4. Eén-rondje Communicatie:
   • Clients sturen hun componenten ($U_k, S_k$ in plaintext en $[[M_k]]$ versleuteld) naar een coördinator via MQTT.
   • De coördinator voert een globale aggregatie uit en berekent de wereldwijde gewichten $W$ in één analytische stap.
   • De gewichten worden teruggezonden naar alle clients.
   • Dit proces vereist slechts één communicatieronde, wat client drift volledig elimineert.

Belangrijkste Bijdragen

• Zuinige aanpassing aan beelddata: Een hybride architectuur die bevroren feature extractoren combineert met een analytische, versleutelde laag. Dit maakt veilige convergentie in één ronde mogelijk zonder iteratieve gradiëntafstijging.
• Superieure stabiliteit en efficiëntie: Het framework is robuust tegen extreme niet-IID-data (waar iteratieve baselines falen) en bespaart tot 70% energie.
• Hyperparameter-vrij: Omdat de oplossing analytisch is, zijn er geen hyperparameters om te tunen. Dit verwijdert de energie-intensieve fase van hyperparameter-zoektochten, wat de totale CO2-voetafdruk drastisch verlaagt.
• Schaalbare implementatie: Integratie van MQTT voor fouttolerante communicatie en beschikbaarheid van een open-source bibliotheek.

Experimentele Resultaten

De experimenten zijn uitgevoerd op de CIFAR-10 en CIFAR-100 datasets met verschillende niveaus van data-heterogeniteit (Dirichlet-distributie, inclusief een "single-class" scenario).

• Nauwkeurigheid en Robuustheid:
  • In extreme heterogene scenario's (single-class) daalt de nauwkeurigheid van FedAvg en FedProx tot 33-40% door client drift.
  • FedHENet behoudt een stabiele nauwkeurigheid van ~83,6% op CIFAR-10 en ~56% op CIFAR-100, ongeacht de heterogeniteit.
  • FedHENet presteert beter dan iteratieve methoden zelfs bij 500 clients in niet-IID settings.
• Efficiëntie en Duurzaamheid:
  • Energie: FedHENet reduceert het energieverbruik met ongeveer 70% vergeleken met iteratieve baselines (bijv. 11,5 Wh vs 36,5 Wh op CIFAR-10). Op CIFAR-100 is de reductie bijna 50% (118,9 Wh vs ~240 Wh).
  • Tijd: De trainingstijd is aanzienlijk korter omdat er maar één ronde nodig is.
  • Communicatie: Hoewel de payload door versleuteling iets groter is (factor ~2,25), is het totale aantal bytes lager dan bij baselines die honderden rondes nodig hebben.
• Overhead: De homomorfische versleuteling voegt een verwaarloosbare rekentijd toe (< 5%) en een kleine vertraging per client (~840 ms), wat het privacy-besef waarborgt zonder de "zuinige" aard te schaden.

Betekenis en Conclusie

FedHENet biedt een fundamenteel alternatief voor traditionele Federated Learning in computer vision. Door het loskoppelen van feature-extractie en het gebruik van analytische aggregatie met homomorfische versleuteling, lost het de problemen van client drift, hoge kosten en privacy op in één keer.

De belangrijkste implicatie is dat FL duurzamer en praktischer wordt voor randapparatuur (edge AI). Het elimineert de noodzaak voor energie-intensieve hyperparameter-tuning en lange trainingscycli, waardoor het ideaal is voor omgevingen met beperkte bronnen en strikte privacy-eisen. De auteurs plannen toekomstig werk om dit te valideren op echte heterogene hardware (zoals Raspberry Pi-clusters) en het uit te breiden naar Vision Transformers.