Towards Efficient Federated Learning of Networked Mixture-of-Experts for Mobile Edge Computing

Dit paper introduceert het Networked Mixture-of-Experts (NMoE)-systeem, een federatief leerframework voor mobiele randcomputing dat samenwerking tussen apparaten en een mix van supervisie en zelftoezicht combineert om grote AI-modellen efficiënt te trainen en uit te voeren binnen de beperkte middelen van randapparaten.

De kern

Stel je voor dat we allemaal een superintelligente robot willen hebben die ons helpt met alles: van het regelen van het verkeer tot het vertalen van vreemde talen. We noemen deze robots "grote AI-modellen". Maar hier is het probleem: deze robots zijn zo zwaar en groot dat ze niet op je telefoon of op de kleine computers aan de rand van het netwerk (de "edge") passen. Ze hebben te veel rekenkracht en geheugen nodig.

Deze paper introduceert een slimme oplossing: NMoE (Networked Mixture-of-Experts). Laten we dit uitleggen met een paar alledaagse vergelijkingen.

1. Het Probleem: De "Alles-in-één" Robot vs. De "Dorp"

Stel je voor dat elke dorpeling (elk mobiel apparaat) een robot moet hebben die alles kan. Dat is onmogelijk; de robot zou te groot zijn voor het huisje.

• De oude manier: Iedereen probeert dezelfde enorme robot te bouwen. Dat werkt niet omdat de huizen te klein zijn.
• De nieuwe manier (NMoE): In plaats van één grote robot, bouwen we een dorp van specialisten.

2. De Oplossing: Een Dorp van Specialistische Buurman

In het NMoE-systeem heeft elk apparaat (elk "dorp") drie belangrijke onderdelen:

1. De Vertaler (Feature Extractor): Dit is een klein, slimme gedeelte dat de ruwe data (zoals een foto of een geluid) omzet in een simpele samenvatting. Denk hieraan als een tolk die een ingewikkeld verhaal vertaalt naar een kort, duidelijk verhaal. Iedereen in het dorp gebruikt dezelfde tolk, zodat ze allemaal dezelfde taal spreken.
2. De Eigen Expert (Personalized Expert): Dit is de specialist die het dorp zelf heeft. Bijvoorbeeld, Apparaat A is goed in het herkennen van honden, en Apparaat B is goed in het herkennen van auto's. Ze hebben hun eigen kennis, gebaseerd op wat zij dagelijks zien.
3. De Portier (Gating Network): Dit is de slimme manager. Als er een vraag komt, kijkt de Portier naar de samenvatting van de Vertaler en zegt: "Oh, dit is een hond! Ik stuur dit niet naar mijn eigen expert, maar ik vraag het aan Apparaat A, want die is de hond-expert."

Het magische moment: Als jouw telefoon een vraag heeft die jouw eigen expert niet kan beantwoorden, vraagt hij het aan een buurman. De buurman doet het werk en stuurt het antwoord terug. Jij betaalt een beetje extra voor het bellen (bandbreedte), maar je krijgt een antwoord van een expert die je zelf niet kon betalen om te bouwen.

3. Hoe leren ze samen? (Federated Learning)

Nu komt het moeilijke deel: hoe leren deze apparaten samen zonder dat ze elkaars geheime data (zoals je foto's) zien?

De auteurs gebruiken een drie-stappen plan, alsof ze een school voor hun robots bouwen:

• Stap 1: De Gemeenschappelijke Basis (De Vertaler leren)
  Alle apparaten werken samen om de "Vertaler" (Feature Extractor) te trainen. Ze sturen geen foto's naar een centrale server, maar alleen de "regels" van hoe ze de taal vertalen. Zo leren ze een universele taal die iedereen begrijpt, zonder dat iemand elkaars foto's ziet. Ze gebruiken hierbij slimme trucs (zelflerende methoden) om ook van ongebruikte data te leren.
• Stap 2: De Eigen Specialisatie (De Experts leren)
  Nu heeft elke apparaat zijn eigen "Vertaler" klaar. Nu leert elk apparaat zijn eigen "Expert" alleen met zijn eigen lokale data. Apparaat A leert over honden, Apparaat B over auto's. Ze hoeven niet te delen wat ze leren, want ze zijn al gespecialiseerd.
• Stap 3: De Slimme Portier (Het Gating Netwerk)
  Tot slot leren ze de "Portier". Deze Portier moet weten wie hij moet bellen. De Portier leert een beetje van iedereen (om te weten wat er in de wereld gebeurt), maar behoudt ook zijn eigen lokale kennis (om te weten wie zijn directe buren zijn). Dit zorgt ervoor dat hij snel de juiste specialist vindt, of het nu een lokale buur is of iemand verder weg.

4. Waarom is dit zo goed?

De paper toont aan dat dit systeem werkt, zelfs als iedereen heel verschillende data heeft (bijvoorbeeld: iemand in de stad ziet veel auto's, iemand op het platteland veel koeien).

• Privacy: Niemand ziet je eigen foto's. Alleen de "samenvattingen" en de "regels" worden gedeeld.
• Efficiëntie: Je hoeft geen gigantische computer te hebben. Je deelt de last met je buren.
• Kwaliteit: Omdat je toegang hebt tot experts over de hele wereld (via je buren), wordt het antwoord vaak beter dan als je het alleen zou proberen.

Kortom:
In plaats van dat iedereen probeert een alleswetende supercomputer te zijn (wat te duur en zwaar is), bouwen we een netwerk van slimme buren. Iedereen heeft een klein stukje van de kennis, en als er iets moeilijks is, bellen we even de buurman die er goed in is. Zo krijgen we slimme AI op je telefoon, zonder dat je telefoon ontploft van de rekenkracht.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Towards Efficient Federated Learning of Networked Mixture-of-Experts for Mobile Edge Computing" in het Nederlands.

Probleemstelling

De snelle vooruitgang in grote kunstmatige intelligentiemodellen (LAMs) biedt kansen voor de volgende generatie draadloze netwerken, maar het trainen en implementeren van deze modellen op de rand van het netwerk (edge computing) stuit op ernstige beperkingen:

1. Beperkte bronnen: Edge-apparaten hebben beperkte opslag- en rekenkracht, wat in strijd is met de zware eisen van LAMs.
2. Data-heterogeniteit: Mobiele data is vaak niet-i.i.d. (niet-onafhankelijk en niet-identiek verdeeld) over verschillende apparaten, wat het trainen van een universeel model moeilijk maakt.
3. Privacy en Communicatie: Het centraliseren van data voor training is onwenselijk vanwege privacy, en het verzenden van volledige modellen of grote datasets is inefficiënt.

Bestaande oplossingen zoals Mixture-of-Experts (MoE) zijn veelbelovend omdat ze berekening verdelen over gespecialiseerde subnetten, maar huidige federatieve leerframeworks (FL) voor MoE gaan er vaak ten onrechte van uit dat elk client-apparaat het volledige MoE-model kan hosten. Dit is onrealistisch voor edge-apparaten. Er is dus behoefte aan een systeem dat MoE-componenten splitst en verdeelt over meerdere apparaten, waarbij privacy en communicatie-efficiëntie gewaarborgd blijven.

Methodologie: Networked Mixture-of-Experts (NMoE)

De auteurs introduceren NMoE, een systeem waarbij een groot LAM-model wordt opgesplitst in kleinere componenten die over meerdere edge-clients worden verdeeld. Tijdens de inferentie werken clients samen: een client verwerkt invoer lokaal en deelt taken met geschikte buren op basis van hun expertise.

Het trainingsframework bestaat uit drie fasen:

1. Fase 1: Federatief Trainen van de Feature Extractor (FE)

   • Alle clients delen een identieke architectuur voor de feature extractor (die ruwe data omzet in latente representaties).
   • Twee methoden worden voorgesteld:
     • FedCE: Federatief leren met cross-entropy loss (supervised learning).
     • FedSC: Federatief zelftoezichtend leren (self-supervised learning) met spectrale contrastieve loss. Dit verbetert de generalisatie en robuustheid bij niet-i.i.d. data zonder labels te vereisen.
   • Doel: Een gemeenschappelijke, privacy-bewuste latente ruimte creëren.

2. Fase 2: Training van Gepersonaliseerde Experts

   • Elke client traint zijn eigen unieke "expert" (een klein neuronaal netwerk) lokaal met zijn eigen privé-data, gebruikmakend van de bevroren feature extractor uit Fase 1.
   • Dit zorgt voor specialisatie op de specifieke data-distributie van de client, wat de noodzaak vermindert om latente representaties te delen tijdens inferentie.

3. Fase 3: Training van het Gating Netwerk (FedGate)

   • Het gating-netwerk bepaalt welke experts (lokaal of van buren) worden ingeschakeld voor een specifieke invoer.
   • FedGate-scheme: Een hybride aanpak waarbij de eerste (shallow) lagen van het gating-netwerk gesynchroniseerd worden via Federated Learning (voor globale representatie), terwijl de diepere lagen lokaal blijven trainen (voor lokale aanpassing).
   • Dit balanceert globale kennis met lokale specialisatie en voorkomt dat het model te star wordt.

Belangrijkste Bijdragen

• Eerste Formulering van NMoE: Dit is het eerste werk dat het probleem van het splitsen en distribueren van MoE-componenten over mobiele edge-apparaten formeel formuleert en systematisch onderzoekt.
• Nieuwe Trainingsstrategieën: De auteurs introduceren een drie-fasen framework dat supervised en self-supervised learning integreert om personalisatie en generalisatie te balanceren.
• FedGate Mechanisme: Een innovatief gating-scheme dat gedeeltelijke synchronisatie toepast om zowel globale informatie te vangen als lokaal specifieke beslissingen te nemen.
• Privacy en Efficiëntie: Het systeem minimaliseert communicatie-overhead door alleen latente features (in plaats van ruwe data) te delen en behoudt data-privacy door lokaal trainen van experts.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op het CIFAR-10 dataset met 10 clients, zowel in i.i.d. als niet-i.i.d. scenario's.

• Algemene Prestatie: NMoE presteert aanzienlijk beter dan lokale klassifiers en benadert de prestaties van een centraal MoE-model (de "upper bound"), zonder data-privacy te schenden.
• FedSC vs. FedCE: In niet-i.i.d. scenario's (waar data sterk verschilt per client) overtreedt FedSC (zelftoezichtend leren) FedCE significant. FedSC haalt betere resultaten door verborgen patronen in de data te leren zonder labels.
• FedGate vs. FedAvg: Het voorgestelde FedGate (gedeeltelijk gesynchroniseerd) presteert consistent beter dan een traditioneel volledig gesynchroniseerd FedAvg-gating-netwerk. FedAvg faalt vaak in niet-i.i.d. situaties omdat het niet goed kan aanpassen aan lokale verdelingen.
• Invloed van Ongemarkeerde Data: Het gebruik van extra ongemarkeerde data in combinatie met FedSC leidt tot een aanzienlijke prestatieverbetering, wat de potentie van self-supervised learning in edge computing bevestigt.

Betekenis en Conclusie

Dit werk biedt een cruciale oplossing voor de implementatie van grote AI-modellen in mobiele edge-netwerken. Door de rekenkracht van het netwerk te "netwerken" in plaats van te centraliseren, overwint NMoE de beperkingen van individuele apparaten.

De belangrijkste implicaties zijn:

1. Schaalbaarheid: Het maakt het mogelijk om zeer grote modellen te trainen en te gebruiken op apparaten met beperkte middelen.
2. Privacy: Het biedt een robuust framework voor privacy-bewust leren in een gedistribueerde omgeving.
3. Toekomstige Netwerken: Het legt de basis voor intelligente communicatiesystemen (zoals intelligente beamforming en semantische communicatie) in de 6G-omgeving, waar data-heterogeniteit en beperkte bandbreedte centrale uitdagingen zijn.

Kortom, NMoE combineert de efficiëntie van Mixture-of-Experts met de privacy van Federated Learning, wat een nieuwe richting opent voor gedistribueerd AI in de next-generation draadloze netwerken.