FedDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments

FedDAG is een nieuw framework voor gefedereerd leren dat de prestaties in heterogene omgevingen verbetert door een gewogen, klasse-specifieke gelijkenismaatstaf te gebruiken die zowel data- als gradiëntinformatie integreert voor clustering, en door een dual-encoder architectuur te implementeren die kennisuitwisseling tussen clusters mogelijk maakt zonder cluster-specifieke specialisatie te verliezen.

De kern

FEDDAG: De Slimme Clubvorming voor Privacy-Vriendelijke AI

Stel je voor dat een groep vrienden een geheim recept voor de perfecte pizza wil bedenken. Iedereen heeft zijn eigen favoriete ingrediënten, maar niemand wil zijn eigen voorraadkast openen of zijn geheime notities aan de anderen laten zien. Dit is precies wat Federated Learning (Federatief Leren) doet: computers werken samen om een slim model te maken zonder hun eigen data te delen.

Maar er is een probleem: niet iedereen heeft dezelfde smaak. De één houdt van extra kaas, de ander van ananas, en een derde van alleen maar groenten. Als je ze allemaal in één grote pot gooit, krijg je een rommelige pizza die bij niemand lekker is. In de tech-wereld noemen we dit heterogene data: iedereen heeft een heel andere verdeling van informatie.

De oplossing die de auteurs van dit paper (FEDDAG) voorstellen, is als het organiseren van kleine, gespecialiseerde clubs.

Het Probleem met de Huidige Clubs

Tot nu toe probeerden andere methoden om mensen in clubs te verdelen op twee manieren, maar beide hadden een gebrek:

1. Alleen kijken naar de ingrediënten: Ze keken alleen naar wat mensen hadden (bijvoorbeeld: "Heeft iemand veel ananas?"). Maar soms hebben mensen dezelfde ingrediënten, maar gebruiken ze ze op totaal verschillende manieren.
2. Alleen kijken naar de baktechniek: Ze keken alleen naar hoe mensen bakten (hun "gradiënten"). Maar als je alleen naar de techniek kijkt, mis je soms de echte smaakverschillen.

Daarnaast waren deze clubs te gesloten. Als de "Kaas-club" iets leerde over het perfect smelten van kaas, mocht de "Ananas-club" daar niets van leren, zelfs niet als dat handig zou zijn.

De Oplossing: FEDDAG (De Super-Club)

FEDDAG is een nieuwe, slimme manier om deze clubs in te delen en te laten samenwerken. Het werkt in drie stappen, met een paar leuke analogieën:

1. De Dubbele Blik: Ingrediënten én Techniek

FEDDAG kijkt niet alleen naar de ingrediënten of alleen naar de techniek. Het combineert beide.

• De Analogie: Stel je voor dat je vrienden wilt groeperen. Je kijkt niet alleen naar hun boodschappenlijstje (data), maar ook naar hun kookstijl (gradiënten).
• De Slimme Twist: FEDDAG geeft elke vriend een "gewicht". Sommige vrienden zijn experts in hun ingrediënten, anderen in hun techniek. Het systeem leert automatisch hoeveel je moet vertrouwen op het lijstje versus de techniek om de beste groepen te vormen.
• Klassieke Smaak: Ze kijken zelfs per ingrediënt (bijvoorbeeld: alleen naar de kaas, alleen naar de tomaat). Dit voorkomt verwarring als iemand ananas op pizza doet (een "concept shift"), terwijl een ander dat haat.

2. De Dubbele Chef-kok (Dual-Encoder)

Dit is het coolste deel. In de oude methoden had elke club één chef-kok die alleen voor die club kookte. FEDDAG introduceert een twee-kok systeem:

• Chef 1 (De Lokale Expert): Deze kok is gespecialiseerd in de specifieke smaak van zijn club. Hij zorgt dat de pizza perfect is voor de leden van die club.
• Chef 2 (De Reisgastheer): Deze kok leert van andere clubs! Als de "Kaas-club" een probleem heeft met het smelten van kaas, mag de "Ananas-club" (die misschien heel goed is in smelten) zijn kennis delen via Chef 2.
• Het Resultaat: De pizza wordt niet alleen lokaal perfect, maar profiteert ook van de slimste ideeën van de hele groep, zonder dat de clubs hun geheime recepten hoeven te delen. Ze delen alleen de kennis over hoe ze koken, niet de ingrediënten zelf.

3. De Slimme Clubleider (Adaptieve Indeling)

In het verleden moesten mensen van tevoren zeggen: "We maken 5 clubs." Maar wat als er ineens 8 verschillende smaken zijn? Of wat als er nieuwe vrienden bij komen?
FEDDAG heeft een slimme clubleider die zelf decideert hoeveel clubs er nodig zijn. Hij kijkt naar de groep en zegt: "Oké, we hebben genoeg mensen met dezelfde smaak om een nieuwe club te starten" of "Deze twee clubs zijn eigenlijk te veel op elkaar, laten we ze samenvoegen." Hij doet dit automatisch, zonder dat iemand een knop hoeft te drukken.

Waarom is dit belangrijk?

• Privacy: Niemand hoeft zijn data (zijn boodschappenlijstje) te delen.
• Schaalbaarheid: Het werkt ook als er duizenden mensen zijn met heel verschillende smaken.
• Betere Resultaten: Omdat de clubs niet alleen naar zichzelf kijken, maar ook slimme tips van andere clubs oppikken, wordt de eindresultaat (de AI) veel slimmer en nauwkeuriger.

Kortom: FEDDAG is als een super-organisator die niet alleen de juiste mensen in de juiste groepen stopt op basis van wat ze hebben en hoe ze werken, maar die ook zorgt dat de groepen onderling kunnen leren van elkaar, zodat iedereen de beste pizza (of AI-model) krijgt die er mogelijk is.

Technische samenvatting

Probleemstelling

Federated Learning (FL) stelt clients in staat om gezamenlijk een model te trainen zonder hun lokale data te delen. Een groot obstakel voor FL is echter data-heterogeniteit (non-IID data), waarbij de data-distributies tussen clients sterk variëren. Dit kan leiden tot langzamere convergentie en een suboptimale nauwkeurigheid van het globale model.

Bestaande oplossingen, zoals Clustered FL, proberen dit op te lossen door vergelijkbare clients te groeperen in clusters, waarbij elk cluster zijn eigen model traint. Echter, deze bestaande methoden hebben aanzienlijke beperkingen:

1. Onvolledige Similariteitsmeting: Bestaande methoden vertrouwen ofwel puur op data-kenmerken (zoals label-skew) ofwel puur op gradienten. Dit leidt tot onnauwkeurige clustering, vooral bij complexe verschuivingen zoals concept shift (waarbij dezelfde label voor verschillende data wordt gebruikt) of quantity shift (verschillende hoeveelheden data per client).
2. Beperkte Kennisdeling: In huidige benaderingen wordt kennisuitwisseling beperkt tot binnen één cluster. Clients kunnen niet profiteren van de waardevolle, complementaire kenmerken van clients in andere clusters.
3. Vaste Aantal Clusters: Veel methodes vereisen dat het optimale aantal clusters vooraf wordt gespecificeerd of gebruiken statische strategieën die niet dynamisch kunnen aanpassen aan nieuwe clients of veranderende data-distributies.
4. Onvoldoende Omgaan met Verschillende Skew-types: Bestaande methodes adresseren vaak alleen label-skew, maar negeren feature skew, concept shift en quantity shift.

Methodologie: FEDDAG

FEDDAG (Federated Learning via global DatA and Gradient integration) is een nieuw raamwerk dat de bovengenoemde beperkingen aanpakt door een geïntegreerde aanpak te gebruiken. De kerncomponenten zijn:

1. Gewogen Class-Wise Similariteitsmeting

FEDDAG combineert zowel data- als gradientinformatie om een robuustere similariteitsmatrix te bouwen:

• Gradient Similariteit: Clients voeren lokaal een paar rondes training uit (zonder federatie) om hun gradienten te laten convergeren. Deze gradienten worden verspreid (k-sparse) naar de server om een gradient-similariteitsmatrix te berekenen.
• Data Similariteit (Class-Wise): In plaats van de volledige data-subruimtes te vergelijken (zoals bij PACFL), vergelijkt FEDDAG data per klasse. Het gebruikt Truncated SVD om hoofdcomponenten per klasse te extraheren.
• Gewichting: Om quantity shift (verschillende datasetgroottes) te compenseren, worden gewichten toegekend aan de similariteitsscores per klasse.
• Fusie: Een learnable gewichtsvector bepaalt hoe sterk data- versus gradientinformatie moet wegen voor elke client. Dit wordt geoptimaliseerd via een entropie-verliesfunctie om de clustering te "scherpen".

2. Adaptieve Clustering

FEDDAG gebruikt Agglomerative Hierarchical Clustering (HC) met een dynamische drempelwaarde ($\alpha$).

• Er wordt een nieuw, "federated-aware" verliesfunctie ontwikkeld die twee doelen combineert:
  • Compactheid ($L_1$): Bevordert strakke clusters.
  • Degeneratie-straf ($L_2$): Straft clusters die te klein zijn (over-splitting) af.
• Het algoritme scant automatisch een reeks drempelwaarden om het optimale aantal clusters te vinden zonder dat dit vooraf bekend hoeft te zijn.

3. Global Representation Sharing (GRS) met Dual-Encoder Architectuur

Om kennisuitwisseling tussen clusters mogelijk te maken zonder de specialisatie van een cluster te verliezen, introduceert FEDDAG een dual-encoder architectuur voor elk clustermodel:

• Primary Encoder: Getraind op de lokale data van het eigen cluster. Dit zorgt voor cluster-specifieke specialisatie.
• Secondary Encoder: Getraind op data van complementaire clusters (bepaald via een "Cluster Complementarity Graph" of CC-Graph).
• CC-Graph: Dit graaf bepaalt welke clusters elkaar aanvullen op basis van vraag en aanbod van specifieke klassen (bijv. een cluster met weinig data voor een bepaalde klasse "vraagt" om hulp van een cluster met veel data voor die klasse).
• De output van beide encoders wordt samengevoegd en door een classifier verwerkt. Dit stelt het model in staat om zowel lokale patronen als universele, complementaire kenmerken te leren.

Belangrijkste Bijdragen

1. Geïntegreerde Similariteit: Een nieuwe methode die data- en gradientinformatie combineert met class-wise weging, wat leidt tot nauwkeurigere clustering onder diverse heterogene omstandigheden (label, feature, concept en quantity shift).
2. Cross-Cluster Kennisdeling: Een innovatieve dual-encoder architectuur die representatiedeling tussen clusters mogelijk maakt via een gestructureerde CC-Graph, waardoor modellen rijker worden zonder verlies van personalisatie.
3. Adaptieve Clustering: Een nieuw mechanisme dat automatisch het optimale aantal clusters bepaalt op basis van een federated-aware verliesfunctie, waardoor handmatige tuning van het aantal clusters overbodig wordt.
4. Omgaan met Alle Heterogeniteitstypes: FEDDAG is de eerste methode die expliciet alle vier de types data-heterogeniteit adresseert en presteert.

Resultaten

FEDDAG is geëvalueerd op diverse benchmarks (CIFAR-10, FMNIST, SVHN, CIFAR-100 en Google Landmarks) onder verschillende non-IID scenario's:

• Hogere Nauwkeurigheid: FEDDAG overtreft consistent state-of-the-art baselines (zoals IFCA, PACFL, FedSoft, FedRC) in nauwkeurigheid. Op CIFAR-10 met 20% label skew en quantity shift bereikte FEDDAG 90.76% nauwkeurigheid, vergeleken met 86.95% voor de beste concurrent (FEDDAG* zonder cross-cluster sharing) en 89.68% voor IFCA.
• Robuustheid bij Concept Shift: Onder concept shift (waarbij labels worden gewijzigd) presteerde FEDDAG aanzienlijk beter dan methodes die alleen op gradienten of ruwe data vertrouwen, dankzij de class-wise vergelijking.
• Ablatie Studies: Experimenten bevestigen dat de verbeteringen komen van zowel de geïntegreerde similariteitsmeting als de cross-cluster representatiedeling (de volledige FEDDAG presteerde beter dan de varianten zonder deze componenten).
• Efficiëntie: Ondanks de extra complexiteit van de dual-encoder, toont het paper aan dat de communicatiekosten laag blijven (door sparsification en SVD) en dat het algoritme snel convergeert.

Betekenis en Impact

FEDDAG vertegenwoordigt een significante doorbraak in het veld van Federated Learning voor heterogene omgevingen. Door de beperkingen van bestaande clustered FL-methodes te doorbreken, biedt het een oplossing die:

• Dynamisch is en zich aanpast aan veranderende data-distributies en nieuwe clients.
• Efficiënt kennis deelt tussen clusters zonder privacy te schenden of de lokale specialisatie te verwateren.
• Robuust presteert onder de meest uitdagende vormen van data-heterogeniteit.

Deze aanpak maakt FL praktischer voor real-world toepassingen zoals mobiele toetsenborden, medische diagnostiek en IoT-netwerken, waar data-distributies per definitie zeer divers en dynamisch zijn.