🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

FedTopo pakt de uitdaging van niet-uitgelijnde representatieruimtes in heterogene federated learning aan door globale kennis te coderen als een relatie-niveau klasse-topologie in plaats van absolute kenmerken, wat betrouwbare kennisoverdracht en consistente prestatieverbeteringen mogelijk maakt over diverse cliëntarchitecturen heen zonder inferentie-overhead.

Oorspronkelijke auteurs: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Gepubliceerd 2026-07-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin ieders smartphone, smartwatch en huishoudrobot samen kunnen leren om slimmer te worden, zonder dat ze ooit hun privéfoto's of berichten delen. Dat is de droom van Federated Learning. In plaats van al je gegevens te verzamelen in één gigantische, kwetsbare database, vindt het leren plaats op je eigen apparaat. De apparaten sturen alleen kleine "updates" over wat ze hebben geleerd naar een centrale server, die deze vervolgens mengt om een slimmer globaal brein te creëren.

Er is echter een addertje onder het gras: niet iedereen heeft dezelfde hardware. Sommige apparaten zijn krachtige supercomputers, terwijl andere kleine, energiebesparende chips zijn. In de oude dagen van machine learning moest iedereen precies dezelfde "breinarchitectuur" gebruiken om samen te leren. Als jouw telefoon een ander brein had dan die van je buurman, konden ze elkaars updates niet begrijpen. Het is alsof je probeert een boek te vertalen van het Engels naar een taal die compleet andere letters en grammaticaregels gebruikt; de betekenis gaat verloren in de vertaling. Dit paper pakt de rommelige realiteit aan van deze mismatched apparaten die proberen samen te werken.

Het Probleem: Appels en Peren Proberen te Middelen

De auteurs van dit paper, FedTopo, merkten op dat bestaande methoden om deze mismatched apparaten te helpen samen te leren, probeerden een vierkant blokje in een rond gat te duwen. De meeste huidige methoden proberen "prototypes" te delen. Stel je voor dat elk apparaat een snapshot maakt van hoe een "kat" eruitziet in zijn eigen feature space en die snapshot naar de server stuurt. De server probeert vervolgens al deze snapshots te middelen om de "perfecte kat" te vinden.

Maar hier wringt de schoen: omdat elk apparaat een andere architectuur heeft (een ander "brein"), kan het woord "kat" op de ene telefoon een vage vlek lijken en op een andere een scherpe geometrische vorm. Wanneer je een vage vlek probeert te middelen met een scherpe vorm, krijg je geen betere kat; je krijgt een verwarrende bende die iedereen misleidt. Het paper betoogt dat het proberen af te stemmen van deze absolute coördinaten (de exacte positie van een "kat" in een wiskundige ruimte) een verloren strijd is wanneer de apparaten zo verschillend zijn.

De Oplossing: Het Verhaal Delen, Niet de Coördinaten

In plaats van te proberen overeen te stemmen over waar een "kat" zich in het universum bevindt, suggereert FedTopo dat we gewoon moeten delen hoe dingen met elkaar verband houden. Denk er zo over na:

Stel je voor dat jij en een vriend allebei proberen te navigeren door een stad, maar jullie hebben verschillende kaarten. Jouw kaart zegt dat de bibliotheek "ten noorden van het park" ligt, terwijl de kaart van je vriend zegt dat het "omhoog de heuvel op" is. Jullie kunnen deze kaarten niet gemakkelijk samenvoegen omdat "Noord" en "Omhoog" voor jullie beiden iets anders betekenen.

Echter, jullie kunnen wel overeenstemming bereiken over de relaties. Jullie kunnen er allebei mee instemmen dat "de bibliotheek dichter bij het park ligt dan bij het vliegveld." Dit is een relatie, geen coördinaat.

FedTopo werkt door elk apparaat een "relatiekaart" (een topologie) van zijn klassen te laten opstellen. Het zegt niet: "Klasse A bevindt zich op coördinaat (5, 10)." In plaats daarvan zegt het: "Klasse A lijkt erg op Klasse B, maar is heel verschillend van Klasse C." Het berekent hoe een "kat" lijkt op een "hond" versus een "vrachtwagen" binnen zijn eigen lokale brein.

Hoe het Werkt: De Betrouwbare Boodschapper

Het proces is een beetje als een groep detectives die een mysterie oplossen met verschillende notitieblokken:

Lokaal Detectiewerk: Elk apparaat kijkt naar zijn eigen gegevens en ontdekt hoe zijn klassen met elkaar verband houden. "Hé, mijn 'katten' en 'honden' lijken een beetje op elkaar, maar mijn 'katten' en 'vrachtwagens' zijn totaal verschillend." Het stuurt deze relatiekaart naar de server.
De Vertrouwensfilter: De server weet dat sommige apparaten misschien maar heel weinig foto's van "vrachtwagens" hebben, waardoor hun mening over hoe "vrachtwagens" zich verhouden tot "katten" misschien onbetrouwbaar is. FedTopo gebruikt een speciale "betrouwbaarheidsscore" om de berichten te wegen. Als een apparaat veel gegevens heeft, telt zijn relatiekaart zwaarder mee. Als een apparaat heel weinig gegevens heeft, negeert de server zijn wankele gokken.
De Globale Kaart: De server combineert deze gewogen relatiekaarten tot één enkele, superbetrouwbare "Globale Relatiekaart".
De Les: Deze globale kaart wordt teruggestuurd naar de apparaten. Nu, wanneer een apparaat aan het leren is, kijkt het niet alleen naar de foto die het vasthoudt; het kijkt naar de globale kaart om te zien welke andere klassen "verwarrend vergelijkbaar" zijn. Het traint vervolgens harder op die specifieke verwarrende paren om zijn vaardigheden te verscherpen.

Wat Ze Hebben Ontdekt

De auteurs hebben dit idee getest op drie verschillende datasets (CIFAR-10, CIFAR-100 en Tiny-ImageNet) met acht volledig verschillende soorten neurale netwerkarchitecturen (variërend van eenvoudige CNN's tot complexe ResNets). Ze simuleerden een chaotische wereld waar gegevens ongelijk verdeeld waren (sommige apparaten hadden alleen katten, andere alleen vrachtwagens).

De resultaten waren duidelijk: FedTopo presteerde consequent beter dan alle andere methoden.

Op de CIFAR-10 dataset bereikte het een nauwkeurigheid van 87,38% in de standaard ongelijke setting, waarmee het de op één na beste methode met een ruime marge versloeg.
In de nog moeilijkere "pathologische" setting (waar apparaten zeer weinig klassen hadden), haalde het 86,26%, en leidde daarmee opnieuw de groep.
Het werkte even goed op de grotere, moeilijkere datasets zoals CIFAR-100 en Tiny-ImageNet.

Cruciaal is dat het paper laat zien dat deze methode ongelooflijk efficiënt is. Het vereist niet het heen en weer sturen van enorme modelbestanden. Het stuurt alleen kleine relatietabellen (slechts 110 parameters te uploaden en 200 te downloaden voor een 10-klassenprobleem). Bovendien brengt het nul extra kosten met zich mee wanneer het apparaat daadwerkelijk wordt gebruikt (inferentie), omdat de relatiekaart alleen wordt gebruikt tijdens de trainingsfase om het apparaat sneller te laten leren.

De Kern van het Verhaal

FedTopo bewijst dat wanneer apparaten te verschillend zijn om het eens te worden over de exacte "coördinaten" van kennis, ze nog steeds samen kunnen leren door overeenstemming te bereiken over de "relaties" tussen ideeën. Door zich te concentreren op hoe klassen met elkaar verband houden in plaats van waar ze zich in een wiskundige leegte bevinden, en door onbetrouwbare gokken te filteren, stelt deze methode een diverse groep apparaten in staat om een slimmere, robuustere collectieve intelligentie op te bouwen zonder hun privégegevens te centraliseren. Het is een slimmere manier om samen te leren, zelfs wanneer iedereen een iets andere taal spreekt.

Technische Samenvatting: FedTopo

Probleemstelling

Federated Learning (FL) maakt collaboratieve training mogelijk over gedecentraliseerde datasilo's zonder de ruwe data te centraliseren. De standaard FL gaat echter uit van identieke client-architecturen, wat vaak onpraktisch is vanwege variërende computationele middelen en implementatiebeperkingen. Model-heterogene FL adresseert dit door clients toe te staan verschillende backbone-architecturen te gebruiken.

De kernuitdaging in model-heterogene FL is het overdragen van globale kennis over niet-uitgelijnde representatieruimtes. Bestaande paradigma's delen kennis via:

Partiële parameterdeling: Vereist uitgelijnde parameterruimtes en compatibele architecturen.
Knowledge Distillation: Vereist een gedeelde outputruimte of hulpdata (public data) om voorspellingen uit te lijnen.
Prototype-deling: Wisselt klasse-specifieke prototypes (feature-coördinaten) uit.

Alle drie de paradigma's coderen kennis in een absolute ruimte (gewichten, logits of feature-coördinaten) die tussen clients uitgelijnd moet worden. Onder heterogene backbones kan dezelfde feature-dimensie bij verschillende clients verschillende semantische factoren coderen. Bijgevolg leidt het direct middelen van prototypes of parameters tot onbetrouwbare globale kennis en misleidt dit de lokale training.

Methodologie: FedTopo

De auteurs stellen FedTopo (Federated Topology-guided Learning) voor, een framework dat verschuift van het delen van absolute coördinaten naar het delen van relatie-niveau klasse-topologie. In plaats van te vragen "waar ligt een klasse in de feature-ruimte?", vraagt FedTopo: "hoe verhouden klassen zich tot elkaar binnen de lokale ruimte van een client?".

Het framework werkt in drie stadia:

1. Constructie van de topologie op relatieniveau (Client-zijde)

Elke client $k$ traint zijn lokale heterogene model op private data.

Prototype Extractie: De client berekent klasse-prototypes $p_{k,c}$ (gemiddelde feature-representaties) voor de klassen die aanwezig zijn in zijn lokale dataset.
Constructie van de Relatiematrix: In plaats van prototypes te uploaden, berekent de client een lokale relatiematrix $R_k \in [0, 1]^{C \times C}$ . De waarde $R_k(c, c')$ vertegenwoordigt de cosinus-gelijkenis tussen de prototypes van klasse $c$ en $c'$ , geschaald naar $[0, 1]$ .
Statistieken: De client registreert klasse-steekproefaantallen $n_k$ om de statistische ondersteuning voor deze relaties te kwantificeren.
Upload: Alleen de relatiematrix $R_k$ en statistieken $n_k$ worden geüpload. De ruwe prototypes en feature-coördinaten blijven lokaal.

2. Betrouwbaarheidsbewuste globale topologie-aggregatie (Server-zijde)

De server aggregeert lokale relaties tot een globale topologie $R_g$ en een betrouwbaarheidsmatrix $S_g$ .

Maskering: Een binaire maskering $M_k$ sluit klasse-paren uit die niet op een specifieke client zijn waargenomen.
Betrouwbaarheidsweging: Een gewicht $w_k(c, c')$ wordt berekend op basis van het harmonisch gemiddelde van de steekproefaantallen voor de twee klassen. Relaties die door weinig samples worden ondersteund, krijgen een lager gewicht.
Aggregatie: De globale relatie $\tilde{R}_g$ is een betrouwbaarheidsgewogen gemiddelde van de geldige lokale relaties.
Betrouwbaarheidsmatrix: $S_g$ houdt de relatieve hoeveelheid bewijs bij die elke globale relatie-paar ondersteunt.
Smoothing: Een Exponential Moving Average (EMA) wordt toegepast op $R_g$ om fluctuaties van ronde naar ronde te verminderen.
Broadcast: De server broadcast $(R_g, S_g)$ naar de clients.

3. Topologie-gestuurde lokale training (Client-zijde)

Clients gebruiken de globale topologie om lokale beslissingsgrenzen aan te scherpen zonder de feature-ruimtes uit te lijnen.

Guidance Selectie: Voor een trainingssample met grondwaarheid $y$ selecteert de client de top- $q$ negatieve klassen die topologisch het meest vergelijkbaar zijn met $y$ (gebaseerd op $R_g$ ) en het meest betrouwbaar worden ondersteund (gebaseerd op $S_g$ ).
Logit Modulatie: De logits van deze geselecteerde negatieve klassen worden verhoogd met een factor $\gamma$ .
Verliesfunctie: De lokale loss combineert de standaard cross-entropy loss met een extra term die het model straft als het er niet in slaagt de grondwaarheid te onderscheiden van deze "harde" negatieve klassen.
Inference: De globale topologie wordt alleen tijdens de training gebruikt. Tijdens de inference fase gebruiken clients hun originele lokale modellen, wat nul inference overhead oplevert.

Belangrijkste Bijdragen

Kennisdeling op relatieniveau: FedTopo is het eerste framework dat globale kennis deelt als klasse-relatie-topologie in plaats van parameters, logits of prototype-coördinaten. Dit versoepelt de assumptie van cross-client uitlijning naar een intra-client consistentie-assumptie.
Betrouwbaarheidsbewuste Aggregatie: De methode introduceert een mechanisme om onbetrouwbare relaties, veroorzaakt door schaarse data of zwakke ondersteuning, lager te wegen, waardoor de globale topologie robuust blijft tegen non-IID datadistributies.
Topologie-gestuurde Training: Een nieuwe trainingsdoelstelling die gebruikmaakt van de globale topologie om verwarrende negatieve klassen te benadrukken, wat de lokale discriminatie verbetert zonder dat feature-ruimte uitlijning vereist is.
Efficiëntie: Het framework bereikt state-of-the-art prestaties met lage communicatiekosten (schaalt met $O(C^2)$ in plaats van $O(C \times d)$ ) en geen inference overhead.

Experimentele Resultaten

De auteurs hebben FedTopo geëvalueerd op CIFAR-10, CIFAR-100 en Tiny-ImageNet onder Dirichlet en pathologische non-IID settings, met behulp van acht heterogene backbones (variërend van CNN tot ResNet-152).

Prestaties: FedTopo presteerde consequent beter dan de baselines over alle drie de kennisdeling-paradigma's (parameter, distillatie en prototype-deling).
- Op CIFAR-10 (Dirichlet $\alpha=0.1$ ) bereikte FedTopo 87,38% nauwkeurigheid, waarmee het de beste baseline (FedSCE met 86,18%) met 1,2 punten versloeg.
- Op CIFAR-100 (Pathologisch) behaalde het 59,30%, waarmee het de beste baseline (FedMRL met 57,45%) met 1,85 punten versloeg.
Robuustheid: Het prestatieverschil werd groter naarmate de modelheterogeniteit en de dataskew toenamen, wat aantoont dat relatie-niveau topologie beter overdraagbaar is dan absolute coördinaten.
Ablatie-studies: Het verwijderen van een component (betrouwbaarheidsweging, Top-q selectie, missing-aware masking of EMA) verslechterde de prestaties, wat de noodzaak van het volledige ontwerp bevestigt.
Kosten: FedTopo vereiste slechts 110 parameters om te uploaden en 200 om te downloaden per ronde op CIFAR-10, aanzienlijk lager dan prototype-gebaseerde methoden (5.120 parameters). Het voegde verwaarloosbare training FLOPs toe en nul inference FLOPs.

Betekenis en Claims

Het artikel beweert dat FedTopo een robuustere oplossing biedt voor model-heterogene FL door fundamenteel de aard van de gedeelde kennis te veranderen. Door te verschuiven van absolute coördinaten-uitlijning (die faalt onder heterogene backbones) naar relatieve relatie-consistentie (die behouden blijft over verschillende feature-ruimtes), stelt de methode effectieve samenwerking mogelijk zonder dat gedeelde architecturen, hulpdata of feature-uitlijning nodig zijn.

De auteurs benadrukken dat deze aanpak:

Het probleem van "onbetrouwbare globale prototypes" vermijdt dat inherent is aan prototype-deling.
Effectief opereert in data-vrije settings (geen publieke hulpdata vereist).
Positieve transfer levert, zelfs in sterk gepersonaliseerde settings waar lokale modellen al sterk zijn.
Een lage communicatie- en computationele overhead behoudt, wat het praktisch maakt voor resource-beperkte edge-apparaten.

Het werk concludeert dat relatie-niveau topologie een superieure drager is voor globale kennis in heterogene FL, waarbij een balans wordt geboden tussen overdraagbaarheid, robuustheid en efficiëntie die bestaande paradigma's missen. Toekomstig werk wordt gesuggereerd voor het uitbreiden hiervan naar multi-modale en open-set scenario's.