🤖 machine learning

FlatLand: Personalized Graph Federated Learning via Tailored Lorentz Space

FlatLand is een nieuwe gepersonaliseerde graph federated learning-methode die gebruikmaakt van een op maat gemaakte Lorentz-ruimte binnen hyperbolische geometrie om cliëntheterogeniteit en grafenstructuren effectief te modelleren via een parameterontkoppelingsstrategie, waarbij superieure prestaties worden behaald zonder dat expliciete schatting van cliëntgelijkenis vereist is.

Oorspronkelijke auteurs: Jiahong Liu, Ram Samarth B B, Xinyu Fu, Menglin Yang, Weixi Zhang, Rex Ying, Irwin King

Gepubliceerd 2026-08-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiahong Liu, Ram Samarth B B, Xinyu Fu, Menglin Yang, Weixi Zhang, Rex Ying, Irwin King

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het digitale tijdperk vereist machine learning vaak enorme hoeveelheden gegevens om goed te functioneren. Toch zit veel van deze data opgesloten in private silo's, vastgehouden door ziekenhuizen, banken of individuele apparaten, waar het delen ervan de privacywetgeving of het vertrouwen zou schenden. Om dit op te lossen, ontwikkelden wetenschappers een methode genaamd federated learning. In plaats van alle gegevens op één plek te verzamelen, stuurt deze aanpak een gedeeld computermodel naar vele verschillende locaties. Elke locatie traint het model op zijn eigen private gegevens en stuurt alleen de geleerde verbeteringen terug, niet de gegevens zelf. Dit maakt het mogelijk dat een globale intelligentie ontstaat zonder ooit de ruwe informatie bloot te leggen. Echter, een aanzienlijk probleem doet zich voor wanneer de gegevens op deze verschillende locaties sterk van elkaar verschillen. In de wereld van grafen — netwerken van verbonden punten zoals sociale media-vrienden of chemische moleculen — gaan deze verschillen niet alleen over hoeveel items er bestaan, maar over de zeer eigen vorm van de verbindingen. Sommige netwerken zijn plat en uniform, terwijl andere diep gekromd en hiërarchisch zijn. Wanneer een enkel, rigide model probeert te leren van dergelijke diverse vormen, faalt het vaak en presteert het slechter dan wanneer elke locatie simpelweg op zijn eigen gegevens had getraind.

Onderzoekers proberen dit al lang op te lossen door gepersonaliseerde versies van het model voor elke locatie te maken, maar deze oplossingen dwingen de gegevens meestal in een platte, uniforme wiskundige ruimte, waarbij de natuurlijke krommingen van het netwerk worden genegeerd. Een nieuwe studie introduceert een andere aanpak genaamd FlatLand, die de gekromde aard van deze netwerken omarmt in plaats van te proberen ze af te vlakken. Het team realiseerde zich dat echte netwerken vaak een specifiek type negatieve kromming bezitten, vergelijkbaar met het oppervlak van een zadel, die standaard platte wiskunde niet efficiënt kan vatten. Om dit aan te pakken, ontwierpen ze een systeem waarbij elke cliënt, of gegevenshouder, wordt toegestaan zijn model te trainen binnen een uniek gekromde wiskundige ruimte die is afgestemd op zijn specifieke datastructuur. Deze ruimte is gebaseerd op een geometrie die bekend staat als hyperbolische ruimte, die op natuurlijke wijze de manier waarop verbindingen in complexe netwerken vertakken, kan accommoderen.

De kerninnovatie van FlatLand ligt in de manier waarop het de uitwisseling van informatie tussen deze verschillend gekromde ruimtes afhandelt. De onderzoekers ontdekten dat de verschillen tussen cliënten gescheiden konden worden van de gemeenschappelijke kennis die zij delen. Ze splitsten de interne instellingen van het model in twee afzonderlijke delen: één deel dat de unieke, cliëntspecifieke eigenaardigheden van de lokale gegevens vastlegt, en een ander deel dat de universele patronen bevat die nuttig zijn voor iedereen. De unieke delen blijven privé en lokaal, terwijl de universele delen naar een centrale server worden gestuurd om te worden gecombineerd. Deze scheiding wordt bereikt door een specifieke wiskundige dimensie te gebruiken die fungeert als een drager voor de verschillen, waardoor de gedeelde informatie schoon kan worden samengevoegd zonder dat het de ruis van lokale variaties mengt. Dit proces elimineert de noodzaak voor complexe berekeningen om te raden hoe vergelijkbaar verschillende cliënten zijn, een stap die eerdere methoden vereisten en die zaken vaak vertraagde.

Om hun idee te testen, pasten het team FlatLand toe op een verscheidenheid aan real-world grafendatasets, variërend van citatienetwerken van wetenschappelijke artikelen tot sociale netwerken en chemische structuren. Ze vergeleken hun methode met bestaande technieken in verschillende scenario's, inclusief situaties waarin slechts een klein aantal cliënten deelnam aan elke trainingsronde. De resultaten toonden aan dat FlatLand consequent andere methoden overtrof, vooral wanneer de modellen klein en efficiënt werden gehouden. In veel gevallen bereikte de nieuwe aanpak een hogere nauwkeurigheid bij het voorspellen van verbindingen of het classificeren van knooppunten dan zelfs de beste lokale trainingsmethoden, wat bewees dat samenwerking inderdaad voordelig kon zijn, zelfs wanneer de gegevens zeer divers waren. De studie vond ook dat de methode bijzonder robuust was wanneer de gegevens schaars waren of wanneer de netwerkstructuren zeer verschillend van elkaar waren, een scenario waarin traditionele platte modellen vaak moeite hebben.

Een van de meest opmerkelijke bevindingen was hoe goed het systeem werkte met zeer laagdimensionale representaties. In machine learning is het klein houden van het model cruciaal om bandbreedte en energie te besparen, vooral bij communicatie met vele apparaten. Terwijl andere methoden een aanzienlijk verlies aan nauwkeurigheid leden wanneer ze gedwongen werden dergelijke compacte modellen te gebruiken, behield FlatLand zijn hoge prestaties. Dit suggereert dat door de natuurlijke geometrie van de gegevens te respecteren, het systeem effectiever kan leren met minder middelen. De onderzoekers merkten ook op dat de methode geen cliënten vereiste om gevoelige statistieken over hun gegevens of hun gelijkenis met anderen te delen, waardoor de privacy bij ontwerp behouden bleef. Alleen de gedeelde, universele componenten van het model werden verzonden, terwijl de gepersonaliseerde instellingen en de specifieke kromming van de ruimte van elke cliënt verborgen bleven.

Het werk beweert niet dat deze gekromde aanpak de perfecte oplossing is voor elk mogelijk type netwerk, aangezien sommige gegevens nog steeds beter in een platte ruimte zouden passen. Echter, voor de overgrote meerderheid van de complexe, real-world netwerken die deze natuurlijke krommingen vertonen, demonstreert de studie een duidelijke weg vooruit. Door af te stappen van de aanname dat alle gegevens in één enkel, plat kader moeten passen, biedt FlatLand een meer natuurlijke en efficiënte manier om samen te leren. Het laat zien dat wanneer we onze wiskundige instrumenten laten buigen en aanpassen aan de vorm van de informatie die ze proberen te begrijpen, we slimmere, meer private en meer collaboratieve systemen kunnen bouwen. Het succes van deze aanpak suggereert dat de toekomst van gedecentraliseerd leren wellicht niet ligt in het dwingen van data om aan een standaardvorm te voldoen, maar in het vinden van de juiste gekromde ruimte voor elk deel van de puzzel.

Technische Samenvatting: FlatLand

Probleemstelling
Federated Learning (FL) maakt privacy-bewuste collaboratieve training mogelijk, maar worstelt met datadatheterogeniteit, een uitdaging die bijzonder acuut is in Graph Federated Learning (GFL). In GFL bezitten cliënten structureel diverse grafen, wat leidt tot een uitgesproken structurele heterogeniteit waar standaard FL-modellen niet aan kunnen voldoen. Bestaande methoden voor Personalized Federated Learning (PFL) voor grafen opereren doorgaans binnen de Euclidische ruimte, waarbij impliciet wordt uitgegaan van een uniforme, vlakke geometrie over alle client-datadistributies. Deze aanname dwingt bestaande methoden om te vertrouwen op complexe mechanismen—zoals het schatten van client-gelijkenis, parameterontkoppeling of hulpmodules—wat vaak aanzienlijke computationele overhead met zich meebrengt. Bov�elijk blijkt uit empirische analyse dat real-world graafdata frequent een negatieve Ricci-kromming (hyperbolische structuur) vertoont en dat krommingswaarden aanzienlijk variëren tussen cliënten, wat suggereert dat een verenigde Euclidische geometrie fundamenteel niet in lijn is met de intrinsieke aard van graafdata.

Methodologie: FlatLand
De auteurs stellen FlatLand voor, een gepersonaliseerd GFL-framework dat clientdata inbedt in op maat gemaakte Lorentz-ruimtes van hyperbolische geometrie om de intrinsieke geometrische eigenschappen getrouw te vangen. De methode bestaat uit drie kerncomponenten:

Op maat gemaakte Lorentz-ruimtes: In plaats van één enkele globale geometrie, wijst FlatLand elke client een specifieke Lorentz-schaalparameter ( $K_c$ ) toe, die een uniek hyperbolisch oppervlak ( $L^{d}_{K_c}$ ) definieert met een doorsnedekromming van $-1/K_c$ . Dit stelt het model in staat om zich aan te passen aan de variërende Ricci-kromming die bij verschillende client-grafen wordt waargenomen. De krommingsparameter wordt geïnitialiseerd met behulp van Forman-Ricci-kromming, maar wordt behandeld als een leerbare grootheid tijdens lokale training om rekening te houden met feature- en labelheterogeniteit.
Parameterontkoppelingsstrategie: Door gebruik te maken van de structuur van het Lorentz-model, deelt het framework de transformatieparameters van het neurale netwerk op in twee afzonderlijke sets:
- Ruimte-achtige parameters ( $\theta_s$ ): Deze komen overeen met de ruimtelijke dimensies ( $x_s$ ) en dragen gemeenschappelijke, overdraagbare kennis.
- Tijd-achtige parameters ( $\theta_c$ ): Deze komen overeen met de tijd-achtige dimensie ( $x_t$ ) en coderen client-specifieke heterogeniteit.
  De server aggregeert alleen de ruimte-achtige parameters ( $\theta_s$ ) via een standaard gemiddelde-benadering (vergelijkbaar met FedAvg), terwijl de tijd-achtige parameters en de krommingsschaal $K_c$ lokaal blijven voor elke client. Dit ontwerp zorgt er theoretisch voor dat client-specifieke heterogeniteit behouden blijft zonder dat expliciete client-gelijkenis-inschatting of hulpmodules vereist zijn.
Volledige Lorentz Neurale Netwerken: Het framework maakt gebruik van Fully Lorentz-netwerken, die volledig binnen het hyperbolische manifold opereren, waardoor de noodzaak voor herhaalde projecties tussen Euclidische en hyperbolische ruimtes wordt vermeden en de computationele efficiëntie wordt verbeterd.

Belangrijkste Bijdragen

Geometrisch Perspectief op PFL: Het paper is de eerste die hyperbolische geometrie en PFL overbrugt om client-heterogeniteit op een principiële wijze aan te pakken. Het stelt theoretisch vast dat op maat gemaakte kromming noodzakelijk is om de embedding-distorsie te minimaliseren wanneer client-grafen variërende Ricci-krommingen bezitten (Theorem 4.1).
Intrinsieke Heterogeniteit Codering: De auteurs demonstreren dat de tijd-achtige dimensie in de Lorentz-ruimte van nature client-specifieke geometrische heterogeniteit codeert, terwijl de ruimte-achtige dimensies gedeelde informatie bewaren (Theorem 4.3).
Beknopt Framework: FlatLand bereikt personalisatie zonder de computationele overhead van client-clustering of gelijkenis-inschatting. Het is direct gebouwd op het FedAvg-paradigma en vereist enkel de aggregatie van ruimte-achtige parameters.
Theoretische Garanties: Het paper biedt bewijzen voor de correctheid van de methode (het waarborgen dat representaties geldig blijven in de Lorentz-ruimte na aggregatie), convergentiesnelheden vergelijkbaar met FedAvg ( $O(1/T)$ ), en minimale computationele overhead.

Experimentele Resultaten
De auteurs evalueerden FlatLand op diverse node-classificatie- en graafclassificatietaken over meerdere real-world datasets (bijv. Cora, CiteSeer, ogbn-arxiv, Amazon-Photo, en heterofiele datasets zoals Roman-Empire en Minesweeper).

Prestaties: FlatLand presteerde consequent beter dan state-of-the-art baselines, inclusief Euclidische PFL-methoden (FedPer, GCFL), standaard FL-methoden (FedAvg, FedProx) en hyperbolische FL-baselines (FedHGCN). Het toonde met name sterke winst in laag-dimensionale settings en op zeer heterogene datasets.
Efficiëntie in Lage Dimensies: In experimenten waarbij de embedding-dimensies werden teruggebracht van 64 naar 4, behield FlatLand een superieure prestatie vergeleken met Euclidische tegenhangers, wat de representatieve kracht van hyperbolische geometrie in compacte settings benadrukt.
Robuustheid: De methode toonde robuustheid onder gedeeltelijke client-participatie (bijv. een participatiepercentage van 10%), waarbij het aanzienlijk beter presteerde dan FedAvg, dat gevoelig was voor de gesamplede clients.
Ablatiestudies: Experimenten bevestigden dat zowel de adaptieve kromming-initialisatie als de tijd-achtige parameterontkoppelingsstrategie cruciaal zijn. Het verwijderen van de ontkoppelingsstrategie leidde tot een significante degradatie van de prestaties, en het gebruik van een vaste krommingsparameter leverde inferieure resultaten op vergeleken met leerbare, client-specifieke kromming.

Betekenis en Claims
Het paper claimt dat FlatLand een nieuw, beknopt en effectief perspectief biedt voor gepersonaliseerd federated learning door gebruik te maken van geometrische eigenschappen in plaats van statistische heuristieken. Door diverse datadistributies in kaart te brengen op verschillende Lorentz-oppervlakken, accommodeert de methode op natuurlijke wijze de intrinsieke negatieve kromming van real-world grafen. De auteurs stellen dat deze aanpak client-specifieke heterogeniteit effectief mitigeert zonder dat extra berekeningsmodules of client-gelijkenis-inschattingen nodig zijn, wat het bijzonder geschikt maakt voor communicatie-efficiënte federated learning scenario's waar laag-dimensionale representaties cruciaal zijn. Het werk positioneert niet-Euclidische geometrie als een veelbelovende richting voor het aanpakken van heterogeniteit in federated settings, waarmee de beperkingen van uniforme Euclidische aannames worden overstegen.

Meer zoals dit