🤖 machine learning

F2STNet: Fair and Federated Spectral-Temporal Modeling for Graph Forecasting

Dit artikel introduceert F $^2$ STNet, een federated forecasting-framework voor grafiekgestructureerde gegevens dat spectrale grafiekkenmerken, een lichtgewicht state-space temporele encoder en een eerlijkheidsbewust aggregatiemechanisme integreert om nauwkeurige en rechtvaardige spatiotemporele voorspellingen te bereiken in gedecentraliseerde, heterogene omgevingen.

Oorspronkelijke auteurs: Jiayi Zhang, Jinfeng Xu, Hewei Wang, Siyuan Cen, Haidong Huang, Yiyao Zhan, Zheyu Chen, Jinjiang You, Ai Jian, Edith C. H. Ngai

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiayi Zhang, Jinfeng Xu, Hewei Wang, Siyuan Cen, Haidong Huang, Yiyao Zhan, Zheyu Chen, Jinjiang You, Ai Jian, Edith C. H. Ngai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst probeert te voorspellen, maar de aanwijzingen zijn verspreid over een gigantisch, onzichtbaar web. Sommige aanwijzingen gaan over waar dingen verbonden zijn (zoals welke metrostations met elkaar verbonden zijn), en andere over wanneer dingen gebeuren (zoals de spits in het verkeer). Dit is de wereld van "spatiotemporele voorspelling", een chique term voor het raden hoe dingen bewegen en veranderen over ruimte en tijd. Dit is de magie achter het voorspellen van files, luchtkwaliteit of mensenstroom. Meestal doen computers dit door alle gegevens samen te brengen in één gigantisch brein. Maar wat als die gegevens te privé zijn om te delen, of de computers die ze bevatten te zwak zijn om een enorm brein te kunnen verwerken? Dat is waar "Federated Learning" om de hoek komt kijken. Denk aan een groepsproject waarbij studenten samen een probleem oplossen zonder ooit hun huiswerk aan elkaar te laten zien; ze delen alleen hun eindantwoorden om samen tot een betere gezamenlijke oplossing te komen.

Er zit echter een addertje onder het gras. In een groepsproject, als de ene student moeite heeft terwijl een ander een genie is, laat de standaardmanier van het middelen van hun antwoorden de strijdende student vaak achter. De "geniale" antwoorden domineren, en de algemene oplossing van de groep kan geweldig zijn voor de slimme kinderen, maar verschrikkelijk voor de anderen. Dit artikel pakt dat exacte probleem aan: hoe bouw je een superintelligent, gedeeld voorspellingsmodel dat de privacy respecteert, draait op zwakke computers en ervoor zorgt dat iedereen in de groep een eerlijke kans krijgt op een goed resultaat.

Maak kennis met F2STNet, een nieuw framework ontworpen om de ultieme teamspeler te zijn voor grafische voorspellingen. De onderzoekers hebben dit systeem gebouwd om drie lastige uitdagingen tegelijk aan te pakken: het begrijpen van de vorm van de gegevens (de graaf), het onthouden van langetermijnpatronen (de tijd) en het eerlijk behandelen van elke deelnemer.

Laten we eerst kijken naar hoe F2STNet de gegevens "ziet". Stel je de graaf (zoals een kaart van sensoren) voor als een muzikale akkoord. Traditionele methoden proberen elke enkele noot individueel te beluisteren, wat traag en rommelig is. F2STNet gebruikt echter een "spectrale" aanpak. Het is alsof je een speciale bril opzet die het akkoord direct afbreekt in zijn pure frequenties. Hierdoor kan het model het grote plaatje van de verbindingen begrijpen zonder vast te lopen in de details. Het is efficiënt, zoals het kennen van de toonsoort van een lied in plaats van elke tel te tellen.

Vervolgens moet het model onthouden wat er in het verleden is gebeurd om de toekomst te raden. Oude methoden gebruikten zware, complexe geheugensystemen (zoals gigantische, traag bewegende robots) om de tijd bij te houden. F2STNet vervangt dit door een "lichtgewicht state-space" laag. Denk hierbij aan een superefficiënte, diagonale kortere route. In plaats van elke stap van een lang pad te lopen, neem je een directe, lineaire glijbaan. Dit houdt het model snel en licht, perfect voor apparaten die geen supercomputers van binnen hebben.

Maar de echte ster van de show is de "Fairness-aware Federated Aggregation" (FFA). In een standaard teaminspanning wordt ieders bijdrage gewogen op basis van hoeveel gegevens zij hebben. Als één stad 1.000 sensoren heeft en een andere stad 10, wordt de stem van de grote stad overstemd door die van de kleine. F2STNet verandert de regels. Het werkt als een wijze coach die opmerkt wanneer een teamlid moeite heeft. Als een cliënt (een stad of sensornetwerk) meer fouten maakt dan het gemiddelde, geeft het systeem hun update meer gewicht, niet minder. Het gebruikt een slim "reverse-annealing" schema: aan het begin van de training ligt de focus op het beheersen van de basis, maar naarmate het model slimmer wordt, verschuift de focus geleidelijk naar het helpen van de leden die achterblijven. Dit zorgt ervoor dat het uiteindelijke model goed werkt voor iedereen, niet alleen voor de datarijke reuzen.

De onderzoekers testten F2STNet op drie real-world datasets: verkeersstroom in Californië (PeMS04), metrostromen in Hangzhou (HZMetro) en luchtkwaliteit in 184 Chinese steden (KnowAir). De resultaten waren veelbelovend. Op de verkeers- en luchtkwaliteitsdatasets presteerde F2STNet consequent beter dan de huidige topmodellen (de "baselines") in nauwkeurigheid, waardoor de fouten in de voorspellingen kleiner werden. Op de metrodataset behaalde het de laagste foutmarge voor de gemiddelde fout (MAE).

Cruciaal was dat wanneer ze de experimenten in een "federated" setting uitvoerden (waarbij de gegevens lokaal blijven), F2STNet niet alleen goed voorspelde, maar ook eerlijk was. Op de Californische verkeersdata verbeterde F2STNet de prestaties voor de "worst-case" cliënten — degenen die in andere systemen meestal worden achtergelaten — aanzienlijk. Het verkleinde ook de kloof tussen de beste en de slechtste presteerders, wat bewijst dat je een hoogwaardig model kunt hebben dat niemand achterlaat.

Het artikel suggereert dat door deze drie ingrediënten te combineren — frequentiegebaseerd begrip van de graaf, een lichtgewicht geheugen voor tijdreizen en een voting-systeem dat gericht is op eerlijkheid — je een voorspellingsinstrument kunt bouwen dat accuraat, efficiënt en rechtvaardig is. Hoewel de auteurs opmerken dat hun huidige eerlijkheidsmethode een lineaire aanpak gebruikt voor stabiliteit en mogelijk meer complexe aanpassingen nodig heeft voor extreme situaties, laten de resultaten zien dat deze gebalanceerde aanpak een sterke stap voorwaarts is voor gedecentraliseerde, privacyveilige voorspelling.

Technische Samenvatting: F2STNet: Fair en Federated Spectral-Temporal Modeling voor Graph Forecasting

Probleemstelling
Spatiotemporele voorspelling op graafgestructureerde data is cruciaal voor toepassingen zoals verkeersvoorspelling en milieumonitoring. Bestaande benaderingen worden echter geconfronteerd met twee primaire beperkingen bij implementatie in de echte wereld:

Data-privacy en Heterogeniteit: Real-world data is vaak gedecentraliseerd (bijv. via gedistribueerde sensoren) en heterogeen over verschillende cliënten heen. Centrale training is onhaalbaar vanwege privacybeperkingen, terwijl standaard Federated Learning (FL)-methoden worstelen met statistische heterogeniteit, wat leidt tot bevooroordeelde globale modellen.
Model Efficiëntie en Rechtvaardigheid: De huidige state-of-the-art spatiotemporele modellen vertrouwen vaak op rekenintensieve recurrente of attention-gebaseerde modules. Bovendien geven standaard aggregatiestrategieën zoals FedAvg prioriteit aan datavolume boven cliëntprestaties, wat leidt tot een onrechtvaardige degradatie voor cliënten met moeilijke of ondervertegenwoordigde datadistributies.

Methodologie
De auteurs stellen F2STNet voor, een federated forecasting framework ontworpen om deze uitdagingen aan te pakken via drie kerncomponenten:

Spectral-Temporal Architectuur:
- Spectral Projectie: In plaats van uitsluitend te vertrouwen op ruimtelijke message passing, maakt F2STNet gebruik van een afgekorte graph-Fourier basis afgeleid van de genormaliseerde graph Laplacian. Dit stelt het model in staat om node-niveau graph-frequentie bijdragen te coderen. Een gedeeld Multi-Layer Perceptron (MLP) projecteert deze frequentievectoren naar embeddings, waardoor de graph-frequentiestructuur voor het model zichtbaar wordt.
- Lichtgewicht Temporele Modellering: Om de computationele kosten van recurrente neurale netwerken (RNN's) of zware attention-mechanismen te vermijden, gebruikt het framework een diagonale lineaire state-space laag. Deze module modelleert langetermijn temporele afhankelijkheden met lineaire complexiteit ten opzichte van de sequentielengte, gebruikmakend van zero-order-hold discretisatie.
- Ruimtelijke Modellering: Het model integreert graph convolutie met behulp van een uitgebreide adjacency matrix om ruimtelijke afhankelijkheden op de temporele embeddings te vangen.
Fairness-Aware Federated Aggregation (FFA):
- In tegenstelling tot FedAvg, dat updates strikt weegt op basis van lokale steekproefomvang, past FFA cliëntgewichten dynamisch aan op basis van hun voorspellende prestaties.
- Mechanisme: Cliënten evalueren hun modellen op een lokale validatieset die apart is gehouden. Het aggregatiegewicht voor een cliënt wordt aangepast op basis van de afwijking van hun validatieverlies van het gemiddelde cliëntverlies. Cliënten met hogere-dan-gemiddelde verliezen (wat duidt op moeilijkheidsgraad) ontvangen een hoger gewicht ten opzien van hun datagrootte-prior, terwijl hoogpresterende cliënten iets minder gewicht krijgen.
- Dynamische Scheduling: De invloed van deze rechtvaardigheidsaanpassing wordt gecontroleerd door een hyperparameter $\lambda_t$ , die een reverse-annealing schema volgt. Aanvankelijk is $\lambda$ laag om de globale convergentie te prioriteren; naarmate de training vordert, neemt $\lambda$ toe om meer nadruk te leggen op het verbeteren van de gelijkheid tussen heterogene cliënten.

Belangrijkste Bijdragen

Verenigd Framework: Het voorstel van F2STNet, dat spectral encoding, lineaire state-space modellering en fairness-aware aggregatie integreert in één enkel federated spatiotemporeel framework.
Nieuwe Aggregatiestrategie: Het ontwerp van FFA, een loss-gebaseerd herwegtingsschema dat de gelijkheid onder heterogene participanten verbetert zonder demografische attributen te vereisen.
Empirische Validatie: Uitgebreide experimenten op drie real-world datasets (PeMS04, HZMetro en KnowAir) die de effectiviteit van het framework aantonen.

Experimentele Resultaten

Centrale Prestaties: Op alle drie de datasets presteert F2STNet consistent beter dan state-of-the-art baselines (inclusief STG-NCDE, PDFormer, STG-Mamba, en anderen) in termen van RMSE, MAE en MAPE. Opvallend genoeg bereikt het de laagste MAE op de HZMetro dataset.
Federated Prestaties: In federated settings op PeMS04 vertoont F2STNet superieure prestaties vergeleken met standaard FL-baselines (FedAvg, FedProx, MOON, etc.). Cruciaal is dat het de worst-client performance verbetert en client-dispersion metrieken vermindert, wat aangeeft dat de fairness-aware aggregatie er succesvol in slaagt de prestatiedegradatie voor benadeelde cliënten te mitigeren.
Efficiëntie: Het model behaalt deze resultaten met een lager aantal parameters vergeleken met veel zware attention-gebaseerde baselines, zoals geïllustreerd door de performance-efficiëntie trade-off analyse.

Betekenis
Het artikel beweert dat F2STNet een holistische oplossing biedt voor spatiotemporele forecasting in middelen-beperkte en privacygevoelige omgevingen. Door spectrale frequentie-analyse te combineren met efficiënte state-space modellering, pakt het de complexiteit aan van zowel het vangen van ruimtelijke als temporele dynamiek. Tegelijkertijd adresseert het FFA-mechanisme de cruciale kwestie van rechtvaardigheid in federated learning, door ervoor te zorgen dat het globale model redelijkerwijs goed presteert over alle cliënten heen, in plaats van de voorkeur te geven aan cliënten met grotere of schonere datasets. Dit werk benadrukt de noodzaak om frequentie-encoding, lichtgewicht temporele modellering en fairness-aware aggregatie te integreren om robuuste en schaalbare implementatie van graph forecasting modellen mogelijk te maken.

Meer zoals dit