🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

Het artikel introduceert HERO, een heterogeniteitsbewuste benchmarkbibliotheek voor Federated Continual Learning die taakverdelingen, cliëntgegevensdistributies en taaksequenties ontkoppelt om reproduceerbare evaluaties mogelijk te maken die onthullen hoe de prestaties van methoden variëren over verschillende heterogeniteitsinstellingen en kunnen worden gemaskeerd door gemiddelde metrieken.

Oorspronkelijke auteurs: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme klas studenten te onderwijzen die allemaal in verschillende kamers zitten, verschillende tekstboeken gebruiken en op verschillende snelheden leren. Dit is de wereld van Federated Continual Learning (FCL). Het doel is om één slim "superleraar"-model te trainen dat leert van al deze studenten zonder ooit hun privé-notitieblokken te zien. Maar hier is de crux: de lessen van de studenten veranderen voortdurend in de loop van de tijd. De ene dag leren ze over katten, de volgende dag over honden, en de dag daarna over raketten. De leraar moet de katten blijven onthouden terwijl hij over de raketten leert, terwijl de studenten verspreid over de hele wereld zitten.

Lama een tijdje probeerden wetenschappers die deze "superleraren" wilden testen een spelletje "appels met sinaasappels vergelijken" te spelen. De ene onderzoeker testte bijvoorbeeld op een dataset van 100 plaatjes, een andere op 1.000; de een had alle studenten die in dezelfde volgorde leerden, terwijl de ander hen in chaos liet leren. Het was onmogelijk om te zeggen of een methode echt slim was of gewoon geluk had omdat de test makkelijker was.

Ontmoet HERO (Heterogeneity-Aware Benchmark Library for Federated Continual Learning). Denk aan HERO als een gigantische, perfect gekalibreerde hindernisbaan waar elke superleraar doorheen moet rennen. In plaats van onderzoekers hun eigen rommelige banen te laten bouwen, bouwt HERO de baan voor hen, zodat iedereen precies dezelfde hindernissen tegenkomt.

De Drie Magische Knoppen

De belangrijkste ontdekking van het paper is dat eerdere tests drie verschillende soorten problemen samenvoegden tot één grote bende. HERO scheidt deze in drie afzonderlijke "knoppen" die je kunt draaien om precies te zien wat een model laat struikelen:

De "Wie krijgt wat"-knop (Client Data Skew): Stel je een pizzaparty voor. Als iedereen een gelijk deel van elke topping krijgt, is dat makkelijk. Maar wat als de ene student alleen pepperoni krijgt, de ander alleen champignons, en de derde een vreemde mix? Dit is client data skew. Het paper gebruikt een getal genaamd $\alpha$ om dit te controleren. Een hoge $\alpha$ (zoals 100,00) betekent dat iedereen een eerlijk deel krijgt. Een lage $\alpha$ (zoals 0,10) betekent dat de porties extreem ongelijk zijn.
De "Wie gaat wanneer"-knop (Task-Order Mismatch): Stel je een estafette voor. In een gesynchroniseerde race rennen iedereen eerst ronde 1, dan ronde 2, en dan ronde 3 samen. Maar in een chaotische race rent Student A eerst ronde 1, dan ronde 3, en dan ronde 2, terwijl Student B ronde 2, dan ronde 1, en dan ronde 3 rent. Dit is task-order mismatch. Het paper gebruikt een getal genaamd $\rho$ om dit te controleren. Als $\rho$ 0,00 is, rent iedereen in perfecte synchronisatie. Als $\rho$ 1,00 is, rent iedereen in zijn eigen chaotische ritme.
De "Wat staat er op het menu"-knop (Task Split): Deze bepaalt welke onderwerpen (zoals "katten" of "honden") de lessen uitmaken.

Door dit te scheiden, laat HERO onderzoekers vragen: "Faalt dit model omdat de data ongelijk is, of omdat de studenten in de war zijn over de volgorde van de lessen?"

De Grote Verrassing: Gemiddelde Scores Liegen

Het paper voerde een enorme experiment uit met CIFAR-100 (een dataset van 100 beeldcategorieën) en TinyImageNet (een kleinere set van 100 beeldcategorieën). Ze testten veel verschillende "superleraar"-methoden.

Hier is de grote onthulling: Gemiddelde scores kunnen een ramp verbergen.

In de "Makkelijke" instelling (waar de data eerlijk is en iedereen in volgorde leert), was een methode genaamd FedCBDR de ster. Het had de hoogste gemiddelde nauwkeurigheid. Maar zodra de onderzoekers de chaos opvoerden (de data ongelijk maakten en de volgordes mengden), begon FedCBDR te wankelen.

Ondertussen waren andere methoden zoals TagFed en LGA in de makkelijke instelling misschien niet de beste, maar zij waren de taaiste overlevers in de moeilijke instelling. Zij zorgden ervoor dat de "onderste 10%" van de studenten (degenen met de moeilijkste data en de vreemdste schema's) niet volledig zouden falen.

Het paper mat dit met drie specifieke scores:

Final Average Accuracy (AFA): Het klassengemiddelde.
Average Forgetting (AF): Hoeveel de leraar vergat van oude lessen.
Bottom-10% Client Accuracy (B10): Hoe goed de slechtst afgestelde studenten het deden.

De resultaten lieten zien dat een methode een hoge AFA kan hebben, maar een verschrikkelijke B10. Het is als een school waar de beste studenten een A+ halen, maar de onderste 10% voor het vak zakt. Als je alleen naar het gemiddelde kijkt, zou je denken dat de school geweldig is. HERO dwingt je om naar de onderste 10% te kijken om de waarheid te zien.

Het Grafiek-experiment: Niet Alleen Afbeeldingen

Om te bewijzen dat HERO niet alleen voor plaatjes is, probeerden de auteurs het op OGB-MolPCBA, een dataset over moleculen (chemische structuren). In plaats van nieuwe soorten moleculen te leren, moest het model leren van verschillende groepen moleculen die er anders uitzagen (zoals verschillende scaffolds).

Ze testten dit door moleculen te groeperen in 5, 15 of 25 verschillende domeinen. Naarmate ze de groepen kleiner en specifieker maakten (het aantal domeinen verhoogden), werden de modellen slechter. De "Average Precision" (AP) daalde, en het "vergeten" nam toe. Dit bewees dat de interface van HERO ook werkt voor grafieken en chemie, en niet alleen voor afbeeldingen.

Wat het Paper Uitsluit

Het paper argumenteert expliciet tegen het idee dat je deze modellen kunt beoordelen met een enkele "Leaderboard"-score. Ze laten zien dat een methode die wint op een eenvoudige, gesynchroniseerde test, er slecht aan toe kan zijn wanneer de echte wereld rommelig wordt. Ze sluiten ook de mogelijkheid uit dat "gemiddelde prestatie" genoeg is; je moet de prestaties van de zwakste cliënten controleren om te weten of een methode echt robuust is.

Hoe Zeker Zijn We?

De auteurs zijn zeer zeker van hun bevindingen omdat ze niet alleen gokten; ze maten het. Ze voerden hun experimenten vijf keer uit met verschillende willekeurige seeds om er zeker van te zijn dat de resultaten niet op toeval berustten. Ze rapporteerden getallen zoals 53,91 ± 1,53 voor de nauwkeurigheid op CIFAR-100 in de makkelijke instelling, wat precies laat zien hoeveel de resultaten varieerden.

Ze vonden dat in de "Joint-Hard" instelling (waar $\alpha = 0,10$ en $\rho = 1,00$ ) de beste methode (TagFed) een AFA van 42,83 bereikte op CIFAR-100, terwijl de winnaar van de makkelijke instelling (FedCBDR) zakte naar 39,74. Dit zijn gemeten feiten, geen suggesties.

De Kernboodschap

HERO is als een nieuw soort sportschool voor AI-modellen. In plaats van ze op een vlakke, lege baan te laten rennen waar ze er allemaal snel uitzien, zet HERO ze op een baan met heuvels, wind en een ongelijke ondergrond. Het laat ons zien dat het model dat het snelst lijkt op een vlakke baan, degene kan zijn die in de modder struikelt. Door het "wie krijgt wat" te scheiden van het "wie gaat wanneer", helpt HERO ons om AI te bouwen die echt klaar is voor de rommelige, onvoorspelbare echte wereld.

Technische Samenvatting: HERO – Een Heterogeniteitsbewuste Benchmark-bibliotheek voor Federated Continual Learning

1. Probleemstelling

Federated Continual Learning (FCL) adresseert de uitdaging van gedistribueerde clients die leren van niet-stationaire datastromen terwijl zij eerder verworven kennis behouden. Echter, het vakgebied lijdt onder een aanzienlijke "benchmark-kloof". Bestaande evaluaties zijn moeilijk te vergelijken omdat onderzoekers simultaan meerdere variabelen wijzigen: datasets, taaksplits, client-datadistributies, taaksequenties, model-backbones, geheugenbeperkingen en rapportageregels. Gevolgelijk kan een methode superieur lijken, niet vanwege robuustheid, maar omdat deze werd geëvalueerd onder een gunstiger of minder heterogeen protocol. Huidige evaluaties slagen er vaak niet in om te onderscheiden of een methode robuust is tegen client-dataskew, taak-sequentie-mismatch of domeinverschuivingen, of dat deze alleen goed presteert onder gesynchroniseerde, eenvoudige instellingen.

2. Methodologie: Het HERO-framework

De auteurs introduceren HERO, een heterogeniteitsbewuste benchmark-bibliotheek ontworpen om stroomconstructie, methode-executie en resultaatrapportage te verenigen. De kernfilosofie van het ontwerp is de scheiding van drie gekoppelde keuzes die in eerder werk vaak worden samengevoegd:

Taaksplit: Beslissen welke klassen of domeinen elke taak vormen.
Client-datasplit: Beslissen welke datadistributie elke client ontvangt voor elke taak.
Client-taaksequentie: Beslissen in welke volgorde elke client met taken wordt geconfronteerd.

Stroomconstructie:
HERO genereert benchmark-stromen $B(\xi, \alpha, \rho)$ waarbij:

$\xi$ een zaadwaarde (seed) is die reproduceerbaarheid garandeert.
$\alpha$ de client-dataskew controleert via een Dirichlet-distributie ( $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ). Lagere $\alpha$ -waarden induceren sterkere skew (niet-IID data).
$\rho$ de taak-volgorde-mismatch controleert. Het definieert de afwijking van individuele client-taaksequenties van een gedeelde referentievolgorde $\pi^*$ . Hogere $\rho$ -waarden resulteren in meer asynchrone en mismatched taaksequenties.

De bibliotheek bevat drie niveaus:

HERO-Core: De primaire vergelijkbare benchmark die zich richt op beeldgebaseerde Federated Class-Incremental Learning (FCIL) met behulp van CIFAR-100 en TinyImageNet.
HERO-Portability: Test de extensie van de interface naar andere settings, specif씩 de een case study op Domain-Incremental Learning (Domain-IL) met OGB-MolPCBA (grafiekgebaseerde moleculaire data).
HERO-Extended: Bevat aanvullende dataset-constructors en methode-implementaties voor toekomstig gebruik.

Metrieken:
HERO rapporteert drie primaire metrieken om verschillende aspecten van prestaties te vangen:

Final Average Accuracy (AFA): Meet de algehele uiteindelijke prestaties.
Average Forgetting (AF): Meet de daling in prestaties op oudere taken.
Bottom-10% Client Accuracy (B10): Meet de prestaties van de slechtst presterende 10% van de clients, wat de robuustheid tegen heterogeniteit benadrukt.
Voor de grafiekgebaseerde portability-studie worden Average Precision (AP) en AP-forgetting gebruikt.

3. Belangrijkste Bijdragen

Het artikel levert vier specifieke bijdragen:

HERO Library: Een verenigde, heterogeniteitsbewuste benchmark-bibliotheek die de stroomconstructie scheidt van de methode-executie, en vaste stromen, configuraties en rapportagescripts vrijgeeft om reproduceerbaarheid te waarborgen.
Ontkoppelde Stroomgenerator: Een generator die de taaksplit, de client-datasplit en de client-taaksequentie isoleert, waardoor onderzoekers de client-dataskew ( $\alpha$ ) en de taak-volgorde-mismatch ( $\rho$ ) onafhankelijk kunnen controleren en inspecteren.
HERO-Core Benchmark: Een dichte, beeldgebaseerde FCIL-benchmark op CIFAR-100 en TinyImageNet met gedeelde stromen, gecontroleerde heterogeniteitsinstellingen en een representatieve pool van methoden.
Portability Demonstratie: Een case study op OGB-MolPCBA die aantoont dat de HERO-interface zich uitbreidt naar grafiekgebaseerde Domain-IL, waarbij scaffold-gegroepeerde moleculaire domeinen distributieverschuivingen creëren zonder de voorspellingsopdracht te veranderen.

4. Experimentele Resultaten

De auteurs evalueerden representatieve FCL-methoden (bijv. FedAvg, GLFC, TagFed, LGA, FedCBDR) over een $\alpha$ - $\rho$ raster variërend van "Easy" (gesynchroniseerd, gebalanceerd) tot "Joint-Hard" (hoge skew, hoge mismatch).

Variantie in Methodegedrag: De prestaties van methoden zijn sterk afhankelijk van de heterogeniteitsinstelling. Methoden die domineren in "Easy" settings (bijv. FedCBDR) blijven niet noodzakelijkerwijs de meest stabiele onder hoge heterogeniteit. Bijvoorbeeld, TagFed en LGA worden competitiever naarmate de client-dataskew en de taak-volgorde-mismatch toenemen, met name met betrekking tot B10.
Gemiddelde vs. Bottom-Client Prestaties: Gemiddelde nauwkeurigheid (AFA) kan zwakke prestaties op moeilijke clients maskeren. Terwijl FedCBDR vaak een hoge AFA bereikt, vertonen TagFed en LGA een superieure Bottom-10% Client Accuracy (B10) in heterogene settings, wat duidt op een betere bescherming van onderpresterende clients.
Distinctieve Falingsmodi: De studie onthult dat client-dataskew en taak-volgorde-mismatch verschillende falingspatronen veroorzaken.
- Client Data Skew ( $\alpha$ ): Verslechtert primair de B10, wat aangeeft dat moeilijke clients onevenredig worden getroffen door dataimbalans.
- Taak-Volgorde-Mismatch ( $\rho$ ): Verhoogt primair de Average Forgetting (AF), wat suggereert dat mismatched sequenties meer temporele interferentie creëren.
Portability: In de OGB-MolPCBA studie verminderde het vergroten van de scaffold-domein granulariteit (fijnere domeinen) de Average Precision en verhoogde het de forgetting. Grafiekgebaseerde methoden (POWER, MOTION) presteerden beter dan FedAvg, wat bevestigt dat de HERO-interface distributieverschuivings-stromen buiten beeldgebaseerde FCIL kan beschrijven.

5. Betekenis en Claims

Het artikel claimt dat HERO het gebrek aan gecontroleerde, vergelijkbare evaluatie in FCL aanpakt. Door de bronnen van heterogeniteit te scheiden, stelt HERO onderzoekers in staat om:

Vast te stellen of een methode robuust is tegen specifieke soorten moeilijkheidsgraad (skew vs. mismatch) in plaats van een generieke "heterogene" setting.
Bloot te leggen dat een enkele globale leaderboard onvoldoende is; de rangschikking van methoden verandert aanzienlijk op basis van de specifieke heterogeniteitsconfiguratie.
Falen op de "long tail" van clients (via B10) te onthullen die gemiddelde metrieken verbergen.
Evaluatieprotocollen uit te breiden naar niet-visuele domeinen (zoals grafieken) zonder incompatibele settings in één enkele score te mengen.

De auteurs benadrukken dat HERO is ontworpen als een herbruikbare bibliotheek om cumulatieve, reproduceerbare en setting-bewuste FCL-evaluatie te ondersteunen, in plaats van een eenmalig experimenteel protocol. Ze stellen expliciet dat hoewel HERO de assumpties van methoden documenteert, het geen formele privacy-analyse of validatie op niveau van implementatie vervangt.