🤖 machine learning

Federated Continual Learning as a Distributed Drift-Plus-Penalty Control Problem

Dit artikel stelt Federated Queue-regulated Continual Learning (FedQCL) voor, een nieuw framework dat Federated Continual Learning beschouwt als een stochastisch controleprobleem met behulp van Lyapunov drift-plus-penalty optimalisatie om vergeten expliciet te beheren via virtuele wachtrijen, waardoor superieure nauwkeurigheid en verminderd vergeten worden bereikt op heterogene benchmarks zonder dat gradiëntprojectie of extra communicatieoverhead vereist is.

Oorspronkelijke auteurs: Nazreen Shah, Naveen Kumar Reddy Somireddy, Zubair Shaban, Ranjitha Prasad, B. N. Bharath

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nazreen Shah, Naveen Kumar Reddy Somireddy, Zubair Shaban, Ranjitha Prasad, B. N. Bharath

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale wereld wordt er steeds vaker van machines gevraagd om niet alleen eenmalig te leren, maar continu te leren, waarbij ze zich aanpassen aan nieuwe informatie terwijl ze onthouden wat ze eerder hebben geleerd. Deze uitdaging staat bekend als continual learning (continu leren). Stel je een student voor die elke dag een nieuw examen moet afleggen, maar de klasregels verbieden hem om zijn oude tekstboeken of aantekeningen te bewaren. Hij moet het nieuwe materiaal bestuderen zonder het vermogen te verliezen om vragen van vorige dagen te beantwoorden. In de echte wereld speelt dit scenario zich af op miljoenen apparaten, van smartphones tot medische sensoren, die elk over privédata beschikken die niet gedeeld kan worden met een centrale server. Deze opstelling wordt federated learning (federated leren) genoemd, waarbij veel apparaten samenwerken om één slim model te trainen zonder ooit hun privé-informatie prijs te geven. De moeilijkheid ontstaat wanneer deze apparaten te maken krijgen met verschillende soorten data en veranderende taken in de loop van de tijd; het model vergeet vaak oude lessen terwijl het nieuwe leert, een probleem dat bekend staat als catastrophic forgetting (catastrofaal vergeten).

Onderzoekers van IIIT Delhi en IIT Dharwad hebben dit specifieke probleem aangepakt door het leerproces niet alleen te zien als een reeks wiskundige problemen, maar als een dynamisch systeem dat constante regulatie nodig heeft. Ze ontwikkelden een nieuwe methode genaamd FEDQCL, die het vergeten van informatie behandelt als een fysieke grootheid die gemeten en gecontroleerd kan worden. In plaats van te proberen het model te dwingen alles te onthouden via rigide regels, gebruikt hun aanpak een virtueel controlesysteem. Denk bij dit systeem aan een reeks lokale tellers op elk apparaat die een lopende telling bijhouden van hoeveel het model over eerdere taken vergeet. Als het vergeten te groot wordt, past het systeem het leerproces automatisch aan om het proces te vertragen en de oude kennis te beschermen. Dit stelt het model in staat om flexibel genoeg te blijven om nieuwe dingen te leren, terwijl het stabiel genoeg blijft om te behouden wat het al weet, en dit alles zonder dat de apparaten extra data heen en weer hoeven te sturen.

De kern van dit werk ligt in de manier waarop de onderzoekers de spanning tussen het leren van nieuwe taken en het onthouden van oude taken hebben beheerd. Bij eerdere benaderingen probeerden apparaten vaak elke nieuwe taak in isolatie op te lossen, of gebruikten ze complexe wiskundige trucjes om veranderingen in het model te voorkomen die de prestaties uit het verleden zouden kunnen schaden. Deze methoden hadden vaak moeite wanneer de data op verschillende apparaten sterk van elkaar verschilden, wat leidde tot een situatie waarin het globale model verward of instabiel werd. De nieuwe methode introduceert een concept genaamd een virtuele wachtrij (virtual queue). Bij elke stap van het leerproces controleert elk apparaat hoeveel het huidige leren de prestaties op eerdere taken schaadt. Als de prestaties dalen, groeit de virtuele wachtrij, wat een signaal is dat het apparaat te veel vergeet. Dit signaal werkt vervolgens als een milde rem op het leerproces, waardoor het model wordt aangemoedigd om prioriteit te geven aan stabiliteit. Als het model goed presteert en niet vergeet, blijft de wachtrij klein, waardoor het model snel nieuwe dingen kan leren.

Wat deze aanpak onderscheidt, is dat de apparaten niet hun privédata hoeven te delen of zelfs geen extra informatie naar de centrale server hoeven te sturen om dit te laten werken. De tracking vindt volledig op het lokale apparaat plaats, waardoor de privacy gewaarborgd blijft terwijl er nog steeds wordt bijgedragen aan een stabiel globaal model. De onderzoekers hebben dit systeem getest op standaard beeldherkenningsopdrachten, waarbij het model moest leren om verschillende groepen objecten in een sequentie te identificeren. Ze vergeleken hun methode met verschillende bestaande technieken, waaronder die die vertrouwen op het opslaan van eerdere voorbeelden of het gebruik van complexe wiskundige projecties om oude kennis te beschermen. De resultaten lieten zien dat hun nieuwe methode consequent een hogere nauwkeurigheid bereikte op de taken, terwijl het de hoeveelheid vergeten informatie aanzienlijk verminderde. In tests met duizenden afbeeldingen over honderden categorieën presteerde de nieuwe aanpak beter dan de beste bestaande methoden, wat bewees dat het beheren van vergeten als een continu, gereguleerd proces effectiever is dan proberen het achteraf te repareren.

De studie onderzocht ook hoe de methode zich gedraagt onder verschillende omstandigheden, zoals wanneer de data op elk apparaat zeer ongelijkmatig is of wanneer het geheugen om eerdere voorbeelden op te slaan beperkt is. Zelfs toen de data sterk ongebalanceerd was, waarbij sommige apparaten voornamelijk één type afbeelding zagen en andere iets totaal anders, bleef de methode robuust. Het behield een hoge nauwkeurigheid en een laag vergeten, terwijl andere methoden moeite hadden om het model stabiel te houden. De onderzoekers ontdekten dat ze één enkele regelknop konden afstemmen om te beslissen hoeveel het model prioriteit moest geven aan het leren van nieuwe dingen versus het onthouden van oude dingen. Deze flexibiliteit stelde hen in staat om een ideaal evenwicht te vinden waarbij het model snel kan adapteren zonder zijn fundament te verliezen. De bevindingen suggereren dat het behandelen van het leerproces als een dynamisch controleprobleem, waarbij vergeten actief wordt gemonitord en gereguleerd, een krachtige manier biedt om intelligente systemen te bouwen die continu kunnen leren in de echte wereld.

Dit werk beweert niet elk probleem in machine learning te hebben opgelost, maar het biedt een duidelijk en effectief kader voor een van de meest hardnekkige uitdagingen: een model stabiel houden terwijl het leert. Door de focus te verschuiven van statische regels naar dynamische regulatie, hebben de onderzoekers laten zien dat het mogelijk is om de behoefte aan plasticiteit te balanceren met de behoefte aan stabiliteit. De methode werkt zonder dat extra communicatie tussen apparaten vereist is, wat het praktisch maakt voor real-world toepassingen waar bandbreedte en privacy een rol spelen. Naarmate machines steeds vaker worden ingezet in omgevingen waar data constant verandert, zullen benaderingen zoals deze, die zichzelf kunnen aanpassen en reguleren zonder menselijke tussenkomst, waarschijnlijk essentieel worden voor het bouwen van betrouwbare en duurzame kunstmatige intelligentie.

Technische Samenvatting: Federated Continual Learning als een Gedistribueerd Drift-Plus-Penalty Controleprobleem

Probleemformulering

Federated Continual Learning (FCL) pakt de uitdaging aan van het trainen van machine learning-modellen over gedistribueerde clients waar data sequentieel binnenkomt en taken in de loop van de tijd evolueren. In tegenstelling tot standaard Federated Learning (FL), dat uitgaat van statische datasets, vereist FCL dat modellen zich aanpassen aan nieuwe taken terwijl ze kennis van vorige taken behouden zonder toegang tot ruwe historische data. Deze setting introduceert twee primaire uitdagingen: catastrofale vergetelheid (het snelle verlies van eerder verworven kennis) en client drift (divergerende lokale updates veroorzaakt door non-IID datadistributies).

Bestaande benaderingen formuleren FCL doorgaans als een reeks per-taak optimalisatieproblemen, waarbij vertrouwt wordt op heuristische mechanismen zoals replay buffers, regularisatie (bijv. EWC, LwF), of gradiëntprojectie. De auteurs stellen echter dat vergetelheid in FCL inherent een langetermijn, gedistribeen fenomeen is dat voortkomt uit de interactie tussen temporele taakevolutie en cross-client heterogeniteit. Huidige methoden optimaliseren vaak myope, ronde-gebaseerde doelstellingen die er niet in slagen om de accumulatie van vergetelheid over de tijd en over clients expliciet te reguleren. Bovendien brengen veel bestaande methoden aanzienlijke communicatieoverhead met zich mee (bijv. gradiëntprojectie) of leggen ze rigide beperkingen op die de modelplasticiteit beperken.

Methodologie: FEDQCL

Het artikel stelt Federated Queue-regulated Continual Learning (FEDQCL) voor, een framework dat FCL beschouwt als een stochastisch controleprobleem. De kerninnovatie is de toepassing van Lyapunov drift-plus-penalty (DPP) optimalisatie om de stabiliteit-plasticiteit trade-off expliciet te reguleren.

Belangrijkste componenten:

Virtuele Queues voor het bijhouden van vergetelheid:
In plaats van vergetelheid te behandelen als een statische beperking, introduceert FEDQCL virtuele queues $Q_i^{(k)}[t]$ bij elke client $i$ voor elke voorgaande taak $k$ . Deze queues houden de accumulatie van schendingen van de beperkingen (d.w.z. de toename in replay loss) in de loop van de tijd bij. De queue update regel is:
$Q_i^{(k)}[t] = \max \left\{ Q_i^{(k)}[t-1] + \left[ \hat{\Phi}_i^{(k)}(w_i^{(t)}) - \hat{\Phi}_i^{(k)}(w^{(t-1)}) - \delta \right], 0 \right\}$
waarbij $\hat{\Phi}$ de lokale replay loss vertegenwoordigt, $w^{(t-1)}$ het globale model van de vorige taak is, en $\delta$ een tolerantiedrempel is.
Drift-Plus-Penalty (DPP) Doelstelling:
Bij elke communicatieronde minimaliseren clients een lokale DPP-doelstelling die de huidige-taak prestaties (plasticiteit) afweegt tegen de drift van de virtuele queues (stabiliteit):
$\text{DPP}_{V,i}^{(t)} = \min_{w^{(t)}} \left[ V \Phi_i(w^{(t)}; D_i^{(t)}) + \Delta L_i[t] \right]$
Hier is $V$ een controleparameter die de trade-off reguleert, en $\Delta L_i[t]$ is de Lyapunov drift. Door gebruik te maken van een bovengrens op de drift, vereenvoudigt de optimalisatie tot:
$V \Phi_i(w; D_i^{(t)}) + \sum_{k=1}^{t-1} Q_i^{(k)}[t-1] \Delta \hat{\Phi}_i^{(k)}(w, w^{(t-1)})$
De eerste term stimuleert het leren van de huidige taak, terwijl de tweede term toenames in de replay loss op eerdere taken bestraft, gewogen door de huidige queue-status.
Per-ronde Queue Updates:
Een cruciale ontwerpkeuze in FEDQCL is het updaten van de virtuele queues op de granulariteit van communicatierondes in plaats van taakgrenzen. Omdat vergetelheid continu evolueert door iteratieve lokale updates en gedeeltelijke participatie, maken per-ronde updates fijnmazige tracking en tijdige correctie van schendingen van beperkingen mogelijk.
Communicatie-efficiëntie:
De methode vereist geen extra communicatieoverhead bovenop standaard FL (bijv. FedAvg). Virtuele queues worden lokaal bij elke client bijgehouden, en er worden geen gradiëntprojecties of hoog-dimensionale embeddings uitgewisseld.

Belangrijkste Bijdragen

Control-Theoretic Formulering: Het artikel is de eerste die FCL beschouwt als een queue-stabilisatieprobleem, waarbij vergetelheid wordt gemodelleerd als een controleerbaar, accumulerend proces over de tijd en clients.
Single-Parameter Trade-off Controle: FEDQCL bereikt een fundamentele balans tussen adaptatie en retentie met behulp van een enkele hyperparameter ( $V$ ), waardoor de complexe afstemming die nodig is door projectie-gebaseerde of multi-constraint methoden wordt vermeden.
Privacy en Efficiëntie: Het framework handhaaft beperkingen impliciet via lokale queue-dynamiek, wat de privacy waarborgt (geen ruwe data of complexe embeddings gedeeld) en een communicatie-efficiëntie behoudt die vergelijkbaar is met FedAvg.
Fijnmazige Regulatie: Door de queues per communicatieronde bij te werken, vangt de methode de continue aard van vergetelheid in gedistribueerde omgevingen op, wat een superieure controle biedt over client drift vergeleken met taakgebonden formuleringen.

Empirische Resultaten

De auteurs hebben FEDQCL geëvalueerd op standaard benchmarks: Split-CIFAR-10, Split-CIFAR-100 en Split-TinyImageNet onder non-IID datadistributies (Dirichlet parameter $\alpha$ ).

Prestaties: FEDQCL presteerde beter dan state-of-the-art baselines, inclusief replay-gebaseerde methoden (DER++, ER-FL), regularisatie-gebaseerde methoden (EWC-FL, LwF-FL) en gradiëntprojectie methoden (FOT).
- Op Split-CIFAR-100 behaalde FEDQCL een gemiddelde nauwkeurigheid van 54,52% met 0,05 vergetelheid, waarmee het de beste baseline (DER++-FL: 51,04% nauwkeurigheid, 0,06 vergetelheid) overtrof.
- Op Split-TinyImageNet behaalde het 33,37% nauwkeurigheid met 0,13 vergetelheid, vergeleken met 31,02% en 0,17 voor DER++-FL.
Robuustheid: De methode toonde robuustheid bij variërende niveaus van datadistributie-heterogeniteit ( $\alpha \in \{0,001, 10, 10^5\}$ ) en geheugenbuffer groottes ( $M \in \{200, 500, 1000\}$ ).
Pareto-optimaliteit: In de plasticity-stability trade-off plots bevond FEDQCL zich consistent in het bovenste linkergedeelte van de Pareto-front, wat wijst op een superieure balans tussen hoge nauwkeurigheid en lage vergetelheid vergeleken met methoden die de één ten koste van de ander opofferen.
Ablatie-studies: De studie bevestigde dat de controleparameter $V$ effectief interpoleert tussen vergetelheid-averse en plasticiteit-gefocusseerde regimes. De queue-dynamiek bleek zich aan te passen aan variërende beperkingen ( $\delta$ ) en heterogeniteitsniveaus zonder structurele degradatie.

Betekenis en Claims

Het artikel claimt dat het behandelen van FCL als een dynamisch controleprobleem, in plaats van een reeks statische optimalisatietaken, essentieel is voor het beheren van de complexe interactie tussen vergetelheid en heterogeniteit in gedistribueerde systemen. Door gebruik te maken van Lyapunov-optimalisatie biedt FEDQCL een systematisch en interpreteerbaar mechanisme om vergetelheid te reguleren zonder de computationele of communicatieve lasten van bestaande geavanceerde methoden.

De auteurs benadrukken dat hun aanpak projectievrij en privacy-bewarend is, wat het schaalbaar maakt naar realistische federated settings waar middelen en bandbreedte beperkt zijn. Het werk benadrukt dat het expliciet modelleren van vergetelheid als een accumulerend proces via virtuele queues een effectievere regulatie van de stabiliteit-plasticiteit trade-off mogelijk maakt dan heuristische beperkingen of myope updates. De resultaten suggereren dat FEDQCL een fundamenteel alternatief biedt voor huidige FCL-paradigma's, waarbij het state-of-the-art prestaties bereikt terwijl het vergetelheid aanzienlijk vermindert onder heterogene en non-stationaire datadistributies.