In de moderne digitale wereld leert kunstmatige intelligentie vaak door gegevens te verzamelen van miljoenen apparaten, van smartphones tot sensoren in ziekenhuizen. Deze aanpak, bekend als federated learning, stelt computers in staat om krachtige modellen te bouwen zonder de ruwe gegevens zelf te verplaatsen, waardoor privacy wordt gewaarborgd terwijl collectieve intelligentie wordt benut. Er ontstaat echter een hardnekkig probleem omdat de gegevens op elk apparaat zelden identiek zijn. De ene gebruiker maakt misschien duizenden foto's van katten, terwijl een ander alleen landschappen vastlegt; het ene ziekenhuis behandelt misschien voornamelijk oudere patiënten, terwijl het andere vooral kinderen ziet. Wanneer deze diverse gegevensbronnen proberen te leren van één enkel gedeeld model, is het resultaat vaak een verward systeem dat voor iedereen slecht presteert. Om dit op te lossen, hebben onderzoekers zich gericht op gepersonaliseerde federated learning, een methode die probeert een balans te vinden tussen een gemeenschappelijk fundament en aanpassingen die specifiek zijn voor elke individuele gebruiker. Toch kan het leerproces, zelfs met deze gepersonaliseerde aanpassingen, instabiel worden. Naarmate het model door de tijd heen wordt bijgewerkt, kan de manier waarop het specifieke stukjes informatie begrijpt onvoorspelbaar verschuiven, waardoor het systeem vergeet wat het in eerdere stappen heeft geleerd of de verkeerde lessen toepast op de verkeerde gegevens.

Een team van onderzoekers van de Henan University of Science and Technology en de Henan Sport University heeft een nieuw framework ontwikkeld genaamd FedEAGD om deze instabiliteit aan te pakken. Hun werk richt zich op een subtiel maar cruciaal probleem: hoe het begrip van een enkel datapunt, zoals een specifieke afbeelding, verandert terwijl het model over vele rondes van communicatie leert. In plaats van elk stukje data op dezelfde manier te behandelen, houdt hun methode de geschiedenis bij van hoe het model elk individueel monster ziet. Ze ontdekten dat sommige afbeeldingen ervoor zorgen dat het model van de ene naar de andere ronde drastisch van mening verandert, terwijl andere stabiel blijven. Door deze "drift" te meten, kan het systeem beslissen hoeveel het moet vertrouwen op lessen uit het verleden voor elk specifiek item. Als een datapunt ervoor zorgt dat het model wankelt, past het systeem een sterkere sturing vanuit het verleden toe om het te stabiliseren. Als de data stabiel is, versoepelt het systeem de grip, waardoor het model meer vrij kan adapteren aan de unieke behoeften van dat specifieke apparaat.

De onderzoekers bouwden dit systeem rond een concept dat ze een "historische leraar" noemen. Stel je een student voor die een dagboek bijhoudt van zijn eigen voortgang. In deze digitale versie houdt elk apparaat een vereenvoudigd, gemiddeld verslag bij van hoe zijn gedeelde model in de loop van de tijd heeft uitgezien. Wanneer het apparaat traint op een nieuwe batch data, vergelijkt het zijn huidige begrip van elke afbeelding met dit dagboek. Als het huidige beeld van een afbeelding aanzienlijk verschilt van het historische verslag, herkent het systeem dit als een moment van instabiliteit. Het verhoogt dan automatisch het gewicht van de historische les voor dat specifieke beeld, wat effectief zegt: "Dit is een lastig geval; laten we dicht bij wat we eerder wisten blijven." Dit gebeurt op basis van een sample-voor-sample methode, wat betekent dat één afbeelding zware begeleiding kan krijgen terwijl de buurman er nauwelijks enige ontvangt, afhankelijk van hoe zeer het beeld van het model is verschoven.

Om te voorkomen dat het model te rigide wordt, hebben de onderzoekers ook een manier geïntroduceerd om geleidelijk gepersonaliseerde informatie te introduceren. In de vroege stadia van de training richt het systeem zich op het bouwen van een sterk, gedeeld fundament dat voor iedereen werkt. Naarmate de training vordert, begint het langzaam de unieke kenmerken te verweven die specifiek zijn voor elk apparaat. Dit gebeurt via een "gated" mechanisme dat werkt als een dimmer, die het volume van gepersonaliseerde details langzaam opvoert nadat het gedeelde fundament veilig is gesteld. Dit voorkomt dat het systeem in de war raakt door te vroeg te veel specifieke details te proberen te leren. De onderzoekers hebben ook veiligheidscontroles toegevoegd om ervoor te zorgen dat deze gepersonaliseerde toevoegingen niet per ongeluk de prestaties van het gedeelde model verslechteren, en ze gebruiken een techniek voor afvlakking aan het einde van het proces om de uiteindelijke updates tussen de centrale server en de individuele apparaten te coördineren.

Het team testte deze aanpak op verschillende bekende beelddatasets, waaronder collecties van handgeschreven cijfers, alledaagse objecten en complexe scènes met honderden categorieën. Ze simuleerden omgevingen waarin de data zeer ongelijkmatig verdeeld was, waarbij sommige apparaten heel andere soorten afbeeldingen hadden dan andere. Onder deze uitdagende omstandigheden presteerde de nieuwe methode consistent beter dan bestaande benaderingen. Op een dataset van 100 verschillende objectencategorieën met een zeer ongelijkmatige dataverdeling bereikte het nieuwe framework een nauwkeurigheid van 63,05 procent. Dit was bijna zes procentpunten hoger dan de op één na beste methode die werd getest, een aanzienlijke marge in het vakgebied van machine learning. Het systeem bleek ook robuust wanneer minder apparaten deelnamen aan de training of wanneer het aantal apparaten toenam, waarbij het zijn voordeel behield ten opzichte van andere methoden, ongeacht de schaal of het niveau van deelname.

Cruciaal is dat deze verbetering niet ten koste ging van een verhoogde communicatie. In veel gepersonaliseerde systemen zorgt het heen en weer sturen van unieke data tussen apparaten en de centrale server voor een zware verkeersbelasting. In dit nieuwe framework wordt alleen het gedeelde deel van het model over het netwerk verzonden. De gepersonaliseerde componenten, de historische verslagen en de specifieke aanpassingen blijven lokaal op elk apparaat opgeslagen. Dit betekent dat het systeem kan leren van de unieke eigenaardigheden van elk apparaat zonder het netwerk te verstoppen met extra data. De onderzoekers maten de tijd en de dataoverdracht die nodig waren en vonden dat de nieuwe methode efficiënt was, met een tijd van ongeveer 16,84 seconden per trainingsronde op standaard hardware, wat vergelijkbaar is met andere lichtgewicht methoden, maar veel effectiever is.

De studie suggereert dat de sleutel tot beter gepersonaliseerd leren niet alleen ligt in het hebben van verschillende modellen voor verschillende gebruikers, maar in het begrijpen van hoe die modellen in de loop van de tijd evolueren. Door aandacht te besteden aan het traject van hoe een model individuele stukjes data ziet, kan het systeem precies de juiste hoeveelheid begeleiding toepassen waar dat nodig is. Deze aanpak stelt de collectieve intelligentie van het netwerk in staat om stabiel te blijven, terwijl het toch inspeelt op de unieke behoeften van elke deelnemer. De onderzoekers concluderen dat deze methode een praktische manier biedt om meer betrouwbare en nauwkeurige systemen te bouwen voor privacygevoelige omgevingen, van de gezondheidszorg tot persoonlijke apparaten, waar data van nature divers is en de kosten van een fout hoog zijn. Hun werk toont aan dat door nauwer te luisteren naar de geschiedenis van hoe een model leert, we het kunnen helpen om beter te leren in het heden.