A Novel Approach for Conducting Asynchronous Federated Learning with Blockchain Integration

In de moderne digitale economie zijn enorme hoeveelheden waardevolle informatie opgesloten in afzonderlijke silo's. Een bank kent uw bestedingspatronen, een ziekenhuis kent uw medische geschiedenis en een retailer kent uw winkelvoorkeuren, maar geen van deze organisaties kan hun ruwe gegevens legaal of veilig met elkaar delen. Deze fragmentatie verhindert hen bij het bouwen van de krachtige, uitgebreide modellen die nodig zijn om complexe problemen op te lossen, zoals het voorspellen van wanbetalingen op leningen of het detecteren van fraude. Om dit te overwinnen, hebben wetenschappers een methode ontwikkeld genaamd federated learning (gefederd leren). In plaats van alle gegevens op één centrale plaats te verzamelen, maakt deze aanpak het verschillende organisaties mogelijk om een gedeeld kunstmatig intelligentiemodel te trainen terwijl ze hun privégegevens op hun eigen lokale servers houden. Ze wisselen simpelweg kleine wiskundige updates uit over wat het model heeft geleerd, in plaats van de gegevens zelf. Er blijft echter een aanzienlijke hindernis bestaan: de meeste huidige systemen vereisen dat alle deelnemers in perfecte lockstep werken. Als een organisatie een trage computer of een instabiele internetverbinding heeft, moet de hele groep wachten op het traagste lid voordat ze verder kunnen gaan, wat tijd en rekenkracht verspilt.

Een nieuwe studie door Sung-Jung Hsiao van de Takming University of Science and Technology stelt een oplossing voor deze flessenhals voor door een systeem te introduceren waarmee deelnemers op hun eigen tempo kunnen werken zonder op anderen te wachten. De onderzoeker ontwikkelde een reeks algoritmen die deze asynchrone samenwerking mogelijk maken, wat betekent dat het systeem kan blijven bewegen, zelfs als sommige partners achterlopen. Om ervoor te zorgen dat iedereen eerlijk speelt en dat het proces veilig blijft, integreert de studie blockchain-technologie – hetzelfde onderliggende systeem dat wordt gebruikt voor digitale valuta – om een transparant en onvervalst verslag van bijdragen te creëren. Door deze twee innovaties te combineren, demonstreert de studie een manier waarop meerdere partijen sneller en veiliger samen betere modellen kunnen bouwen, zonder ooit hun gevoelige privé-informatie te onthullen.

De kern van dit onderzoek adresseert een specifieke zwakte in de huidige werking van federated learning. In traditionele opstellingen werkt het systeem als een estafette waarbij elke hardloper moet wachten bij de startlijn op de traagste teamgenoot voordat het volgende deel kan beginnen. Deze "synchrone" aanpak is inefficiënt omdat snellere computers ongebruikt blijven terwijl ze wachten tot tragere computers hun berekeningen hebben voltooid. Het werk van Hsiao introduceert een "asynchrone" aanpak, waarbij het systeem niet voor iemand wacht. In plaats daarvan sturen deelnemers hun updates zodra ze klaar zijn, en incorporeert het centrale systeem deze onmiddellijk. Dit houdt het hele netwerk in beweging op de snelheid van de snelste bijdragers, wat de tijd die nodig is om een model te trainen aanzienlijk verkort. De studie bewijst wiskundig dat deze methode betrouwbaar werkt en convergeert naar een correcte oplossing, zelfs wanneer communicatievertragingen onvoorspelbaar zijn of wanneer sommige deelnemers veel langzamer zijn dan anderen.

Om dit systeem betrouwbaar te maken, verving de onderzoeker de traditionele centrale server die het leren coördineert door een gedecentraliseerd blockchain-netwerk. In een standaardopstelling beheert een enkele centrale autoriteit het proces, wat een single point of failure creëert en deelnemers vereist om erop te vertrouwen dat deze autoriteit de gegevens niet zal misbruiken. In het nieuwe kader wordt de coördinatie afgehanden door een gedistribueerd netwerk van computers die via een consensusmechanisme allemaal instemmen met de staat van het model. Dit zorgt ervoor dat geen enkele entiteit de resultaten kan manipuleren. Bovendien gebruikt het systeem smart contracts, wat zelfuitvoerende programma's op de blockchain zijn, om automatisch beloningen af te handelen. Wanneer een deelnemer een hoogwaardige update levert die het model verbetert, verifieert de smart contract de kwaliteit en verdeelt automatisch een beloning. Dit creëert een eerlijke prikkelstructuur waarbij deelnemers worden gemotiveerd om hun beste werk te leveren, in plaats van te proberen onnauwkeurige gegevens in te dienen of het minimale te doen.

De onderzoeker testte deze nieuwe algoritmen met behulp van real-world financiële gegevens, specifiek datasets met informatie over creditcardgebruik en wanbetalingen op leningen. De experimenten simuleerden een scenario waarin drie verschillende bedrijven, elk met verschillende stukjes informatie over dezelfde klanten, probeerden één model te bouwen om te voorspellen wie mogelijk een lening niet zou kunnen terugbetalen. De resultaten toonden aan dat de asynchrone methode consequent sneller was dan de traditionele synchrone methode. In sommige gevallen was de nieuwe aanpak meer dan twee keer zo snel en bereikte het hetzelfde nauwkeurigheidsniveau in aanzienlijk minder tijd. De studie vond ook dat het systeem robuust bleef, zelfs wanneer een van de deelnemers veel langzamer was dan de anderen, een situatie die het traditionele systeem zou hebben doen stagneren. Het onderzoek bevestigt dat de nieuwe algoritmen grote hoeveelheden gegevens kunnen verwerken met miljoenen vermeldingen en duizenden kenmerken zonder efficiëntie te verliezen.

Beveiliging was een ander cruciaal focuspunt van het onderzoek. De studie onderzocht of de asynchrone aard van het systeem of het gebruik van blockchain nieuwe risico's voor de privacy van gegevens introduceerde. De analyse toonde aan dat de methode zowel de ruwe gegevens als het model zelf beschermt tegen reconstructie door kwaadwillende actoren. In tegen tegenstelling tot sommige andere methoden die informatie kunnen lekken via de gedeelde gradiënten, verzendt deze aanpak alleen specifieke lokale producten die wiskundig ontworpen zijn om resistent te zijn tegen inferentie-aanvallen. Het blockchain-component voegt een extra laag van bescherming toe door een onveranderlijk grootboek van alle transacties te creëren, waardoor het onmogelijk is om historische gegevens aan te passen of kwaadwillend gedrag te verbergen. Dit zorgt ervoor dat zelfs als een deelnemer probeert gecorrumpeerde gegevens in te dienen om het model te saboteren, het systeem dit kan detecteren en afwijzen voordat het het uiteindelijke resultaat beïfelt.

De implicaties van dit werk reiken verder dan alleen snelheid. Door de vereiste voor een centrale coördinator weg te nemen en een eerlijk, geautomatiseerd beloningssysteem te introduceren, biedt de studie een blauwdruk voor hoe organisaties die momenteel terughoudend zijn om samen te werken, gestimuleerd kunnen worden om de krachten te bundelen. Het systeem maakt een marktplaats mogelijk waar eigenaren van gegevens gecompenseerd kunnen worden voor de waarde die zij aan het collectieve model toevoegen. Dit is bijzonder belangrijk in sectoren zoals de financiële wereld en de gezondheidszorg, waar wetgeving rondom gegevensprivacy strikt is en het vertrouwen tussen instellingen vaak laag is. Het onderzoek suggereert dat door blockchain te gebruiken voor de coördinatie en prikkels, het mogelijk is om een collaboratieve omgeving te creëren waarin iedereen profiteert en niemand zijn veiligheid hoeft op te offeren.

In de definitieve analyse presenteert de studie een praktische en theoretisch onderbouwde methode voor het uitvoeren van grootschalige collaboratieve leerprocessen in een wereld waar data gefragmenteerd is en vertrouwen schaars is. Het demonstreert dat het mogelijk is om een hoge efficiëntie te bereiken zonder in te boeten op privacy of beveiliging. De algoritmen die in dit onderzoek zijn ontwikkeld, zijn niet slechts theoretische concepten; ze zijn rigoureus getest en hebben bewezen bestaande methoden te overtreffen in real-world scenario's. Door deelnemers toe te staan onafhankelijk te werken terwijl ze nog steeds bijdragen aan een gezamenlijk doel, en door blockchain te gebruiken om eerlijkheid en transparantie te waarborgen, biedt deze aanpak een levensvatbaar pad naar de volgende generatie privacy-beschermende kunstmatige intelligentie. Het werk bevestigt dat de toekomst van collaboratief machine learning ligt in systemen die flexibel, gedecentraliseerd en in staat zijn zich aan te passen aan de diverse en vaak ongelijke omstandigheden van de echte wereld.