ASWA: An Adaptive Similarity-Weighted Aggregation Algorithm for Communication-Efficient Federated Learning under Non-IID Data

In de moderne wereld van kunstmatige intelligentie bestaat er een fundamentele spanning tussen de wens om slimmere systemen te bouwen en de noodzaak om privéinformatie te beschermen. Traditioneel vereist het trainen van een krachtig computermodel het verzamelen van enorme hoeveelheden gegevens van miljoens gebruikers in één centrale locatie. Deze aanpak roept echter ernstige privacyzorgen op en stuit op juridische hindernissen, omdat veel organisaties niet simpelweg hun gevoelige dossiers kunnen overhandigen. Om dit op te lossen, ontwikkelden onderzoekers een methode genaamd federated learning (gefederd leren). In plaats van de gegevens naar de computer te brengen, gaat de computer naar de gegevens. Stel je een docent voor die een lesplan naar twintig verschillende klaslokalen stuurt. Elke leerling leert uit hun eigen lokale boeken en schrijft hun aantekeningen op. De docent verzamelt vervolgens alleen de aantekeningen, niet de boeken, en combineert deze om een beter lesplan te maken voor de volgende dag. Dit maakt het mogelijk dat een gedeeld model verbetert zonder ooit de ruwe, privégegevens van een enkele deelnemer te zien.

De standaardmanier om deze aantekeningen te combineren is een eenvoudig gemiddelde, waarbij de bijdrage van elk klaslokaal wordt gewogen naar het aantal leerlingen dat erin zit. Dit werkt goed als elk klaslokaal een vergelijkbare mix van vakken heeft. Maar in de echte wereld zijn gegevens zelden zo uniform. Een rurale kliniek ziet misschien voornamelijk oudere patiënten met specifieke kwalen, terwijl een stedelijk ziekenhuis een andere mix van jongere, diverse gevallen ziet. Wanneer de gegevens ongelijk verdeeld zijn over deze verschillende locaties, begint de methode van eenvoudig middelen te worstelen. De aantekeningen van de verschillende klaslokalen beginnen het lesplan in tegenstrijdige richtingen te trekken, waardoor het systeem langzamer leert, meer ronden van communicatie vereist en vaak niet een hoog niveau van nauwkeurigheid bereikt. Dit probleem van ongelijk verdeelde gegevens is de primaire hindernis die deze technologie belemmert in breed gebruik bij ziekenhuizen, banken en andere instellingen.

Een nieuwe studie stelt een oplossing voor voor dit specifieke probleem door een methode te introduceren genaamd Adaptive Similarity-Weighted Aggregation, of ASWA. De onderzoekers, werkend vanuit de Dilla University in Ethiopië, hebben een systeem ontworpen dat fungeert als een slimmere docent voor het federated learning-proces. Hun aanpak vereist geen nieuwe informatie die tussen de centrale server en de lokale apparaten wordt verzonden, noch vraagt het de apparaten om meer gegevens te verzenden dan gebruikelijk. In plaats daarvan verandert het de manier waarop de centrale server beslist welke aantekeningen het vertrouwt en welke klaslokalen het nauwst moet beluisteren. De methode werkt volgens twee eenvoudige principes. Ten eerste kijkt het naar de richting van de leerupdates die van elke cliënt komen. Als de aantekeningen van een cliënt goed aansluiten bij de algemene richting van de groep, krijgen ze meer gewicht. Als de aantekeningen van een cliënt in een vreemde of tegenstrijdige richting lijken af te dwalen, vermindert het systeem hun invloed zonder ze volledig te verwerpen. Dit voorkomt dat het globale model uit koers wordt getrokken door uitschieters. Ten tweede verandert het systeem wie er in elke ronde aan mag deelnemen. In plaats van klaslokalen willekeurig te kiezen, richt het de aandacht op de cliënten die het huidige model het meest moeite heeft om te verklaren. Door het beperkte communicatiebudget te concentreren op de gebieden waar het model het zwakst is, leert het systeem sneller en efficiënter.

De onderzoekers testten deze nieuwe methode tegen de standaardaanpak met behulp van een verscheidenheid aan gesimuleerde scenario's waarbij de gegevens sterk scheef verdeeld waren, wat de ongelijkmatige omstandigheden in de echte wereld nabootst. Ze voerden deze tests uit over zes verschillende niveaus van gegevensongelijkheid en vijf verschillende snelheden van cliëntparticipatie. De resultaten toonden aan dat de nieuwe methode onder extreme omstandigheden van ongelijk verdeelde gegevens de uiteindelijke nauwkeurigheid van het model met tussen de 6,6 en 8,8 procentpunten verbeterde ten opzichte van de standaardaanpak. Belangrijker nog, het bereikte een beoogd nauwkeurigheidsniveau met 26,2 procent minder ronden van communicatie en 26,5 procent minder totale gegevensoverdracht. Deze vermindering in communicatie is cruciaal, aangezien het heen en weer sturen van gegevens vaak het duurste en meest tijdrovende deel van het proces is. De studie vond ook dat de nieuwe methode veel consistenter was, met veel minder variatie in prestaties van de ene run naar de andere, wat suggereert dat het betrouwbaarder is in onvoorspelbare omgevingen.

De studie bevestigde verder dat deze verbeteringen niet ten koste gingen van de prestaties wanneer de gegevens al goed in balans waren. In situaties waarin de gegevens bijna uniform waren, presteerde de nieuwe methode net zo goed als de standaardaanpak, wat bewijst dat het geen onnodige complexiteit introduceert wanneer dat niet nodig is. De onderzoekers testten ook hoe gevoelig het systeem was voor een specifieke instelling die de balans regelt tussen het vertrouwen in de grootte van een dataset en het vertrouwen in de richting van de update. Ze vonden dat een gebalanceerde instelling het beste werkte, wat bevestigt dat de gekozen configuratie robuust is. Hoewel de initiële tests op een kleinere schaal werden uitgevoerd met een eenvoudige dataset van handgeschreven cijfers, hebben de auteurs een volledige, direct bruikbare handleiding verstrekt voor het uitvoeren van deze tests op veel grotere en complexere datasets, waaronder medische afbeeldingen van huidlaesies en borstfoto's. Dit suggereert dat de methode niet slechts een theoretisch idee is, maar een praktisch instrument dat kan worden toegepast op echte problemen waar gegevensprivacy en ongelijk verdeelde gegevens een grote zorg vormen. Het werk geeft aan dat door kleine, intelligente aanpassingen te maken aan de manier waarop informatie wordt gecombineerd en wie wordt gevraagd bij te dragen, het mogelijk is om de snelheid en nauwkeurigheid van collaboratieve leersystemen aanzienlijk te verbeteren zonder de last van communicatie te vergroten.