How Much Regularization Survives Averaging? Update Masking in Federated Learning

In de wereld van kunstmatige intelligentie bestaat er een hardnekkige uitdaging die bekend staat als het "federated" probleem. Stel je een groep mensen voor, die elk een uniek deel van een puzzel vasthouden, die samen één complete afbeelding willen bouwen zonder ooit hun individuele stukjes aan iemand anders te laten zien. Dit is hoe modern machine learning vaak werkt: een centrale computer coördineert vele verschillende apparaten, zoals telefoons of sensoren, om gezamenlijk een gedeelde vaardigheid te leren. Het nadeel is dat de data op elk apparaat zelden hetzelfde is; de ene telefoon heeft misschien vooral foto's van katten, terwijl een andere alleen maar foto's van auto's heeft. Wanneer de centrale computer probeert te combineren wat iedereen heeft geleerd, heeft het resulterende model vaak moeite om het hele plaatje te begrijpen, waardoor het slecht generaliseert naar nieuwe situaties. Om dit op te lossen, zoeken onderzoekers al lang naar een manier om deze modellen "platte" oplossingen te laten vinden in het wiskundige landschap van leren. Denk aan een scherpe piek versus een brede, vlakke hoogvlakte. Een model dat in een scherpe piek terechtkomt, werkt misschien perfect op de specifieke data die het heeft gezien, maar het zal direct struikelen als de data ook maar een klein beetje verandert. Een model dat op een brede, vlakke hoogvlakte tot rust komt, is robuuster; het kan kleine variaties in de data opvangen zonder in elkaar te storten.

Jarenlang hebben wetenschappers geprobeerd deze modellen te dwingen die platte hoogvlaktes te vinden door ruis toe te voegen of kleine, bewuste fouten te maken tijdens het leerproces. Deze ruis werkt als een zachte schudbeweging, die voorkomt dat het model vast komt te zitten in een nauwe, fragiele plek. Onlangs werd een specifieke techniek genaamd "update masking" populair in gecentraliseerd trainen, waarbij één enkele computer al het werk doet. Deze methode verwerpt willekeurig delen van de leerinstructies en schaalt de rest bij, wat effectief een nuttige vorm van ruis toevoegt die het model naar die stabiele, vlakke gebieden duwt. Echter, toen onderzoekers probeerden deze techniek naar de federated setting te brengen, waarbij veel verschillende apparaten afzonderlijk leren en vervolgens hun resultaten combineren, leek deze techniek te verdwijnen. De vraag waar een team onderzoekers van de Sophia University en Shendian Energy Co., Ltd. het antwoord op wilde vinden, was simpel: waar is die nuttige ruis gebleven, en kon deze worden teruggewonnen?

De onderzoekers ontdekten dat de ruis niet verdwenen was; het was simpelweg verdund door de handeling van het combineren van de resultaten. In hun opstelling hadden ze honderd verschillende apparaten, of "clients", die elk op hun eigen deel van de data leerden. In een standaardbenadering zou elk apparaat willekeurig beslissen welke delen van zijn leerinstructies hij behoudt en welke hij weglaat, gebruikmakend van zijn eigen unieke patroon van keuzes. Wanneer de centrale server deze updates verzamelde en ze samen gemiddeld, werkten de willekeurige keuzes van de individuele apparaten elkaar tegen. Het was alsochtien mensen die een zwaar object in licht verschillende willekeurige richtingen probeerden te duwen; het nettoresultaat was dat het object nauwelijks bewoog. De wiskundige straf die een model normaal gesproken dwingt om robuust te zijn, werd verzwakt met een factor die gelijk is aan het aantal apparaten in de groep. Met tien apparaten werd het nuttige effect verminderd tot een tiende van de oorspronkelijke kracht, waardoor het model bijna geen bescherming meer heeft tegen overfitting.

Het team testte vervolgens een andere strategie: wat als elk apparaat exact hetzelfde patroon van keuzes gebruikt? Als alle tien de mensen het object in dezelfde willekeurige richting duwen, wordt het effect behouden. De onderzoekers ontdekten dat het synchroniseren van deze keuzes de beschermende ruis inderdaad herstelde, maar met een belangrijke kanttekening. De sterkte van de herstelde ruis hing volledig af van hoeveel de apparaten met elkaar overeenstemden. Als de apparaten leerden van zeer verschillende data en hun updates in tegenstrijdige richtingen wezen, werd de gesynchroniseerde ruis ineffectief of zelfs schadelijk. De maatstaf voor deze overeenstemming wordt "gradient diversity" genoemd, een concept dat in essentie meet hoeveel de individuele inspanningen van de apparaten overlappen. Wanneer de apparaten in harmonie zijn, keert de ruis met volle kracht terug. Wanneer zij in conflict zijn, wordt de ruis verminderd of gaat deze geheel verloren.

Om te begrijpen waarom dit in de praktijk gebeurde, voerden de onderzoekers uitgebreide experimenten uit met een standaard afbeeldingen-dataset genaamd CIFAR-10, verdeeld over honderd gesimuleerde clients. Ze maten precies hoeveel van de beschermende ruis overleefde tijdens het gemiddelde proces onder verschillende omstandigheden. Ze ontdekten dat in de meest voorkomende opstelling, waarbij apparaten leren in kleine batches data, het overlevingspercentage angstwekkend laag was. Van een mogelijke maximale sterkte van tien, bereikte de ruis die daadwerkelijk de uiteindelijke model bereikte slechts ongeveer 1.19. Dit minuscule deel betekende dat het model nauwelijks robuuster was dan wanneer er helemaal geen ruis aan was toegevoegd. De onderzoekers herleidden dit falen tot de willekeurige bemonstering van data die bij elke stap van het standaard leerproces plaatsvindt. De ruis geïntroduceerd door het kiezen van kleine batches afbeeldingen overstemde de specifieke, nuttige ruis gegenereerd door de masking-techniek, waardoor deze werd weggespoeld.

Het team onderzocht ook of de verschillen in de data zelf — het feit dat sommige apparaten meer katten hadden en anderen meer auto's — de schuldige was. Ze varieerden de datadistributie om deze extreem ongelijk te maken, waarbij sommige apparaten honderd keer meer data hadden dan andere. Verrassend genoeg had dit extreme verschil nauwelijks effect op het overlevingspercentage van de ruis. Of de data nu bijna identiek of volkomen verschillend was, het overlevingspercentage bleef steken tussen de 1.17 en 1.50. De werkelijke barrière was niet de diversiteit van de data, maar de methode van leren. Wanneer de onderzoekers de kleine-batch bemonstering uitschakelden en elk apparaat in één keer van zijn volledige collectie data lieten leren, sprong het overlevingspercentage spectaculair omhoog naar 8.96. Dit bewees dat de willekeurige ruis van kleine batches de primaire reden was waarom de techniek faalde in federated settings.

Het onderzoek sloot echter af met een nuchtere realiteitscheck. Hoewel het wiskundig mogelijk is om de volledige sterkte van de beschermende ruis te herstellen door grote, volledige data-batches en gesynchroniseerde keuzes te gebruiken, brengt dit een enorme prijs met zich mee voor de werkelijke prestaties van het model. De configuraties die de ruis lieten overleven, waren precies de configuraties die de slechtste leerresultaten produceerden, waarbij de testnauwkeurigheid aanzienlijk daalde. In de experimenten hadden de best presterende modellen, die kleine batches gebruikten, bijna geen beschermende ruis over, terwijl de modellen met de meeste ruis te onnauwkeurig waren om bruikbaar te zijn. De onderzoekers vonden geen middenweg waar de ruis behouden kon blijven zonder het vermogen van het model om te leren op te offeren.

Uiteindelijk onthult het artikel dat het falen van update masking in federated learning geen over het hoofd gezien detail of een bug is, maar een fundamenteel gevolg van hoe het systeem werkt. Het mechanisme waarmee veel apparaten samen kunnen leren — het middelen van hun updates — wast ook de specifieke soort ruis weg waar update masking op vertrouwt. De onderzoekers toonden aan dat het weliswaar mogelijk is om de ruis te laten overleven door de apparaten te synchroniseren, maar dat de voorwaarden die nodig zijn om dit te doen, onverenigbaar zijn met de praktische behoeften van het trainen van een bruikbaar model. De beschermende werking die zo goed werkt in een enkele computer, vertaalt zich simpelweg niet naar een netwerk van vele computers, tenzij men bereid is een model te accepteren dat zeer slecht leert. De studie laat het vakgebied achter met een duidelijk begrip van de grenzen van deze techniek, en suggereert dat toekomstige oplossingen elders moeten zoeken naar manieren om federated modellen te helpen die stabiele, platte hoogvlaktes te vinden.