Sovereign-Mohawk: Machine-Checked Hierarchical Byzantine Resilience and Probabilistic Composition for Federated Learning

In de moderne wereld zijn machine learning-modellen vaak te groot en is data te gevoelig om op één centrale plek te verzamelen. In plaats daarvan stelt een techniek genaamd federated learning duizenden apparaten, van smartphones tot industriële sensoren, in staat om een gedeelde intelligentie te trainen zonder ooit hun privédata naar een centrale server te sturen. Elk apparaat leert van zijn eigen lokale informatie en stuurt alleen een klein, bijgewerkt deel van het model terug om te worden gecombineerd. Deze aanpak belooft een toekomst waarin kunstmatige intelligentie verbetert zonder de persoonlijke privacy in gevaar te brengen. Dit gedecentraliseerde systeem staat echter voor een kritieke kwetsbaarheid: het "Byzantijnse" probleem. In deze context treedt een Byzantijnse fout op wanneer sommige deelnemers in het netwerk kwaadwillend handelen of defect zijn, en gecorrumpeerde updates sturen die ontworpen zijn om het hele model te vergiftigen. Als zelfs een klein aantal van deze slechte actoren hun gecorrumpeerde data in de uiteindelijke berekening kan smokkelen, kan het hele systeem falen.

Om de enorme schaal van miljoenen apparaten te beheren, organiseren ingenieurs deze deelnemers vaak in een hiërarchie, zoals een boom met takken en bladeren. Het idee is dat als elke lokale groep apparaten haar eigen leden controleert op slechte actoren voordat de data de keten omhoog stuurt, het hele netwerk veilig zou moeten blijven. Het is een geruststellende aanname: als elke lokale supervisor zijn werk doet, zal de globale leider wel in orde zijn. Deze aanname, die lang als vanzelfsprekend werd beschouwd in het ontwerp van deze systemen, blijkt echter gevaarlijk gebrekkig. Een nieuwe studie door Ryan Williams, getiteld "Sovereign-Mohawk", legt deze verborgen zwakte bloot en biedt een wiskundig bewezen oplossing die giswerk vervangt door zekerheid.

De onderzoekers begonnen door het algemeen aanvaarde geloof te testen dat lokale veiligheidsgaranties leiden tot globale veiligheid. Ze bouwden een formeel wiskundig model van een hiërarchie met twee niveaus, waarbij groepen apparaten hun updates sturen naar regionale supervisoren, die vervolgens een samenvatting naar een globale leider sturen. In hun model creëerden ze een scenario waarin elke enkele regionale supervisor de regels perfect volgde. Elke lokale groep had een meerderheid van eerlijke apparaten, en de lokale filters blokkeerden succesvol de overduidelijke slechte actoren binnen hun eigen kleine cirkels. Toch, toen de onderzoekers naar het grote plaatje keken, ontdekten ze dat het globale netwerk feitelijk werd gedomineerd door slechte actoren. Door de kwaadwillende apparaten zorgvuldig te plaatsen zodat ze net onder de detectiedrempel van elke lokale groep bleven, slaagden ze erin een situatie te creëren waarin zestig procent van het totale netwerk werd gecontroleerd door tegenstanders. De lokale bewakers deden hun werk, maar het systeem als geheel was ingestort. Dit was geen simulatie van een mogelijke fout; het was een door een computer gecontroleerd bewijs dat de oude manier van denken simpelweg niet werkt.

Nadat ze de oude methode hadden weerlegd, moest het team een manier vinden om de hiërarchie te herstellen zonder de efficiëntie van lokale verwerking op te geven. Ze realiseerden zich dat het probleem voortkwam omdat de plaatsing van apparaten voorspelbaar was. Als een aanvaller precies weet welke apparaten bij elkaar gegroepeerd zullen worden, kan hij zijn kwaadwillende knooppunten zo arrangeren dat ze door de kieren glippen. Om dit op te lossen, introduceerden de onderzoekers een methode van willekeurige toewijzing. In plaats van apparaten in vaste groepen te laten verblijven, stelden ze voor om ze in commissies te mengen via een proces dat lijkt op het trekken van namen uit een hoed, maar dan uitgevoerd met strikte wiskundige garanties. Ze bewezen dat als apparaten willekeurig aan deze commissies worden toegewezen, de kans dat een kwaadwillende groep genoeg slechte actoren concentreert om een lokale filter te breken, zo klein is dat deze effectief nul is. Ze verifieerden dit met een computersysteem dat ontworpen is om wiskundige bewijzen te controleren, waarbij ze aantoonden dat zelfs met vijftig duizend apparaten in een commissie en een aanzienlijk aantal kwaadwillende actoren in de totale populatie, de kans op falen kleiner is dan één op een getal dat zo groot is dat het meer nullen heeft dan er atomen in het universum zijn.

Deze theoretische doorbraak werd niet als een abstract idee achtergelaten. De onderzoekers bouwden een werkend softwaresysteem om aan te tonen dat hun nieuwe methode in de echte wereld kan draaien. Ze creëerden een snelle engine geschreven in een taal genaamd Go, die de datastroom tussen duizenden gesimuleerde apparaten beheerde. Dit systeem bevatte verschillende lagen van bescherming om zowel privacy als veiligheid te waarborgen. Het voegde een specifiek type wiskundige ruis toe aan de data-updates om te voorkomen dat iemand de privéinformatie van individuele gebruikers zou kunnen reconstrueren. Het maakte ook gebruik van geavanceerde cryptografische hulpmiddelen om te bewijzen dat de verzonden data geldig was zonder de data zelf te onthullen, en het maakte gebruik van nieuwe encryptiemethoden die bestand zijn tegen aanvallen van toekomstige quantumcomputers.

Het team testte dit systeem in een gecontroleerde omgeving die een massaal netwerk nabootste, waarbij tot wel vijftienhonderd virtuele apparaten op één enkele fysieke computer draaiden. Ze onderwierpen het systeem aan agressieve aanvallen, waarbij tot wel vijfendertig procent van de apparaten actief probeerde het leerproces te saboteren. Ondanks deze intense druk hield het systeem stand. Het model bleef leren en verbeteren, en bereikte een nauwkeurigheid van 86,4 procent na honderd rondes van training. Dit was slechts een minimale daling vergeleken met een perfect, niet-aangevallen systeem, dat 88,2 procent bereikte. De kosten voor deze beveiliging waren verrassend laag. De extra tijd die nodig was om de bewijzen te controleren en de apparaten te mengen, voegde slechts ongeveer vijfendertig milliseconden toe aan de totale tijd van elke trainingsronde, een vertraging die zo kort is dat deze in microseconden wordt gemeten.

Het werk vertegenwoordigt een belangrijke verschuiving in hoe we denken over de beveiliging van grootschalige kunstmatige intelligentie. Het beweegt het veld weg van het vertrouwen op hoopvolle aannames over hoe lokale controles zullen opschalen, en naar een fundament van rigoureuze, door machines geverifieerde garanties. Door te bewijzen dat het oude hiërarchische model kapot was en door een nieuwe, probabilistische manier te bieden om het netwerk te organiseren, hebben de onderzoekers aangetoond dat het mogelijk is om systemen te bouwen die zowel efficiënt als veilig zijn tegen vastberaden aanvallers. Het "Sovereign-Mohawk"-systeem vormt een blauwdruk voor een toekomst waarin miljoens apparaten veilig kunnen samenwerken, wetende dat hun collectieve intelligentie wordt beschermd, niet door hoop, maar door wiskunde die tot in het kleinste detail is gecontroleerd.