Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median

Stel je een groep vreemden voor die samen een complexe puzzel proberen op te lossen, maar ze bevinden zich allemaal in verschillende kamers en kunnen elkaars stukjes niet zien. Ze kunnen alleen beschrijvingen van hun voortgang naar een centrale leider sturen. Dit is de essentie van een moderne computermethode genaamd federated learning, waarbij veel apparaten samen een gedeelde kunstmatige intelligentie trainen zonder ooit hun privédata te delen. Het systeem werkt prachtig wanneer iedereen eerlijk speelt, maar het heeft een kritiek zwak punt: wat als een van die vreemden liegt? Een gecompromitteerd apparaat zou een volkomen verkeerde beschrijving kunnen sturen, niet omdat het kapot is, maar omdat het kwaadwillend is en probeert het uiteindelijke antwoord te corrumperen. In dit scenario is het simpelweg vertrouwen op de meerderheid niet genoeg, omdat een paar slechte actoren de hele groep uit koers kan trekken. De uitdaging voor wetenschappers is om een systeem te bouwen dat deze leugenaars kan opsporen en hun slechte advies kan negeren, om ervoor te zorgen dat het uiteindelijke resultaat betrouwbaar blijft, zelfs wanneer sommige deelnemers actief proberen het proces te saboteren.

Onderzoekers weten al lang hoe ze deze slechte actoren wiskundig kunnen wegfilteren met specifieke regels, maar het is moeilijk geweest om die regels om te zetten in snelle, betrouwbare software. Een nieuwe studie door Md Shahanur Islam Shagor aan de Voronezh State University of Forestry and Technologies pakt dit probleem aan door een hogesnelheidsmotor te bouwen om deze veiligheidscontroles uit te voeren. Het team heeft geen nieuwe manier uitgevonden om slechte data te filteren; in plaats daarvan hebben ze vier bestaande, bekende methoden voor het opsporen van leugenaars volledig opnieuw opgebouwd met behulp van een moderne programmeertaal die ontworiment is op snelheid en veiligheid. Hun doel was om te bewijzen dat deze veiligheidsmechanismen snel genoeg kunnen draaien om nuttig te zijn in real-world toepassingen, terwijl ze er ook voor zorgen dat ze nooit per ongeluk een kapotte of gevaarlijke input accepteren.

De onderzoekers concentreerden zich op vier specifieke strategieën voor het afhandelen van slechte data. De eerste twee, bekend als Krum en Multi-Krum, werken door te meten hoe ver de update van elke persoon afwijkt van die van de rest. Als de update van één persoon extreem verschilt van die van de groep, identificeert het systeem dit als een uitschieter en kiest het ofwel de meest consistente persoon, of gemiddelt het de weinige meest consistente mensen. De andere twee strategieën, de trimmed mean (afgestelde gemiddelde) en de coordinate-wise median (coördinaat-gewijze mediaan), werken door naar elk deel van het puzzelstukje afzonderlijk te kijken. Ze verwijderen de hoogste en laagste getallen voor elk onderdeel voordat ze het gemiddelde berekenen, of ze kiezen simpelweg de middelste waarde, waardoor extreme uitschieters die mogelijk het resultaat willen beïnvloeden, effectief worden genegeerd. Hoewel deze wiskundige ideeën goed begrepen zijn, wilden de onderzoekers zien hoe ze presteren wanneer ze worden geïmplementeerd als een inheems computerprogramma dat naast de enorme softwaresystemen die vandaag de dag voor kunstmatige intelligentie worden gebruikt, kan draaien.

Om hun werk te testen, creëerde het team een gecontroleerde simulatie waarin tien virtuele cliënten probeerden een model te trainen over vijfentwintig rondes. In deze simulatie waren twee van de cliënten geprogrammeerd om als kwaadwillige aanvallers op te treden. Eén aanvaller probeerde de richting van de voortgang volledig om te draaien, terwijl de andere het systeem overspoelde met willekeurige, hoog-variabele ruis die bedoeld was om de wiskunde te verwarren. Ondanks deze agressieve pogingen om het proces te ontsporen, slaagde het systeem erin het model naar het juiste doel te leiden. Na vijfentwintig rondes was de afstand tussen de huidige positie van het model en het werkelijke doel gekrompen tot minder dan vijf procent van waar het begon. Dit resultaat bleef overeind voor de Multi-Krum methode, de trimmed mean en de mediaan, wat bewees dat deze gevestigde regels inder ook een aanvalscijfer van twintig procent in een gecontroleerde omgeving konden weerstaan.

Het meest verrassende deel van de studie was echter niet alleen dat de veiligheidsregels werkten, maar ook hoe snel ze draaiden vergeleken met standaard softwaretools. De onderzoekers maten de tijd die nodig was om updates te verwerken met duizend parameters en opnieuw met honderdduizend parameters. Voor de afstand-gebaseerde methoden zoals Krum en Multi-Krum was de nieuwe native code drastisch sneller. Bij het verwerken van duizend parameters was de nieuwe code meer dan twee keer sneller dan de standaard tools, en toen de grootte groeide naar honderdduizend parameters, werd het meer dan drie keer sneller. Deze versnelling vond plaats omdat de nieuwe code de processor van de computer kon gebruiken om veel berekeningen tegelijkertijd af te handelen en complexe afstandsberekeningen met extreme efficiëntie uit te voeren.

Toch was het verhaal anders voor de andere methoden. De trimmed mean, die getallen sorteert om het midden te vinden, werd niet sneller met de nieuwe code. Sterker nog, bij kleinere formaten was het zelfs langzamer dan de standaard tools, en bij grotere formaten kwam het er nauwelijks bij in de buurt. Dit bevinding is cruciaal omdat het laat zien dat het simpelweg herschrijven van code in een snellere taal niet automatisch alles sneller maakt. De standaard tools voor het sorteren van getallen zijn al zo hoog geoptimaliseerd dat een aangepast programma moeite heeft om ze te verslaan. De onderzoekers ontdekten dat het snelheidsvoordeel volledig afhangt van de specifieke wiskunde die wordt uitgevoerd; voor sommige taken is de nieuwe motor een enorme sprong voorwaarts, terwijl hij voor andere taken helemaal geen voordeel biedt.

De studie benadrukte ook dat snelheid niet ten koste mag gaan van veiligheid. Het nieuwe systeem is ontworpen met een "fail-closed" benadering, wat betekent dat als de inputs rommelig zijn, er getallen ontbreken of de configuratie onmogelijk is, het systeem simpelweg weigert te draaien in plaats van een potentieel gevaarlijk resultaat te produceren. Het controleert op onmogelijke scenario's, zoals te veel aanvallers voor het aantal aanwezige mensen, en wijst deze onmiddellijk af. Het zorgt er ook voor dat geen vreemde, ongedefinieerde getallen door de mazen van het net glippen om het uiteindelijke model te corrumperen. Deze striktheid zorgt ervoor dat het systeem betrouwbaar blijft, zelfs als dat betekent dat een verzoek wordt afgewezen dat een minder voorzichtig systeem misschien had geprobeerd te verwerken.

Uiteindelijk toont dit werk aan dat het bouwen van een betrouwbaar systeem voor kunstmatige intelligentie een zorgvuldige balans vereist tussen beveiliging en prestaties. De onderzoekers hebben aangetoond dat het mogelijk is om een robuuste verdediging tegen kwaadwillende actoren te creëren die zowel wiskundig solide als computationeel efficiënt is, maar alleen als het ontwerp is afgestemd op de specifieke methode die wordt gebruikt. De studie concludeert dat er geen enkele "snelle" oplossing is voor alle veiligheidsproblemen. In plaats daarvan moeten ingenieurs het juiste gereedschap voor de taak kiezen, in het besef dat sommige veiligheidsregels veel sneller zullen draaien dan andere, afhankelijk van de omvang van de data en de aard van de berekening. Door strikte veiligheidscontroles te combineren met high-performance computing, is het mogelijk om federated learning-systemen te bouwen die niet alleen slim zijn, maar ook veerkrachtig genoeg om in de echte wereld vertrouwd te worden.