Model-Consistent Byzantine-Resilient Decentralized Federated Learning for Collaborative Missions
Dit artikel introduceert DFL-C, een nieuwe Byzantijnse-resistente gedecentraliseerde federated learning-architectuur die de consistentie van het globale model en robuustheid tegen vergiftigingsaanvallen waarborgt door een asynchroon common subset-consensusprotocol te integreren met een dual-domain vertrouwensscoremechanisme.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een groep autonome robots, drones of sensoren voor die samenwerken in een afgelegen, gevaarlijke of gedisconnecteerde omgeving. Ze moeten een gedeelde vaardigheid leren, zoals het herkennen van een specifiek type vijand of het identificeren van een veilig pad, maar ze kunnen niet vertrouwen op een centrale computer om hen te vertellen wat ze moeten doen. Dit is de wereld van gedecentraliseerd leren, waar machines elkaar rechtstreeks onderwijzen. In een perfect wereld zou elke machine dezelfde les leren op hetzelfde moment, waardoor ze eindigen met een identiek brein. Echter, in de rommelige realiteit van draadloze netwerken worden berichten vertraagd, verbreken verbindingen en kan een machine soms defect zijn of zelfs kwaadwillend zijn, door tegenstrijdige informatie naar verschillende buren te sturen om de groep te verwarren. Wanneer dit gebeurt, stoppen de machines met het eens zijn over wat ze weten, en kan hun collectieve missie falen.
Onderzoekers zoeken al lang naar een manier om deze gedecentraliseerde groepen op één lijn te houden, zelfs wanneer sommige leden onbetrouwbaar zijn of het netwerk chaotisch is. Een nieuwe studie introduceert een systeem genaamd DFL-C, ontworpen om precies dit probleem op te lossen. De onderzoekers hebben een methode ontwikkeld waarmee een netwerk van onafhankelijke machines een gedeeld kunstmatig intelligentiemodel kan trainen, terwijl er wordt gegarandeerd dat elke eerlijke machine eindigt met exact dezelfde versie van dat model. Cruciaal is dat dit systeem werkt, zelfs wanneer sommige machines proberen de groep te misleiden door verschillende leugens naar verschillende buren te sturen, of wanneer het netwerk zo traag en onvoorspelbaar is dat machines hun werk op verschillende tijdstippen voltooien.
De kernuitdaging die de onderzoekers aanpakten is een fenomeen dat bekend staat als "equivocatie" (dubbelzinnigheid). In een standaard gedecentraliseerd netwerk kan een kwaadwillende machine één versie van een les naar de buur links sturen en een volledig andere versie naar de buur rechts. Omdat elke machine alleen met zijn directe buren communiceert, is het zeer moeilijk om te detecteren dat de machine liegt. Dit leidt tot een situatie waarin de groep versnippert, waarbij verschillende machines verschillende dingen geloven. Om dit op te lossen, heeft het team een consensusprotocol, een formeel overeenstemmingsproces, geïntegreerd in de leerworkflow. Voordat de machines hun nieuwe kennis combineren, voeren ze een controle uit om te verzekeren dat iedereen het eens is over precies welke stukjes informatie geldig zijn. Dit proces filtert de tegenstrijdige berichten van kwaadwillende machines eruit, waardoor de groep alleen voortgaat met een enkele, verenigde set updates.
Naast het simpelweg eens worden over wat er geleerd moet worden, moet het systeem ook beslissen hoeveel vertrouwen het moet schenken aan de bijdrage van een machine. De onderzoekers hebben een methode met een dubbel domein ontwikkeld die fungeert als een reputatiesysteem. Het houdt twee dingen in de gaten: hoe een machine zich gedraagt tijdens het overeenstemmingsproces en de kwaliteit van de gegevens die deze machine levert. Als een machine probeert te equivoceren, vangt het systeem dit onmiddellijk op en verlaagt het de vertrouwensscore. Als een machine gegevens stuurt die vreemd of instabiel lijken in vergelijking met de rest van de groep, daalt de score eveneens. Deze score bepaalt vervolgens hoeveel gewicht de les van die machine draagt in het uiteindelijke model. Door deze vertrouwensscore te combineren met het overeenstemmingsprotocol, kan het systeem automatisch slechte actoren negeren en zich richten op de betrouwbare gegevens, allemaal zonder dat er een centrale leider nodig is om de beslissing te nemen.
Het team testte deze nieuwe architectuur in simulaties met netwerken van maximaal dertien machines, gebruikmakend van standaard beeldherkennings-taken. Ze zetten hun systeem af tegen bestaande methoden die geen gedeeld model garanderen. De resultaten lieten zien dat, terwijl oudere methoden vaak verschillende modellen voor verschillende machines produceerden wanneer ze werden aangevallen, het nieuwe systeem elke eerlijke machine perfect gesynchroniseerd hield. In scenario's waarin machines met verschillende soorten gegevens werden gevoed, een veelvoorkomend probleem bij echte implementaties, behield het nieuwe systeem een hogere nauwkeurigheid dan zijn concurrenten. Het bleek ook veerkrachtig tegen specifieke soorten aanvallen, zoals "backdoor"-trucs waarbij een kwaadwillende machine probeert de groep te dwingen om een specifieke trigger, zoals een verborgen sticker, als een ander object te herkennen. Het systeem onderdrukte deze aanvallen succesvol, waardoor de beslissingen van de groep veilig en uniform bleven.
Een van de meest praktische aspecten van het ontwerp is hoe het omgaat met de onvermijdelijke vertragingen in een echt netwerk. In veel systemen moeten snelle machines stilzitten en wachten tot de traagste machine klaar is, wat tijd en batterijvermogen verspilt. De onderzoekers hebben een slim wachtbeleid toegevoegd waarmee de groep een starttijd kan overeenkomen op basis van de snelheid van de meerderheid, in plaats van de traagste uitschieter. Dit betekent dat snellere machines minder tijd doorbrengen met wachten en meer tijd kunnen besteden aan werken of energie besparen. De tests toonden aan dat deze aanpak aanzienlijke hoeveelheden wachttijd bespaarde, vooral wanneer de machines zeer verschillende snelheden hadden. Hoewel het overeenstemmingsproces een kleine hoeveelheid tijd toevoegt aan elke leerronde, vonden de onderzoekers dat deze kosten minimaal waren vergeleken met de tijd die nodig is om de modellen daadwerkelijk te trainen, waardoor de afweging de geboden veiligheid en consistentie meer dan waard was.
De studie toont aan dat het mogelijk is om een gedecentraliseerd leernetwerk te hebben dat zowel robuust is tegen kwaadwillende actoren als perfect consistent is in de output. Dit is een belangrijke stap voorrang voor toepassingen waarbij veiligheid van groot belang is, zoals zwermen drones die overlevenden zoeken of autonome voertuigen die coördineren in een rampgebied. In dergelijke situaties kan het catastrofaal zijn als twee robots verschillende beslissingen nemen over dezelfde dreiging. Door te garanderen dat elke machine in het netwerk dezelfde realiteit ziet, hebben de onderzoekers een fundament gelegend voor meer betrouwbare, collaboratieve kunstmatige intelligentie die kan opereren zonder centrale aansturing, zelfs in het bijzijn van bedrog en chaos.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.