Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

Stel je een wereld voor waarin je telefoon, je smartwatch en de laptop van je buurman allemaal samen willen leren om slimmer te worden, maar niemand bereid is om hun privéfoto's of berichten te delen. Dit is de kern van Federated Learning, een slimme manier voor computers om samen te werken zonder ooit elkaars ruwe gegevens te zien. In plaats van een enorme koffer met persoonlijke bestanden naar een centraal kantoor te sturen, sturen ze alleen een "rapportcijfer" terug van wat ze hebben geleerd. Maar er is een addertje onder het gras: als het rapportcijfer te gedetailleerd is, kan het per ongeluk geheimen onthullen over de persoon die het heeft geschreven. Ook in de echte wereld raken apparaten vaak de batterij kwijt of verliezen ze de wifi, waardoor ze uit de klas vallen net wanneer de les goed bezig is. Dit artikel pakt het lastige probleem aan van hoe je deze gezamenlijke leersessie soepel laat verlopen, zelfs wanneer studenten vroegtijdig vertrekken of onjuiste updates proberen in te dienen, terwijl je er tegelijkertijd voor zorgt dat iemands privégeheimen niet lekken.

De onderzoekers, een team van de Engineering University of People's Armed Police, stellen een nieuw systeem voor genaamd GSE-SFD. Zie dit systeem als een superveilige, uitvalbestendige klaslokaal voor kunstmatige intelligentie. In een standaardopstelling, als een student de kamer verlaat, moet de leraar misschien de hele les opnieuw beginnen. In deze nieuwe methode wordt de klas verdeeld in kleine, hechte groepjes. Als een paar studenten hun telefoons laten vallen of de verbinding verliezen, kan de groep zijn deel van het huiswerk nog steeds afmaken omdat het systeem is ontworpen om te werken zolang een bepaald aantal studenten (ongeveer 60%) nog aanwezig is. Het is als een puzzel waarbij je slechts een paar specifieke stukjes nodig hebt om het hele plaatje te zien; als er enkele stukjes missen, zijn de overgebleven stukjes genoeg om het op te lossen.

Maar wat te maken hebben we met de onjuiste updates? In dit digitale klaslokaal zou een "vergiftigde" student een vals rapportcijfer kunnen indienen om de eindcijfers te verpesten. Het GSE-SFD-systeem heeft een slimme tweestapsverdediging. Eerst gebruikt het een "secret sharing"-truc. Voordat een student zijn rapport verzendt, breekt hij het in veel kleine, versleutelde fragmenten en verstopt hij deze in verschillende enveloppen. Geen enkele envelop onthult iets nuttigs. Pas wanneer genoeg enveloppen van dezelfde groep samen worden geopend, kan het originele rapport weer worden samengesteld. Dit betekent dat zelfs als een hacker één of twee enveloppen steelt, hij niets leert. Ten tweede heeft het systeem een "uitsmijter" bij de centrale server. Deze uitsmijter controleert of de samengestelde rapporten van verschillende groepen er normaal uitzien. Als het rapport van een groep wild afwijkt van de anderen — zoals een student die plotseling beweert dat de lucht groen is — ziet de uitsmijter de anomalie en gooit hij het antwoord van die groep weg voordat het de wereldwijde les kan verpesten.

Het artikel introduceert ook een filter om ervoor te zorgen dat de studenten alleen leren van dingen die ze daadwerkelijk kennen. Omdat elke student verschillende gegevens heeft (sommigen hebben foto's van katten, anderen van honden), gebruikt het systeem een wiskundig hulpmiddel genaamd KuLSIF om te controleren of een stuk informatie "out of distribution" is. Het is als een leraar die controleert of een vraag te moeilijk of irrelevant is voor een specifieke student voordat hij hem laat antwoorden; als de vraag niet bij de lokale gegevens van de student past, slaat hij deze over, zodat de groep alleen hoogwaardige, betrouwbare kennis deelt.

Toen de onderzoekers dit systeem testten op beroemde afbeeldingendatasets zoals MNIST (handgeschreven cijfers), FashionMNIST (kledingartikelen) en CIFAR-10 (kleurrijke alledaagse objecten), waren de resultaten indrukwekkend. Zelfs toen tot 40% van de cliënten uit het netwerk viel, slaagde het systeem erin om de kennis in meer dan 95% van de rondes succesvol te combineren. Wat betreft privacy was het systeem een fort. Wanneer aanvallers probeerden de gegevens terug te draaien om de originele afbeeldingen te zien, waren de resultaten wazige ruis. De gereconstrueerde afbeeldingen hadden een 2,5 keer hogere foutmarge (MSE) en een 2,4 keer lagere structurele gelijkenis (SSIM) vergeleken met oudere methoden, wat betekende dat de aanvallers bijna niets herkenbaars zagen.

De auteurs ontdekten dat deze aanpak niet alleen de privacy beschermt, maar ook de leersnelheid hoog houdt. Hoewel het systeem meer gegevens verzendt dan een basisversie vanwege de secret-sharing fragmenten, blijft het efficiënt genoeg voor apparaten met beperkte internetsnelheden. De studie suggereert dat deze methode een praktische, robuuste oplossing is voor gevoelige gebieden zoals de gezondheidszorg en industriële IoT, waar apparaten vaak onbetrouwbaar zijn en privacy niet onderhandelbaar is. De paper merkt echter op dat het systeem afhankelijk is van het hebben van een goede "proxy dataset" (een gedeelde set oefenvragen) en dat de wiskunde achter de filtering zwaar kan worden als die dataset te groot wordt. Uiteindelijk laat GSE-SFD zien dat je een veilige, veerkrachtige en private gezamenlijke leersessie kunt hebben zonder de kwaliteit van het uiteindelijke resultaat op te offeren.