Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

Stellen Sie sich eine Welt vor, in der Ihr Telefon, Ihre Smartwatch und der Laptop Ihres Nachbarn alle gemeinsam lernen wollen, um intelligenter zu werden, aber keiner von ihnen bereit ist, seine privaten Fotos oder Nachrichten zu teilen. Dies ist das Herzstück des Federated Learning, einer cleveren Methode, bei der Computer zusammenarbeiten können, ohne jemals die Rohdaten der anderen zu sehen. Anstatt einen riesigen Koffer voller persönlicher Dateien an ein zentrales Büro zu schicken, senden sie lediglich ein „Zeugnis“ dessen zurück, was sie gelernt haben. Aber es gibt einen Haken: Wenn das Zeugnis zu detailliert ist, kann es versehentlich Geheimnisse über die Person preisgeben, die es geschrieben hat. Zudem fallen in der realen Welt Geräte oft aus, weil der Akku leer ist oder das WLAN verloren geht, wodurch sie aus dem Unterricht ausscheiden, gerade als die Lektion gerade richtig gut wird. Diese Arbeit befasst sich mit dem kniffligen Problem, wie man diese gemeinsame Lernsitzung reibungslos am Laufen hält, selbst wenn Schüler vorzeitig gehen oder versuchen, falsche Updates einzureichen, während gleichzeitig sichergestellt wird, dass keine privaten Geheimnisse durchsickern.

Die Forscher, ein Team von der Engineering University of People's Armed Police, schlagen ein neues System namens GSE-SFD vor. Betrachten Sie dieses System als ein supergesichertes, ausfallsicheres Klassenzimmer für künstliche Intelligenz. In einem Standard-Setup, wenn ein Schüler den Raum verlässt, muss der Lehrer vielleicht die ganze Lektion neu starten. In dieser neuen Methode wird die Klasse in kleine, eng verbundene Gruppen unterteilt. Wenn ein paar Schüler ihre Telefone fallen lassen oder die Verbindung verlieren, kann die Gruppe ihren Teil der Hausaufgaben trotzdem abschließen, da das System so konzipiert ist, dass es funktioniert, solange eine bestimmte Anzahl an Schülern (etwa 60 %) noch anwesend ist. Es ist wie ein Puzzle, bei dem man nur ein paar spezifische Teile benötigt, um das ganze Bild zu sehen; wenn einige Teile fehlen, reichen die verbleibenden aus, um es zu lösen.

Aber was ist mit den fehlerhaften Updates? In diesem digitalen Klassenzimmer könnte ein „vergifteter“ Schüler versuchen, ein gefälschtes Zeugnis einzureichen, um die Endnote zu ruinieren. Das GSE-SFD-System verfügt über eine clevere zweistufige Verteidigung. Zuerst nutzt es einen „Secret-Sharing“-Trick. Bevor ein Schüler sein Zeugnis sendet, zerlegt er es in viele winzige, verschlüsselte Fragmente und versteckt sie in verschiedenen Umschlägen. Kein einzelner Umschlag verrät etwas Nützliches. Erst wenn genügend Umschläge derselben Gruppe gemeinsam geöffnet werden, kann das ursprüngliche Zeugnis wieder zusammengesetzt werden. Das bedeutet, selbst wenn ein Hacker ein oder zwei Umschläge stiehlt, erfährt er nichts. Zweitens hat das zentrale System einen „Türsteher“. Dieser Türsteher prüft, ob die zusammengesetzten Berichte der verschiedenen Gruppen normal aussehen. Wenn der Bericht einer Gruppe völlig anders ist als die der anderen – etwa wenn ein Schüler plötzlich behauptet, der Himmel sei grün – erkennt der Türsteher die Anomalie und wirft die Antwort dieser Gruppe raus, bevor sie die globale Lektion ruinieren kann.

Das Papier führt außerdem einen Filter ein, um sicherzustellen, dass die Schüler nur von Dingen lernen, die sie auch tatsächlich kennen. Da jeder Schüler unterschiedliche Daten hat (manche haben Bilder von Katzen, andere von Hunden), nutzt das System ein mathematisches Werkzeug namens KuLSIF, um zu prüfen, ob ein Stück Information „außerhalb der Verteilung“ (out of distribution) liegt. Es ist wie ein Lehrer, der prüft, ob eine Frage zu schwer oder irrelevant für einen bestimmten Schüler ist, bevor er ihn antworten lässt. Wenn die Frage nicht zu den lokalen Daten des Schülers passt, überspringt er sie, wodurch sichergestellt wird, dass die Gruppe nur qualitativ hochwertige, zuverlässige Erkenntnisse teilt.

Als die Forscher dieses System an berühmten Bilddatensätzen wie MNIST (handgeschriebene Zahlen), FashionMNIST (Kleidungsstücke) und CIFAR-10 (bunte Alltagsgegenstände) testeten, waren die Ergebnisse beeindruckend. Selbst als bis zu 40 % der Clients aus dem Netzwerk ausfielen, gelang es dem System, das Wissen in mehr als 95 % der Runden erfolgreich zu kombinieren. In Bezug auf die Privatsphäre war das System eine Festung. Wenn Angreifer versuchten, die Daten durch Reverse-Engineering zu rekonstruieren, um die Originalbilder zu sehen, waren die Ergebnisse verrauschtes Bildrauschen. Die rekonstruierten Bilder wiesen eine 2,5-mal höhere Fehlerrate (MSE) und eine 2,4-mal geringere strukturelle Ähnlichkeit (SSIM) im Vergleich zu älteren Methoden auf, was bedeutete, dass die Angreifer fast nichts Erkennbares sahen.

Die Autoren fanden heraus, dass dieser Ansatz nicht nur die Privatsphäre schützt, sondern auch die Lerngeschwindigkeit hoch hält. Obwohl das System aufgrund der Secret-Sharing-Fragmente mehr Daten sendet als eine Basisversion, bleibt es effizient genug für Geräte mit begrenzten Internetgeschwindigkeiten. Die Studie legt nahe, dass diese Methode eine praktische, robuste Lösung für sensible Bereiche wie das Gesundheitswesen und das industrielle IoT ist, in denen Geräte oft unzuverlässig sind und Privatsphäre nicht verhandelbar ist. Das Papier stellt jedoch fest, dass das System auf einen guten „Proxy-Datensatz“ (einen gemeinsamen Satz von Übungsfragen) angewiesen ist und dass die Mathematik hinter der Filterung sehr rechenintensiv werden kann, wenn dieser Datensatz zu groß wird. Letztendlich zeigt GSE-SFD, dass man eine sichere, widerstandsfähige und private gemeinsame Lernsitzung führen kann, ohne die Qualität des Endergebnisses zu opfern.