Native Byzantine-Robust Aggregation for Trustworthy Federated Learning: A C++20 Evaluation of Krum, Multi-Krum, Trimmed Mean, and Coordinate-wise Median

Stellen Sie sich eine Gruppe von Fremden vor, die versuchen, gemeinsam ein komplexes Rätsel zu lösen, aber sie befinden sich alle in verschiedenen Räumen und können die Teile der jeweils anderen nicht sehen. Sie können lediglich Beschreibungen ihres Fortschritts an eine zentrale Leitung senden. Dies ist das Wesen einer modernen Computer-Methode namens Federated Learning, bei der viele Geräte eine gemeinsame künstliche Intelligenz trainieren, ohne jemals ihre privaten Daten zu teilen. Das System funktioniert wunderbar, wenn alle fair spielen, aber es hat eine kritische Schwäche: Was, wenn einer dieser Fremden lügt? Ein kompromittiertes Gerät könnte eine völlig falsche Beschreibung senden, nicht weil es defekt ist, sondern weil es bösartig agiert und darauf abzielt, das Endergebnis zu korrumpieren. In diesem Szenario reicht es nicht aus, einfach auf die Mehrheit zu vertrauen, da einige wenige böswillige Akteure die gesamte Gruppe vom Kurs abbringen können. Die Herausforderung für Wissenschaftler besteht darin, ein System zu bauen, das diese Lügner erkennen und deren schlechte Ratschläge ignorieren kann, um sicherzustellen, dass das Endergebnis vertrauenswürdig bleibt, selbst wenn einige Teilnehmer aktiv versuchen, den Prozess zu sabotieren.

Forscher wissen schon lange, wie man diese böswilligen Akteure mathematisch herausfiltern kann, indem man spezifische Regeln anwendet, aber es war schwierig, diese Regeln in schnelle, zuverlässige Software zu verwandeln. Eine neue Studie von Md Shahanur Islam Shagor an der Voronezh State University of Forestry and Technologies widmet sich diesem Problem, indem sie eine Hochgeschwindigkeits-Engine baut, um diese Sicherheitsprüfungen durchzuführen. Das Team hat keinen neuen Weg zur Filterung schlechter Daten erfunden; stattdنا vielmehr vier bestehende, bekannte Methoden zum Aufspüren von Lügnern genommen und sie unter Verwendung einer modernen Programmiersprache, die auf Geschwindigkeit und Sicherheit ausgelegt ist, von Grund auf neu aufgebaut. Ihr Ziel war es zu beweisen, dass diese Sicherheitsmechanismen schnell genug laufen können, um in realen Anwendungen nützlich zu sein, während sie gleichzeitig sicherstellen, dass sie niemals versehentlich eine defekte oder gefährliche Eingabe akzeptieren.

Die Forscher konzentrierten sich auf vier spezifische Strategien für den Umgang mit schlechten Daten. Die ersten beiden, bekannt als Krum und Multi-Krum, arbeiten, indem sie messen, wie weit das Update einer Person von allen anderen entfernt ist. Wenn das Update einer Person wild von dem der Gruppe abweicht, identifiziert das System dies als Ausreißer und wählt entweder die konsistenteste Person aus oder bildet den Durchschnitt der wenigen konsistentesten Personen. Die anderen beiden Strategien, der getrimmte Mittelwert (trimmed mean) und der koordinationsweise Median (coordinate-wise median), arbeiten, indem sie jedes Teil des Puzzlestücks einzeln betrachten. Sie verwerfen die höchsten und niedrigsten Zahlen für jeden einzelnen Teil, bevor sie den Durchschnitt berechnen, oder sie wählen einfach den mittleren Wert, wodurch extreme Ausreißer effektiv ignoriert werden, die das Ergebnis verzerren könnten. Obwohl diese mathematischen Ideen gut verstanden sind, wollten die Forscher sehen, wie sie sich verhalten, wenn sie als natives Computerprogramm implementiert werden, das neben den massiven Softwaresystemen, die heute für künstliche Intelligenz verwendet werden, laufen kann.

Um ihre Arbeit zu testen, erstellte das Team eine kontrollierte Simulation, in der zehn virtuelle Clients versuchten, ein Modell über fünfundzwanzig Runden hinweg zu trainieren. In dieser Simulation waren zwei der Clients so programmiert, dass sie als bösartige Angreifer agierten. Ein Angreifer versuchte, die Richtung des Fortschritts komplett umzukehren, während der andere das System mit zufälligem, hochvariantem Rauschen überflutete, das darauf ausgelegt war, die Mathematik zu verwirren. Trotz dieser aggressiven Versuche, den Prozess zu entgleisen, führte das System das Modell erfolgreich zum korrekten Ziel. Nach fünfundzwanzig Runden war die Distanz zwischen der aktuellen Position des Modells und dem wahren Ziel auf weniger als fünf Prozent des Ausgangswerts geschrumpft. Dieses Ergebnis galt für die Multi-Krum-Methode, den getrimmten Mittelwert und den Median, was bewies, dass diese etablierten Regeln einer Angriffsrate von zwanzig Prozent in einer kontrollierten Umgebung standhalten konnten.

Der überraschendste Teil der Studie war jedoch nicht nur, dass die Sicherheitsregeln funktionierten, sondern wie schnell sie im Vergleich zu Standard-Softwarewerkzeugen liefen. Die Forscher maßen die Zeit, die zur Verarbeitung von Updates mit eintausend Parametern und erneut mit einhunderttausend Parametern benötigt wurde. Für die distanzbasierten Methoden wie Krum und Multi-Krum war der neue native Code drastisch schneller. Bei der Verarbeitung von eintausend Parametern war der neue Code mehr als doppelt so schnell wie die Standardwerkzeuge, und als die Größe auf einhunderttausend Parameter anwuchs, wurde er mehr als dreimal schneller. Diese Beschleunigung geschah, weil der neue Code den Prozessor des Computers nutzen konnte, um viele Berechnungen gleichzeitig durchzuführen und komplexe Distanzprüfungen mit extremer Effizienz vorzunehmen.

Dennoch sah die Geschichte für die anderen Methoden anders aus. Der getrimmte Mittelwert, der das Sortieren von Zahlen beinhaltet, um die Mitte zu finden, wurde mit dem neuen Code nicht schneller. Tatsächlich war er bei kleineren Größen sogar langsamer als die Standardwerkzeuge, und bei größeren Größen erreichte er sie kaum. Dieser Befund ist entscheidend, da er zeigt, dass das bloße Umschreiben von Code in eine schnellere Sprache nicht automatisch alles schneller macht. Die Standardwerkzeuge zum Sortieren von Zahlen sind bereits so hoch optimiert, dass ein maßgeschneidertes Programm Schwierigkeiten hat, sie zu schlagen. Die Forscher fanden heraus, dass der Geschwindigkeitsvorteil vollständig von der spezifischen Mathematik abhängt, die durchgeführt wird; für einige Aufgaben ist die neue Engine ein massiver Sprung nach vorn, während sie für andere keinerlei Vorteil bietet.

Die Studie betonte auch, dass Geschwindigkeit nicht auf Kosten der Sicherheit gehen darf. Das neue System wurde mit einem „Fail-Closed“-Ansatz entworfen, was bedeutet, dass das System den Betrieb einfach verweigert, wenn die Eingaben unordentlich sind, Zahlen fehlen oder die Konfiguration unmöglich ist, anstatt ein potenziell gefährliches Ergebnis zu produzieren. Es prüft auf unmögliche Szenarien, wie etwa zu viele Angreifer für die Anzahl der anwesenden Personen, und lehnt diese sofort ab. Es stellt zudem sicher, dass keine seltsamen, undefinierten Zahlen durch die Ritzen schlüpfen können, um das endgültige Modell zu korrumpieren. Diese Strenge stellt sicher, dass das System vertrauenswürdig bleibt, selbst wenn es bedeutet, eine Anfrage abzulehnen, die ein weniger vorsichtiges System vielleicht versucht hätte zu verarbeiten.

Letztendlich zeigt diese Arbeit, dass der Aufbau eines vertrauenswürdigen Systems für künstliche Intelligenz ein sorgfältiges Gleichgewicht zwischen Sicherheit und Leistung erfordert. Die Forscher haben gezeigt, dass es möglich ist, eine robuste Verteidigung gegen böswillige Akteure zu schaffen, die sowohl mathematisch fundiert als auch recheneffizient ist, aber nur, wenn das Design auf die jeweilige Methode zugeschnitten ist. Die Studie kommt zu dem Schluss, dass es keine einzelne „schnelle“ Lösung für alle Sicherheitsprobleme gibt. Stattdessen müssen Ingenieure das richtige Werkzeug für die Aufgabe wählen, wobei sie verstehen müssen, dass einige Sicherheitsregeln je nach Datengröße und Art der Berechnung viel schneller laufen werden als andere. Durch die Kombination von strengen Sicherheitsprüfungen mit Hochleistungsrechnen ist es möglich, Federated-Learning-Systeme zu bauen, die nicht nur intelligent, sondern auch resilient genug sind, um in der realen Welt vertraut zu werden.