Sovereign-Mohawk: Machine-Checked Hierarchical Byzantine Resilience and Probabilistic Composition for Federated Learning

In der modernen Welt sind Machine-Learning-Modelle oft zu groß und die Daten zu sensibel, um sie an einem zentralen Ort zu sammeln. Stattdessen ermöglicht eine Technik namens Federated Learning Tausenden von Geräten, von Smartphones bis hin zu industriellen Sensoren, das Training einer gemeinsamen Intelligenz, ohne jemals ihre privaten Daten an einen zentralen Server zu senden. Jedes Gerät lernt aus seinen eigenen lokalen Informationen und sendet nur ein kleines, aktualisiertes Stück des Modells zurück, um es zu kombinieren. Dieser Ansatz verspricht eine Zukunft, in der künstliche Intelligenz Fortschritte macht, ohne die persönliche Privatsphäre zu gefährden. Dieses dezentrale System steht jedoch vor einer kritischen Schwachstelle: dem „Byzantinischen“ Problem. In diesem Kontext tritt ein Byzantinischer Fehler auf, wenn einige Teilnehmer im Netzwerk bösartig agieren oder Fehlfunktionen aufweisen und korrumpierte Updates senden, die darauf ausgelegt sind, das gesamte Modell zu vergiften. Wenn selbst eine kleine Anzahl dieser böswilligen Akteure es schafft, ihre korrumpierten Daten in die endgültige Berechnung einzuschleusen, kann das gesamte System versagen.

Um die gewaltige Skalierung von Millionen von Geräten zu bewältigen, organisieren Ingenieure diese Teilnehmer oft in einer Hierarchie, ähnlich einem Baum mit Ästen und Blättern. Die Idee ist, dass das gesamte Netzwerk sicher bleiben sollte, wenn jede lokale Gruppe von Geräten ihre eigenen Mitglieder auf böswillige Akteure überprüft, bevor sie die Daten die Kette hinaufsendet. Es ist eine tröstliche Annahme: Wenn jeder lokale Aufseher seine Aufgabe erfüllt, sollte auch der globale Anführer sicher sein. Doch diese Annahme, die bei der Entwicklung dieser Systeme lange Zeit als gegeben vorausgesetzt wurde, erweist sich als gefährlich fehlerhaft. Eine neue Studie von Ryan Williams mit dem Titel „Sovereign-Mohawk“ legt diese verborgene Schwäche offen und bietet eine mathematisch bewiesene Lösung, die Vermutungen durch Gewissheit ersetzt.

Die Forscher begannen damit, den verbreiteten Glauben zu testen, dass lokale Sicherheitsgarantien globale Sicherheit gewährleisten. Sie bauten ein formales mathematisches Modell einer zweistufigen Hierarchie auf, in der Gruppen von Geräten ihre Updates an regionale Aufseher senden, welche wiederum eine Zusammenfassung an einen globalen Anführer weiterleiten. In ihrem Modell schufen sie ein Szenario, in dem jeder einzelne regionale Aufseher die Regeln perfekt befolgte. Jede lokale Gruppe verfügte über eine Mehrheit an ehrlichen Geräten, und die lokalen Filter blockierten erfolgreich die offensichtlichen böswilligen Akteure innerhalb ihrer eigenen kleinen Kreise. Dennoch fanden die Forscher, als sie den Blick auf das große Ganze richteten, dass das globale Netzwerk tatsächlich von böswilligen Akteuren dominiert wurde. Durch die gezielte Platzierung der bösartigen Geräte so, dass sie in jeder lokalen Gruppe gerade unterhalb der Entdeckungsschwelle lagen, gelang es ihnen, eine Situation zu schaffen, in der sechzig Prozent des gesamten Netzwerks von Angreifern kontrolliert wurden. Die lokalen Wächter machten ihren Job, aber das System als Ganzes war kollabiert. Dies war keine Simulation eines möglichen Fehlers; es war ein maschinell geprüfter Beweis dafür, dass die alte Denkweise einfach nicht funktioniert.

Nachdem sie die alte Methode widerlegt hatten, musste das Team einen Weg finden, die Hierarchie zu reparieren, ohne die Effizienz der lokalen Verarbeitung aufzugeben. Sie erkannten, dass das Problem daraus resultierte, dass die Platzierung der Geräte vorhersehbar war. Wenn ein Angreifer genau weiß, welche Geräte zusammen gruppiert werden, kann er seine bösartigen Knoten so anordnen, dass sie durch die Lücken schlüpfen. Um dies zu lösen, führten die Forscher eine Methode der zufälligen Zuweisung ein. Anstatt die Geräte in festen Gruppen verharren zu lassen, schlugen sie vor, sie mittels eines Prozesses, der dem Ziehen von Namen aus einem Hut ähnelt, aber mit strengen mathematischen Garantien, in Komitees zu mischen. Sie bewiesen, dass, wenn Geräte diese Komitees zufällig zugewiesen werden, die Wahrscheinlichkeit, dass eine bösartige Gruppe genügend schlechte Akteure konzentriert, um einen lokalen Filter zu brechen, so gering ist, dass sie effektiv bei Null liegt. Sie verifizierten dies mithilfe eines Computersystems, das dazu dient, mathematische Beweise zu prüfen, und zeigten, dass selbst bei fünfzigtausend Geräten in einem Komitee und einer signifikanten Anzahl von böswilligen Akteuren in der Gesamtpopulation die Wahrscheinlichkeit eines Fehlers geringer ist als eins zu einer Zahl, die so viele Nullen hat, wie es Atome im Universum gibt.

Dieser theoretische Durchbruch blieb nicht nur eine abstrakte Idee. Die Forscher bauten ein funktionierendes Softwaresystem, um zu demonstrieren, dass ihre neue Methode in der realen Welt laufen kann. Sie entwickelten eine Hochgeschwindigkeits-Engine, geschrieben in einer Sprache namens Go, die den Datenfluss zwischen tausenden von simulierten Geräten verwaltete. Dieses System enthielt mehrere Schutzebenen, um Privatsphäre und Sicherheit zu gewährleisten. Es fügte eine spezifische Art von mathematischem Rauschen zu den Daten-Updates hinzu, um zu verhindern, dass jemand die privaten Informationen einzelner Nutzer rückentwickeln kann. Zudem nutzte es fortschrittliche kryptografische Werkzeuge, um zu beweisen, dass die gesendeten Daten valide waren, ohne die Daten selbst preiszugeben, und es setzte neue Verschlüsselungsmethoden ein, die Angriffen durch zukünftige Quantencomputer standhalten können.

Das Team testete dieses System in einer kontrollierten Umgebung, die ein massives Netzwerk imitierte, indem es bis zu eintausendfünfhundert virtuelle Geräte auf einem einzigen physischen Computer ausführte. Sie setzten das System aggressiven Angriffen aus, bei denen bis zu fünfunddreißig Prozent der Geräte aktiv versuchten, den Lernprozess zu sabotieren. Trotz dieses intensiven Drucks hielt das System stand. Das Modell lernte und verbesserte sich kontinuierlich und erreichte nach einhundert Trainingsrunden eine Genauigkeit von 86,4 Prozent. Dies war nur ein minimaler Abfall im Vergleich zu einem perfekten, unangeattackierten System, das 88,2 Prozent erreichte. Die Kosten für diese Sicherheit waren überraschend gering. Die zusätzliche Zeit, die für die Überprüfung der Beweise und das Mischen der Geräte benötigt wurde, betrug nur etwa fünfunddreißig Millisekunden pro Trainingsrunde – eine Verzögerung, die so kurz ist, dass sie in Mikrosekunden gemessen wird.

Die Arbeit stellt einen bedeutenden Wandel in der Art und Weise dar, wie wir die Sicherheit groß angelegter künstlicher Intelligenz denken. Sie bewegt das Feld weg von der Abhängigkeit von hoffnungsvollen Annahmen darüber, wie lokale Kontrollen skalieren, hin zu einem Fundament aus rigorosen, maschinell verifizierten Garantien. Indem sie bewiesen haben, dass das alte hierarchische Modell defekt war und einen neuen, probabilistischen Weg zur Organisation des Netzwerks bereitstellten, haben die Forscher gezeigt, dass es möglich ist, Systeme zu bauen, die sowohl effizient als auch sicher gegen entschlossene Angreifer sind. Das „Sovereign-Mohawk“-System steht als Blaupause für eine Zukunft, in der Millionen von Geräten sicher zusammenarbeiten können, im Wissen, dass ihre kollektive Intelligenz nicht durch Hoffnung, sondern durch Mathematik geschützt ist, die bis ins kleinste Detail geprüft wurde.