Protecting Federated Learning from Extreme Model Poisoning Attacks via Multidimensional Time Series Anomaly Detection

Die Arbeit stellt FLANDERS vor, einen neuen Voraggregationsfilter für Federated Learning, der mithilfe von multidimensionaler Zeitreihen-Anomalieerkennung und einem matrix-autoregressiven Vorhersagemodell selbst bei extremen Modellvergiftungsangriffen mit einer hohen Anzahl böswilliger Clients robust bleibt.

Das Wesentliche

Stellen Sie sich vor, eine Gruppe von Köchen (die Clienten) arbeitet zusammen, um das perfekte Rezept für eine Suppe (das globale Modell) zu entwickeln. Jeder Koch hat seine eigene, geheime Zutatensammlung (die lokalen Daten), die er nicht mit den anderen teilen möchte. Statt die Zutaten auszutauschen, schicken sie nur ihre Notizen darüber, wie die Suppe schmeckt, an einen Hauptkoch (den Server). Der Hauptkoch mischt alle Notizen zusammen, um das beste Gesamtrezept zu erstellen. Das ist Federated Learning (Verzweigtes Lernen).

Das Problem? Ein paar böswillige Köche wollen das Rezept sabotieren. Sie schicken absichtlich falsche Notizen ("Model Poisoning"), damit die Suppe am Ende ungenießbar wird oder sogar giftig ist. Normalerweise versuchen andere Sicherheitsmethoden, diese falschen Notizen zu finden, indem sie schauen: "Wer weicht am meisten vom Durchschnitt ab?" oder "Wer ist in der Minderheit?". Aber was passiert, wenn mehr als die Hälfte der Köchinnen und Köch böse sind? Dann funktioniert die "Mehrheitsentscheidung" nicht mehr, und die Suppe ist ruiniert.

Hier kommt FLANDERS ins Spiel – der neue Sicherheitschef für diese Küche.

Die Idee hinter FLANDERS: Ein Vorhersage-Orakel

Stellen Sie sich FLANDERS nicht als einen strengen Polizisten vor, der nur auf die aktuelle Notiz schaut, sondern als einen erfahrenen Detektiv, der die Geschichte der Köche kennt.

1. Das Verhalten ist vorhersehbar:
   Ein ehrlicher Koch, der wirklich versucht, die Suppe zu verbessern, folgt einem logischen Muster. Wenn er heute die Suppe etwas salziger macht, wird er morgen wahrscheinlich noch etwas salziger machen, aber immer in einem vernünftigen, vorhersehbaren Rhythmus. Seine Notizen entwickeln sich wie ein gut getakteter Tanz.

2. Die Lüge ist chaotisch:
   Ein böser Koch, der die Suppe verderben will, muss seine Notizen plötzlich und unnatürlich verändern. Er schickt vielleicht heute "Super salzig" und morgen "Super süß", nur um Verwirrung zu stiften. Seine Notizen sind wie ein Tanz, bei dem jemand plötzlich gegen den Takt stößt.

Wie FLANDERS funktioniert (in 3 Schritten)

Schritt 1: Die Matrix der Notizen
Der Server sammelt nicht nur einzelne Notizen, sondern betrachtet die gesamte Geschichte aller Köche als eine Art riesiges, sich bewegendes Bild (eine "Matrix-Zeitreihe"). Er sieht, wie sich die Notizen von Koch A, Koch B und Koch C über die letzten Wochen entwickelt haben.

Schritt 2: Die Vorhersage (Der "Wetterbericht")
FLANDERS nutzt ein mathematisches Modell (ein "Matrix-Autoregressions-Modell"), um zu vorhersagen, was ein ehrlicher Koch als Nächstes schreiben würde.

• Beispiel: "Basierend auf dem, was Koch Müller in den letzten 5 Runden geschrieben hat, würde ich erwarten, dass er heute schreibt: 'Ein wenig mehr Pfeffer'."

Schritt 3: Der Abgleich (Der "Lügendetektor")
Jetzt kommt die aktuelle Notiz des Kochs herein.

• Wenn Koch Müller tatsächlich "Ein wenig mehr Pfeffer" schreibt, ist die Vorhersage perfekt. Alles gut.
• Wenn Koch Müller plötzlich schreibt: "Fügen Sie 10 Kilogramm Gift hinzu!", weicht seine Notiz extrem von der Vorhersage ab.
• FLANDERS erkennt sofort: "Das passt nicht zum Muster! Das ist ein Ausreißer!"

Warum ist das so besonders?

Die meisten alten Sicherheitsmethoden scheitern, wenn zu viele Köche böse sind. Wenn 80% der Köche lügen, dann ist die "Mehrheit" eben die Lüge.

FLANDERS ist anders, weil es sich nicht auf die Mehrheit verlässt, sondern auf die Logik der Zeit.

• Selbst wenn 90% der Köche böse sind, können sie es kaum schaffen, ihre Lügen so perfekt zu koordinieren, dass sie das vorhersehbare Muster der wenigen ehrlichen Köche imitieren.
• Die bösen Köche sind wie eine Gruppe von Tänzern, die versuchen, einen eleganten Walzer zu tanzen, aber alle gleichzeitig gegen den Takt stampfen. FLANDERS hört das Chaos sofort und schickt sie aus dem Tanzsaal, bevor sie das Rezept verderben können.

Das Ergebnis

In Tests hat FLANDERS gezeigt, dass es selbst dann funktioniert, wenn 80% der Teilnehmer versuchen, das System zu sabotieren. Es filtert die bösen Notizen heraus, bevor der Hauptkoch das Rezept mischt. Dadurch können selbst einfache Methoden (wie das einfache Durchschnittemischen) wieder sicher funktionieren.

Zusammenfassend:
FLANDERS ist wie ein Sicherheitsystem, das nicht fragt: "Wer ist in der Mehrheit?", sondern fragt: "Wer tanzt noch im Takt?". Es schützt das gemeinsame Lernen selbst dann, wenn fast die ganze Gruppe verrückt spielt, indem es die natürliche Entwicklung des Lernprozesses überwacht und jede Abweichung sofort erkennt.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Sicherheitslücke von Federated Learning (FL) gegenüber Modell-Vergiftungsangriffen (Model Poisoning Attacks).

• Herausforderung: In herkömmlichen FL-Systemen aggregiert der Server lokale Modell-Updates von Clients (z. B. via FedAvg). Ein Angreifer kann eine große Anzahl von Clients kompromittieren, um diese Updates zu manipulieren und das globale Modell zu sabotieren.
• Grenzen bestehender Lösungen: Existierende Verteidigungsmechanismen (wie Krum, Bulyan, Trimmed Mean) versagen oft, wenn der Anteil böswilliger Clients einen bestimmten Schwellenwert überschreitet (typischerweise > 50 %). Viele Methoden benötigen zudem unrealistische Annahmen (z. B. Kenntnis der Anzahl der Angreifer) oder ignorieren die zeitliche Entwicklung der Modell-Updates.
• Ziel: Entwicklung einer robusten Vorfilterung, die auch bei extremen Angriffsszenarien funktioniert, bei denen böswillige Clients die legitimen Teilnehmer zahlenmäßig weit übersteigen (z. B. 80 % Angreifer), ohne dass die Anzahl der Angreifer im Voraus bekannt ist.

2. Methodik: FLANDERS

Die Autoren stellen FLANDERS (Federated Learning meets ANomaly DEtection for a Robust and Secure) vor, einen prä-aggregierenden Filter, der auf mehrdimensionaler Zeitreihen-Anomalieerkennung basiert.

• Kernidee: Die Sequenz der lokalen Modell-Updates, die von Clients über mehrere FL-Runden gesendet werden, wird als matrixwertige Zeitreihe betrachtet.
• Hypothese: Legitime Updates, die durch standardmäßige Optimierungsverfahren wie Stochastic Gradient Descent (SGD) entstehen, zeigen eine hohe Vorhersagbarkeit und regelmäßige Muster. Im Gegensatz dazu sind böswillige Updates (durch Angreifer manipuliert) weniger vorhersehbar und weisen als Ausreißer in der Zeitreihe auf.
• Technische Umsetzung:
  1. Matrix-Autoregressives Modell (MAR): Der Server nutzt ein MAR(1)-Modell (Matrix Autoregressive Model), um die lokalen Modell-Updates der nächsten Runde basierend auf historischen Daten vorherzusagen. Das Modell lernt die Parameter $A$ und $B$ so, dass $\Theta_t \approx A \Theta_{t-1} B$ gilt, wobei $\Theta_t$ die Matrix der lokalen Updates zur Zeit $t$ ist.
  2. Anomalie-Score: Für jeden Client wird ein Anomalie-Score berechnet, der die Distanz (z. B. quadratische $L_2$-Norm) zwischen dem tatsächlich gesendeten Update und dem vom MAR-Modell vorhergesagten Update misst.
  3. Cold-Start-Strategie: Für Clients, die zum ersten Mal ausgewählt werden oder keine Historie haben, wird die Distanz zum aktuellen globalen Modell als Score verwendet.
  4. Filterung: Clients mit hohen Anomalie-Scores werden als böswillig identifiziert und vor der Aggregation verworfen. Nur die $k$ Clients mit den niedrigsten Scores gehen in die Aggregation ein.
  5. Robustheit des Trainings: Um zu verhindern, dass vergiftete Updates das MAR-Modell selbst korrumpieren, werden bei der Aktualisierung der MAR-Parameter die als verdächtig markierten Spalten in der Trainingsmatrix durch das globale Modell oder vorherige legitime Updates ersetzt.

3. Hauptbeiträge

1. Empirischer Nachweis: Die Autoren belegen, dass die zeitliche Abfolge von Modellen legitimer Clients signifikant vorhersehbarer ist als die von Angreifern (nachgewiesen durch Zeitverzögerte gegenseitige Information, TDMI).
2. Neuer Filter (FLANDERS): Einführung des ersten prä-aggregierenden Filters für FL, der auf multidimensionaler Zeitreihen-Anomalieerkennung basiert und gegen ungerichtete Vergiftungsangriffe (Untargeted Poisoning) robust ist.
3. Skalierbarkeit bei Extremangriffen: FLANDERS funktioniert effektiv, selbst wenn mehr als 50 % (bis zu 80 %) der Clients böswillig sind, und benötigt keine Vorabinformation über das Verhältnis von Angreifern zu legitimen Clients.
4. Integration und Reproduzierbarkeit: Der Filter wurde in das populäre FL-Simulationsframework Flower integriert und der Code öffentlich verfügbar gemacht.
5. Verbesserung bestehender Methoden: FLANDERS dient als Vorstufe zu beliebigen Aggregationsfunktionen (sowohl FedAvg als auch robuste Methoden wie Krum oder Bulyan) und erhöht deren Robustheit drastisch.

4. Experimentelle Ergebnisse

Die Evaluation erfolgte auf vier Datensätzen (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) unter verschiedenen nicht-i.i.d. Verteilungen und vier Angriffstypen (GAUSS, LIE, OPT, AGR-MM).

• Erkennungsgenauigkeit: FLANDERS erreicht in den meisten Szenarien eine Präzision und einen Recall von 1,0 (100 %) bei der Erkennung böswilliger Clients, selbst bei einem Angreiferanteil von 80 %. Der konkurrierende State-of-the-Art-Filter „FLDetector" scheitert in diesen Szenarien (Recall oft < 0,2).
• Modellgenauigkeit:
  • Ohne Filter führt ein Angriff mit 80 % böswilligen Clients zum vollständigen Zusammenbruch der Genauigkeit (nahe Zufallsrate).
  • Mit FLANDERS bleibt die Genauigkeit des globalen Modells stabil und nahe am Niveau eines unangreiften Trainings, selbst wenn FLANDERS mit dem einfachen FedAvg kombiniert wird.
  • FLANDERS ermöglicht es auch komplexen, aber anfälligen Methoden wie Multi-Krum und Bulyan, in Szenarien mit 80 % Angreifern erfolgreich zu operieren, wo sie sonst versagen würden.
• Kosten-Nutzen-Analyse: Bei schwachen Angriffen ist der Overhead durch die MAR-Schätzung akzeptabel. Bei extremen Angriffen ist FLANDERS die einzige Option, die eine hohe Genauigkeit bei vertretbarem Trainingszeit-Overhead bietet.
• Adaptive Angriffe: Das System bleibt auch gegenüber adaptiven Angreifern robust, die versuchen, das MAR-Modell zu umgehen, solange diese nicht über vollständige Omniscience (vollständiges Wissen über die vom Server verwendeten Parameter) verfügen.

5. Bedeutung und Fazit

Das Paper stellt einen signifikanten Fortschritt in der Sicherheit von Federated Learning dar.

• Paradigmenwechsel: Statt sich auf geometrische Heuristiken (wie Median oder Distanzen zwischen Vektoren) zu verlassen, nutzt FLANDERS die temporale Abhängigkeit von Modellupdates als Sicherheitsmerkmal.
• Robustheit: Es löst das Problem der „Extremangriffe", bei denen die Mehrheit der Teilnehmer kompromittiert ist, ein Problem, das bisherige Methoden als unlösbar betrachteten.
• Praktische Relevanz: Da FLANDERS als Vorfilter fungiert, kann es nahtlos in bestehende FL-Pipelines integriert werden, um diese gegen massive Vergiftungsversuche zu härten, ohne das zugrundeliegende Lernverfahren zu ändern.

Die Arbeit zeigt, dass die Betrachtung von Modell-Updates als Zeitreihen ein mächtiges Werkzeug ist, um die Integrität verteilter ML-Systeme auch unter extremen Bedrohungsbedingungen zu gewährleisten.