🤖 machine learning

Byzantine-Robust Federated Learning with Learnable Aggregation Weights

Dieser Artikel schlägt ein neuartiges, byzantinisch-robustes Framework für Federated Learning vor, das Aggregationsgewichte als lernbare Parameter behandelt, die gemeinsam mit dem globalen Modell mittels eines alternierenden Minimierungsalgorithmus optimiert werden, und damit eine überlegene Resilienz gegenüber bösartigen Clients in heterogenen Datenszenarien im Vergleich zu den aktuell besten Methoden demonstriert.

Ursprüngliche Autoren: Javad Parsa, Amir Hossein Daghestani, André M. H. Teixeira, Mikael Johansson

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Javad Parsa, Amir Hossein Daghestani, André M. H. Teixeira, Mikael Johansson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Schülern (die Clients) vor, die gemeinsam versuchen, ein schwieriges Rätsel zu lösen, um eine einzige, perfekte Lösung (das globale Modell) zu erstellen. Sie können ihre einzelnen Puzzleteile nicht teilen, da diese privat sind, und senden stattdessen ihre Ideen zur Verbesserung der Lösung an einen Lehrer (den Server). Der Lehrer kombiniert diese Ideen, um die Masterlösung zu aktualisieren, und sendet sie für die nächste Runde zurück. Dies ist Federated Learning.

Allerdings gibt es ein Problem: Einige Schüler sind byzantinische Clients (böswillige Akteure). Sie versuchen nicht, das Rätsel zu lösen, sondern es zu sabotieren. Sie könnten gefälschte Ideen senden, über ihren Fortschritt lügen oder versuchen, die Lösung in eine völlig falsche Richtung zu lenken.

Der alte Weg: Der „Einheitsfilter"

Traditionell versuchen die Lehrer, wenn sie diese Ideen erhalten, die Lügner zu entlarven. Wenn sie glauben, dass ein Schüler lügt, werfen sie die Idee dieses Schülers in den Müll. Für die verbleibenden „guten" Schüler behandelt der Lehrer alle genau gleich: „Ihr alle bekommt eine gleichberechtigte Stimme."

Der Fehler: Dies ist wie ein Klassenzimmer, in dem der Lehrer die Schläger ignoriert, aber dann jedem verbleibenden Schüler unabhängig davon, wie viel er tatsächlich weiß, die gleiche Punktzahl gibt. Wenn die „guten" Schüler sehr unterschiedliche Hintergründe haben (einige kennen Mathematik, andere Kunst), kann eine gleichgewichtige Gewichtung dennoch zu einer unordentlichen, unausgewogenen Lösung führen. Die Arbeit argumentiert, dass in einer diversen Gruppe das bloße Entfernen der faulen Äpfel nicht ausreicht; man muss auch herausfinden, wie viel jeder gute Apfel zählen soll.

Die neue Lösung: FedLAW (Das „intelligente Abstimmungssystem")

Die Autoren schlagen eine neue Methode namens FedLAW (Federated Learning with Learnable Aggregation Weights) vor. Anstatt nur zu entscheiden, wem man vertraut, lernt das System, wie sehr man jedem vertraut, und passt die „Stimmkraft" jedes Schülers dynamisch an.

So funktioniert es, unter Verwendung einer kreativen Analogie:

1. Das „Gewicht" ist eine lernbare Fähigkeit

Im alten System waren die Abstimmungsgewichte fest (wie ein vordruckter Stimmzettel). Bei FedLAW sind die Abstimmungsgewichte lernbare Parameter. Stellen Sie sich vor, der Lehrer ist ebenfalls ein Schüler in der Klasse, der gemeinsam mit der Gruppe lernt. Der Lehrer lernt gleichzeitig:

Die Lösung: Wie man das Rätsel löst (die Modellparameter).
Das Vertrauensniveau: Wie sehr man den Input jedes Schülers vertraut (die Aggregationsgewichte).

Der Lehrer fragt: „Wenn ich Schüler A eine hohe Stimme gebe, wird die Lösung besser oder schlechter? Wenn ich Schüler B eine niedrige Stimme gebe, hilft das?" Das System passt diese Stimmen automatisch an, um Fehler zu minimieren.

2. Der „alternierende" Tanz

Die Arbeit beschreibt einen alternierenden Minimierungsalgorithmus. Stellen Sie sich einen Tanz mit zwei Schritten vor, die sich wiederholen:

Schritt 1 (Der Modellschritt): Der Lehrer nimmt die aktuellen Vertrauenswerte und aktualisiert die Rätsellösung.
Schritt 2 (Der Gewichtsschritt): Der Lehrer betrachtet die neue Lösung und fragt: „Wer hat uns hierher gebracht? Wer hat uns nach unten gezogen?" Basierend darauf aktualisiert der Lehrer die Vertrauenswerte (Gewichte). Wenn die Idee eines Schülers konsistent zu einem schlechteren Ergebnis führt, sinkt sein Gewicht. Wenn sie zu einem besseren Ergebnis führt, steigt sein Gewicht.

Dies geschieht immer wieder. Das System wird besser darin, Saboteure zu erkennen, nicht indem es nach einem spezifischen „schlechten" Muster sucht, sondern indem es sieht, wessen Ideen konsistent versagen, das Ziel der Gruppe zu verbessern.

3. Die „Sparsity"-Regel (Die Null-Stimme)

Um mit den böswilligen Schülern umzugehen, hat das System eine Regel namens Sparsity (Dünnbesetztheit). Sie besagt: „Wir behalten nur die top $N$ hilfreichsten Stimmen bei. Alle anderen erhalten eine Stimme von null."
Wenn es 100 Schüler gibt und 10 werden des Böswilligen verdächtigt, setzt das System automatisch die Gewichte der 10 schlechtesten Performer auf null. Es schaltet sie effektiv stumm, ohne vorher genau zu wissen, wer sie sind. Es weiß einfach, dass sie nicht helfen.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dieser Ansatz sei überlegen, weil:

Er sich an Vielfalt anpasst: Im echten Leben sind Daten „heterogen" (verschiedene Schüler haben unterschiedliche Arten von Wissen). Alte Methoden behandelten alle nach dem Filtern gleich, was diese Unterschiede ignorierte. FedLAW lernt das richtige Gleichgewicht.
Er trickreiche Lügner fängt: Einige böswillige Schüler versuchen, gut auszusehen, indem sie „falsch nette" Updates senden (wie der „Inverse Gradient"-Angriff). Da FedLAW betrachtet, wie sich die Lösung der gesamten Gruppe basierend auf den Gewichten ändert, kann es diese subtilen Inkonsistenzen schneller erkennen als Methoden, die die Daten isoliert betrachten.
Er schneller konvergiert: Die Experimente zeigen, dass FedLAW selbst dann ein hohes Maß an Genauigkeit erreicht, wenn 40 % der Schüler böswillig sind und die Daten sehr unordentlich sind, und dabei andere Top-Methoden übertrifft.

Der Kompromiss

Die Arbeit gibt zu, dass es kleine Kosten gibt. Um die perfekten Abstimmungsgewichte zu ermitteln, muss der Lehrer etwas zusätzliche Mathematik betreiben und ein paar zusätzliche Nachrichten hin und her mit den Schülern senden. Die Autoren argumentieren jedoch, dass, da das System so viel schneller und genauer lernt, diese kleinen zusätzlichen Kosten es wert sind. Es ist wie ein wenig mehr für ein GPS zu zahlen, das Sie in der Hälfte der Zeit im Vergleich zu einer Standardkarte an Ihr Ziel bringt.

Zusammenfassend: FedLAW verwandelt den Prozess des Filterns böswilliger Akteure selbst in ein Lernproblem. Anstatt nur die „faulen Äpfel herauszuschneiden", lernt es genau, wie viel jeder einzelne Apfel wiegen soll, und stellt sicher, dass der endgültige Korb perfekt ist, selbst wenn die Hälfte des Obstgartens verrottet ist.

Technische Zusammenfassung: Byzantinisch-robustes Federated Learning mit lernbaren Aggregationsgewichten

Problemstellung

Federated Learning (FL) ermöglicht es mehreren Clients, gemeinsam ein globales Modell zu trainieren, ohne private Daten zu teilen. Das System ist jedoch anfällig für byzantinische Clients – böswillige Akteure, die willkürliche oder manipulierte Modell-Updates einreichen, um das globale Modell zu kompromittieren. Diese Herausforderung wird in heterogenen Umgebungen verschärft, in denen sich die Datenverteilungen über die Clients hinweg erheblich unterscheiden. In solchen Szenarien ist es schwierig, zwischen harmlosen Updates (die durch Datenheterogenität beeinflusst sind) und böswilligen Updates zu unterscheiden.

Bestehende byzantinisch-robuste FL-Methoden folgen typischerweise einem Zwei-Schritte-Prozess: Zuerst identifizieren und entfernen sie böswillige Clients, und zweitens weisen sie den verbleibenden harmlosen Clients einheitliche Aggregationsgewichte zu. Die Autoren argumentieren, dass dieser Ansatz der einheitlichen Gewichtung in heterogenen Umgebungen suboptimal ist. Nach der Entfernung böswilliger Clients können die verbleibenden harmlosen Clients dennoch unausgewogene Datenverteilungen aufweisen (z. B. das Fehlen bestimmter Labels). Die Zuweisung einheitlicher Gewichte passt sich nicht an dieses Ungleichgewicht an und kann die Modellgenauigkeit verschlechtern, indem unterrepräsentierte Klassen nicht angemessen priorisiert werden.

Methodik

Die Arbeit schlägt FedLAW (Federated Learning with Learnable Aggregation Weights) vor, ein neuartiges Framework, das Aggregationsgewichte als lernbare Parameter behandelt und nicht als feste Werte oder einfache Zuweisungen nach der Filterung.

1. Problemformulierung

Die Autoren formulieren das FL-Ziel als gemeinsame Optimierungsproblem über sowohl die globalen Modellparameter $\theta$ als auch die Aggregationsgewichte $w$ :
$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$
wobei $f_i(\theta)$ die Verlustfunktion des Clients $i$ ist. Der Gewichtungsvektor $w$ ist auf einen sparse unit-capped simplex $\Delta^+_{t,\ell_0}$ beschränkt, definiert durch:

$\sum w_i = 1$ und $w_i \geq 0$ (Standard-Simplex-Bedingungen).
$w_i \leq t$ (Begrenzung des Einflusses einzelner Clients).
$\|w\|_0 \leq s$ (Sparsity-Bedingung, Begrenzung der Anzahl der nicht-null Gewichte).

Durch die Festlegung von $t = 1/(n - b_f)$ und $s = n - b_f$ (wobei $b_f$ die Anzahl der byzantinischen Clients ist), zwingt der zulässige Bereich den Ausschluss von bis zu $b_f$ Clients (durch Setzen ihrer Gewichte auf Null), während das verbleibende Gewicht gleichmäßig auf die ausgewählten $n - b_f$ Clients verteilt wird. Dies verwandelt das binäre Problem des „Erkennens und Entfernens" in ein kontinuierliches Optimierungsproblem.

2. Vorgeschlagener Algorithmus

Um diese nicht-konvexe gemeinsame Optimierung zu lösen, entwickeln die Autoren einen alternierenden Minimierungsalgorithmus (Algorithmus 2) auf Basis einer verschachtelten Optimierungsstruktur:

Innerer Schritt (Modell-Update): Für feste Gewichte $w$ approximiert der Server die Client-Verlustfunktionen mit quadratischen Surrogaten und berechnet ein Modell-Update $\theta_{k+1}(w) = \theta_k - \alpha G_k w$ , wobei $G_k$ die Client-Gradienten enthält.
Äußerer Schritt (Gewicht-Update): Für das aktualisierte Modell optimiert der Algorithmus die Gewichte $w$ , um das globale Ziel zu minimieren. Dieser Schritt umfasst die Minimierung einer quadratischen Approximation der Zielfunktion bezüglich $w$ , gefolgt von einer Projektion auf den sparse unit-capped simplex.

Das Gewichts-Update nutzt sowohl Verlustinformationen (zur Erkennung von Datenvergiftung) als auch Gradienten-Alignment (zur Erkennung von Modellvergiftung/Inverse-Gradient-Angriffen). Böswillige Clients, deren Gradienten vom kohärenten Cluster harmloser Clients abweichen, werden durch die Sparsity-Bedingung natürlich heruntergewichtet oder ausgeschlossen.

3. Kommunikationsprotokoll

Der Algorithmus erfordert zwei Kommunikationsrunden pro Trainings-Epoche:

Der Server sendet $\theta_k$ aus; Clients senden Gradienten und Verluste zurück.
Der Server berechnet ein vorläufiges Update $\tilde{\theta}_{k+1}$ , sendet es aus, und Clients senden aktualisierte Gradienten und Verluste zurück, um das finale Gewichts-Update und den nächsten Modellzustand zu berechnen.
Die Autoren stellen fest, dass dies zwar eine zusätzliche Runde hinzufügt, die beschleunigte Konvergenz des globalen Modells diese Kosten jedoch oft kompensiert, was zu vergleichbaren oder geringeren gesamten Kommunikationsrunden führt, um eine Zielgenauigkeit zu erreichen.

Hauptbeiträge

Neuartige Optimierungsformulierung: Die Arbeit führt ein gemeinsames Optimierungsframework ein, bei dem Aggregationsgewichte lernbare Parameter sind und die byzantinische Verteidigung direkt in das Lernziel eingebettet wird, anstatt sie als separaten Filter-Schritt zu behandeln.
Algorithmus-Entwicklung: Ein alternierender Minimierungsalgorithmus wird vorgeschlagen, der einen spezifischen Projektionsoperator für den sparse unit-capped simplex verwendet, um eine effiziente Berechnung robuster Gewichte zu gewährleisten.
Theoretische Garantien:
- Byzantinische Resilienz: Satz 2 zeigt, dass der vorgeschlagene Aggregator mit hoher Wahrscheinlichkeit $(\zeta, b_f)$ -byzantinisch resilient ist und eine explizite Fehlerschranke liefert, die sich in Quellen wie Verlustheterogenität, Gradientenheterogenität und Stichprobenrauschen zerlegen lässt.
- Konvergenz: Satz 3 beweist, dass der Algorithmus für nicht-konvexe und stark konvexe Settings in eine Umgebung des Optimums konvergiert, wobei der Fehlerradius mit dem Einfluss des Angreifers skaliert.
Empirische Validierung: Umfangreiche Experimente auf MNIST und CIFAR-10 unter fünf Angriffstypen (Label Flipping, Inverse Gradient, Backdoor, Double Attack und LIE) und variierenden Niveaus der Datenheterogenität belegen die Überlegenheit der Methode.

Experimentelle Ergebnisse

Die Autoren bewerteten FedLAW gegen state-of-the-art Baselines (Krum, Trimmed Mean, Bulyan, CwMed, RFA, CClip, Huber Aggregator) in diversen Szenarien:

Leistung: FedLAW übertraf bestehende Methoden konsistent, insbesondere in hoch-heterogenen ( $q=0.9$ ) und hoch-maliziösen (bis zu 40 %) Settings. Beispielsweise erzielte FedLAW unter einem Inverse-Gradient-Angriff mit 40 % böswilligen Clients auf MNIST eine um 3,6 % höhere Testgenauigkeit als die zweitbeste Verteidigung.
Stabilität: Im Gegensatz zu anderen Methoden, die bei schweren Angriffen (z. B. Double Attack oder hohe LIE-Anteile) divergierten oder starke Genauigkeitsabfälle erlitten, behielt FedLAW eine robuste Leistung mit gradueller Verschlechterung bei.
Gewichtsdynamik: Visualisierungen zeigten, dass harmlose Clients schnell zu stabilen, nicht-trivialen Gewichten konvergierten, während böswillige Clients innerhalb der ersten 20 Epochen konsistent auf nahezu Null-Gewichte unterdrückt wurden.
Erkennung: Die Methode zeigte eine hohe Präzision und Recall bei der Identifizierung böswilliger Clients und neutralisierte effektiv sowohl Datenvergiftungs- als auch Modellvergiftungsangriffe.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass FedLAW einen bedeutenden Fortschritt im sicheren Federated Learning darstellt, indem sie die Grenzen der einheitlichen Gewichtung in heterogenen Umgebungen adressiert. Durch die Integration adaptiver Gewichtung in den Lernprozess erreicht die Methode:

Erhöhte Robustheit: Sie neutralisiert böswillige Clients effektiv, ohne Vorwissen über die Anzahl der Angreifer oder komplexe Vorfiltermechanismen zu benötigen.
Fairness und Anpassungsfähigkeit: Sie balanciert die Beiträge harmloser Clients adaptiv aus und stellt sicher, dass Datenheterogenität nicht zur Vernachlässigung spezifischer Datenverteilungen führt.
Theoretische Fundierung: Die Arbeit liefert rigorose Konvergenz- und Resilienzgarantien und verknüpft die statische Resilienz des Aggregators mit der dynamischen Stabilität des Lernalgorithmus.

Die Autoren schließen, dass ihre Ergebnisse die Vorteile der Integration adaptiver Aggregation in den Lernprozess unterstreichen und den Weg für sicherere und gerechtere FL-Einsätze in realen, heterogenen und adversarischen Umgebungen ebnen.