FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

Stellen Sie sich ein massives, kollaboratives Kunstprojekt vor, bei dem tausende von Künstlern (genannt „Clients“) gemeinsam an einem einzigen, riesigen Wandgemälde (dem „globalen Modell“) malen. Sie können ihre eigentlichen Pinsel oder Skizzen nicht teilen, weil sie ihre Geheimnisse bewahren wollen, also schicken sie dem Server nur eine winzige Notiz mit dem Inhalt: „Ich finde, der Himmel sollte blauer sein.“ Der Server mischt alle diese Notizen, um das Wandgemälde zu aktualisieren. Dies ist Federated Learning.

Aber es gibt ein hinterlistiges Problem. Eine Gruppe von Saboteuren möchte das Wandgemälde manipulieren. Sie wollen nicht das ganze Bild ruinieren; sie wollen nur sicherstellen, dass, wenn jemand ein winziges, spezifisches Muster malt (wie einen roten Punkt), der Baum plötzlich in ein riesiges, schreiendes Monster verwandelt wird. Dies ist ein Backdoor Attack.

Der schwierige Teil ist der Distributed Backdoor Attack (DBA). Anstatt dass ein einzelner böser Künstler das gesamte „rote Punkt“-Muster malt, teilen die Saboteure das Muster in winzige, unsichtbare Stücke auf. Künstler A malt einen winzigen roten Fleck auf ein Blatt. Künstler B malt einen winzigen roten Fleck auf einen Ast. Künstler C malt einen Fleck auf den Stamm. Individuell sehen diese Flecken wie harmlose Fehler aus. Aber wenn der Server alle Notizen zusammenmischt, bilden die „roten Flecken“ gemeinsam den vollständigen „Schrei“-Trigger. Das Wandgemälde sieht normal aus, bis man nach diesem spezifischen Muster sucht, dann – BUMM – es schreit.

Die alten Wege vs. die neue Idee

Frühere Versuche, dies zu stoppen, waren wie ein Sicherheitswächter, der die Notizen prüft, die die Künstler geschickt haben. Sie versuchten, die schlechten Notizen zu finden oder zu erraten, welche Künstler lügen. Aber da die schlechten Notizen so subtil und aufgeteilt waren, übersah der Wächter sie oft.

Die Autoren dieser Arbeit, Hanlei Zhou und sein Team, sagen: „Hören wir auf zu raten, wer lügt, und fangen wir an, das Wandgemälde selbst zu reparieren.“ Sie schlagen ein zweistufiges Reparatur-Kit namens FedVIB–AGP vor.

Schritt 1: Die „Gedächtnis-Diät“ (Variational Information Bottleneck)

Zuer Sie ändern, wie die Künstler ihre lokalen Skizzen malen. Sie führen eine Regel namens Variational Information Bottleneck (VIB) ein.

Stellen Sie sich VIB wie einen strengen Editor vor, der den Künstlern sagt: „Du darfst nur die wesentlichen Details behalten, die nötig sind, um einen normalen Baum zu malen. Wenn du versuchst, seltsame, zusätzliche Details (wie den geheimen roten Fleck) auswendig zu lernen, wirst du bestraft.“ Es zwingt die Künstler dazu, ihr Gedächtnis zu komprimieren und „redundante“ Informationen wegzuwerfen. Das Ziel ist sicherzustellen, dass selbst wenn ein böser Künstler versucht, einen roten Fleck einzuschmuggeln, der Künstler es vergisst, weil es nicht „wesentlich“ für das Malen eines normalen Baumes ist.

Dennoch ist das Papier vorsichtig zu betonen, dass dies kein magischer Schutzschild ist. Es ist nur eine Diät. Es macht es schwieriger, sich an das Gift zu erinnern, aber es garantiert nicht, dass das Gift verschwunden ist.

Schritt 2: Der „Trigger-Detektiv“ (Activation-Gap Pruning)

Nachdem der Server alle Notizen gemischt hat, kann das Wandgemälde immer noch einige verborgene „Schrei“-Pfade enthalten. Hier kommt der zweite Teil, Activation-Gap Pruning (AGP), ins Spiel.

Entscheidend ist, dass dieser Schritt zwei spezifische Werkzeuge erfordert: Der Server muss über einen sauberen Referenzsatz (eine Menge normaler, nicht vergifteter Fotos von Bäumen) UND ein Trigger-Werkzeug verfügen, das das zusammengesetzte Trigger-Muster (das vollständige Muster, das aus allen Einzelteilen besteht) perfekt rekonstruieren kann, um das Wandgemälde zu testen.

Mit diesen Werkzeugen führt der Server ein kleines Experiment durch:

1. Er zeigt dem Wandgemälde einen normalen Baum aus dem sauberen Referenzsatz.
2. Er zeigt dem Wandgemälde denselben Baum aus dem Satz, aber mit dem vollständigen, zusammengesetzten roten Fleck-Muster hinzugefügt.
3. Er beobachtet die internen „Neuronen“ (die winzigen Arbeiter innerhalb der Malmaschine) des Wandgemäldes.

Wenn ein Arbeiter einen normalen Baum normalerweise ignoriert, aber plötzlich wild wird und schreit, wenn das vollständige Muster hinzugefügt wird, ist dieser Arbeiter verdächtig. Der Server misst diese „Lücke“ zwischen der normalen Reaktion und der ausgelösten Reaktion. Wenn die Lücke groß ist, sagt der Server: „Dieser Arbeiter ist zu empfindlich gegenüber dem Gift!“ und prunt (maskiert) diesen Arbeiter. Er setzt im Wesentlichen ein „Nicht zu benutzen“-Schild auf diesen spezifischen Pfad.

Nachdem die schlechten Arbeiter herausgeschnitten wurden, gibt der Server dem Wandgemälde eine kurze „Feinabstimmungs-Sitzung“ auf dem sauberen Referenzsatz, um sicherzustellen, dass es immer noch eine schöne Landschaft malen kann, ohne diese Arbeiter.

Die Ergebnisse: Hat es funktioniert?

Die Autoren testeten dies auf vier verschiedenen Arten von „Malaufgaben“ (Datensätzen): CIFAR-10 (bunte Objekte), Fashion-MNIST (Kleidung), MNIST (handgeschriebene Zahlen) und SVHN (Hausnummern).

Hier ist das, was in ihren Simulationen geschah:

• Der Angriff: Ohne jegliche Verteidigung konnten die bösen Künstler das Modell in den Fällen CIFAR-10 95,67 % der Zeit, in Fashion-MNIST 90,82 %, in MNIST 98,46 % und in SVHN 86,43 % auf Kommando zum Schreien bringen. Das Wandgemälde war komplett gekapert worden.
• Die Verteidigung: Mit FedVIB–AGP sank die Erfolgsrate des Angriffs drastisch:
  • CIFAR-10: Auf 2,16 %.
  • Fashion-MNIST: Auf 2,56 %.
  • MNIST: Auf 0,81 %.
  • SVHN: Auf 0,60 %.

Entscheidend war, dass das Wandgemälde seine Fähigkeit, normale Bäume zu malen, nicht verlor. Die „Clean Accuracy“ (wie gut es normale Bilder malt) blieb hoch: 73,27 % für CIFAR-10, 75,93 % für Fashion-MNIST, 92,45 % für MNIST und 90,38 % für SVHN.

Im Vergleich zu anderen Top-Verteidigungen (wie CRFL, die die beste der alten Methoden war) war FedVIB–AGP sogar noch besser. Es reduzierte die Erfolgsrate des Angriffs um bis zu 10,29 % mehr als CRFL und verbesserte tatsächlich die Clean Accuracy um bis zu 11,16 %.

Was dieses Paper ausschließt (und was nicht)

Es ist wichtig zu wissen, was dieses Paper nicht behauptet.

• Es ist kein Allheilmittel für unbekannte Trigger. Das Paper stellt explizit fest, dass diese Methode erfordert, dass der Server sowohl einen sauberen Referenzsatz als auch das zusammengesetzte Trigger-Muster besitzt, um den Detektiv-Test durchzuführen. Der Server muss genau wissen, wie der „rote Fleck“ aussieht, um die Reaktion des Wandgemäldes zu vergleichen. Wenn die Saboteure das Muster ändern in etwas, das der Server nicht kennt, kann dieses spezifische Reparatur-Kit den „Trigger-Detektiv“-Schritt nicht durchführen und möglicherweise nicht funktionieren.
• Es ist keine Garantie gegen alle zukünftigen Angriffe. Die Ergebnisse basieren auf spezifischen Simulationen mit spezifischen Datensätzen und Angriffsszenarien. Die Autoren warnen davor, dass reale Angriffe klüger oder anders sein könnten.
• Es ist nicht nur „VIB“ oder nur „Pruning“. Das Paper zeigt, dass es nicht ausreicht, nur die „Gedächtnis-Diät“ (VIB) oder nur das „Pruning“ (AGP) anzuwenden. Man braucht beide zusammen, um die besten Ergebnisse zu erzielen. Zum Beispiel senkte die Verwendung von nur Pruning bei CIFAR-10 den Angriff auf 16,10 %, aber das Hinzufügen der Gedächtnis-Diät brachte ihn auf 2,16 %.

Das Fazrazit

Das Paper legt nahe, dass wir durch die Kombination einer „Gedächtnis-Diät“ während des Trainings mit einem „Trigger-Detektiv“ nach dem Bau des Modells effektiv ein vergiftetes Wandgemälde bereinigen können, ohne das Gemälde zu ruinieren.

In diesen spezifischen Simulationen funktionierte die Methode unglaublich gut und verwandelte eine fast 100-prozentige Erfolgsrate des Angriffs in eine Erfolgsrate von nahezu Null, während das Modell gleichzeitig intelligent genug blieb, um seine Aufgabe zu erfüllen. Aber die Autoren sind ehrlich: Dies funktioniert am besten, wenn wir wissen, wie das Gift aussieht. Wenn das Gift seine Form ändert, benötigen wir vielleicht einen neuen Typ von Detektiv.