Defending against Backdoor Attacks via Module Switching

Die vorgestellte Arbeit stellt eine Verteidigungsmethode namens Module Switching Defense (MSD) vor, die durch den gezielten Austausch von Modulen und evolutionäre Optimierungsstrategien Backdoor-Angriffe in tiefen neuronalen Netzen wirksamer abwehrt als herkömmliche Gewichtsmittelungsverfahren, insbesondere in Szenarien mit wenigen Modellen oder kollusiven Angriffen.

Das Wesentliche

Das Problem: Der vergiftete Kuchen

Stellen Sie sich vor, Sie kaufen einen fertigen Kuchen (ein KI-Modell) von einem Bäcker, den Sie nicht kennen. Der Kuchen sieht und schmeckt normal aus. Aber der Bäcker hat eine heimliche Regel eingebaut: Sobald jemand eine rote Kirsche auf den Kuchen legt, verwandelt sich der ganze Kuchen plötzlich in einen Haufen Asche.

Das ist ein Backdoor-Angriff (Hintertür-Angriff).

• Im normalen Alltag funktioniert das KI-Modell super.
• Aber wenn ein Angreifer einen speziellen „Trigger" (wie die rote Kirsche) hinzufügt, führt das Modell eine böse Aktion aus.

Das Tückische: Der Käufer (Sie) hat den Kuchen nicht selbst gebacken. Er kennt die Zutaten nicht und weiß nicht, dass die Kirsche-Regel existiert. Er hat keine Chance, den Kuchen zu überprüfen, bevor er ihn isst.

Die alte Lösung: Den Kuchen halbieren und mischen

Bisher gab es eine Idee, wie man sich schützt: Man nimmt zwei verdächtige Kuchen von zwei verschiedenen Bäckern, schneidet sie in zwei Hälften und mischt die Hälften zu einem neuen Kuchen zusammen (dies nennt man im Fachjargon „Weight Averaging" oder Gewichts-Mittelung).

Die Hoffnung war: Vielleicht verwässert sich die Kirschen-Regel im Mix, und der neue Kuchen ist sicher.
Das Problem: Wenn beide Bäckereien denselben bösen Bäckerguru hatten und beide die gleiche Kirschen-Regel eingebaut haben, hilft das Mischen nichts. Der neue Kuchen hat immer noch die Regel. Außerdem braucht man oft viele Kuchen, um sicher zu sein, was teuer und aufwendig ist.

Die neue Lösung: Der „Modul-Wechsler" (MSD)

Die Autoren dieses Papiers haben eine clevere neue Methode namens Module Switching Defense (MSD) entwickelt.

Stellen Sie sich den Kuchen nicht als einen Block vor, sondern als ein Rezept, das aus vielen einzelnen Schritten besteht:

1. Mehl mischen
2. Eier schlagen
3. Ofen vorheizen
4. Backen
5. Dekorieren

Ein böser Bäcker hat vielleicht nur den Schritt „Eier schlagen" manipuliert, damit dort die Kirschen-Regel versteckt ist. Ein anderer böser Bäcker hat vielleicht den Schritt „Ofen vorheizen" manipuliert.

Die Idee von MSD ist wie ein genialer Küchenchef, der zwei verdächtige Rezepte nimmt und sie neu zusammenbastelt:

• Er nimmt den Schritt „Mehl mischen" von Bäcker A.
• Er nimmt den Schritt „Eier schlagen" von Bäcker B.
• Er nimmt den Schritt „Ofen vorheizen" wieder von Bäcker A.
• Er nimmt den Schritt „Dekorieren" von Bäcker B.

Warum funktioniert das?
Die böse Regel (die Hintertür) funktioniert nur, wenn alle Schritte eines bestimmten Weges zusammenarbeiten. Wenn Sie die Schritte durcheinander werfen, bricht die Verbindung.

• Die Kirschen-Regel von Bäcker A braucht den manipulierten „Eier-Schritt". Aber Sie haben jetzt den „Eier-Schritt" von Bäcker B genommen. Die Regel funktioniert nicht mehr!
• Die Regel von Bäcker B braucht den manipulierten „Ofen-Schritt". Aber Sie haben den von Bäcker A. Auch hier funktioniert die Regel nicht mehr.

Der neue Kuchen ist sicher, weil die „Hintertür" zerlegt wurde. Aber da Sie nur einzelne Schritte ausgetauscht haben, schmeckt der Kuchen immer noch gut (die normale Funktion bleibt erhalten).

Wie finden sie die beste Kombination?

Es gibt unzählige Möglichkeiten, die Schritte zu mischen. Wie findet man die perfekte Kombination, bei der alle Hintertüren kaputtgehen?

Die Autoren nutzen einen evolutionären Algorithmus (eine Art digitale „natürliche Selektion").

1. Der Computer probiert zufällig viele verschiedene Kombinationen aus (wie ein Koch, der tausende neue Rezepte erfindet).
2. Er prüft: „Ist dieser neue Kuchen sicher?" (Indem er testet, ob er auf normale Weise funktioniert, aber nicht auf die Hintertür reagiert).
3. Die besten Kombinationen werden „überleben" und weiterentwickelt, die schlechten werden verworfen.
4. Am Ende hat man ein Rezept, das so sicher wie möglich ist.

Warum ist das so toll?

1. Man braucht weniger Helfer: Früher brauchte man 3 bis 6 verschiedene Modelle, um sicher zu sein. Mit dieser Methode reichen oft schon zwei verdächtige Modelle aus.
2. Es funktioniert auch bei Komplizen: Selbst wenn zwei Modelle denselben Angreifer haben (sie haben die gleiche Hintertür), kann die Methode sie oft trotzdem entlarven, indem sie die Struktur so stark durcheinanderwirbelt, dass die Regel zusammenbricht.
3. Es ist universell: Ob es sich um ein Text-Modell (wie einen Chatbot) oder ein Bild-Modell (wie eine Gesichtserkennung) handelt – das Prinzip des „Rezept-Austauschs" funktioniert bei beiden.

Zusammenfassung in einem Satz

Statt zu versuchen, den verdorbenen Teil eines KI-Modells zu reparieren, nehmen wir zwei verdorbene Modelle, zerlegen sie in ihre Einzelteile und bauen ein neues, sicheres Modell daraus, indem wir die Teile so mischen, dass die bösen Regeln nicht mehr funktionieren können – wie ein Koch, der zwei verdorbene Rezepte nimmt und durch geschicktes Tauschen der Schritte ein neues, sicheres Gericht zaubert.

Technische Zusammenfassung

Titel: Verteidigung gegen Backdoor-Angriffe durch Modulwechsel (Module Switching)

Veröffentlicht bei: ICLR 2026
Autoren: Weijun Li, Ansh Arora, Xuanli He, Mark Dras, Qiongkai Xu

---

1. Problemstellung

Backdoor-Angriffe stellen eine subtile und schwerwiegende Bedrohung für Deep Neural Networks (DNNs) dar. Angreifer injizieren während des Trainings kleine, manipulierte Trigger in die Daten, sodass das Modell bei Vorhandensein dieser Trigger ein bösartiges Verhalten zeigt, sich aber bei sauberen Eingaben normal verhält.

Das Hauptproblem liegt im Post-Training-Szenario: Endnutzer haben oft keinen Zugriff auf die ursprünglichen Trainingsdaten, keine Kenntnis über die Angriffe und keine vertrauenswürdigen Referenzmodelle. Herkömmliche Verteidigungsmethoden, die auf Datenfilterung, Fine-Tuning mit vertrauenswürdigen Daten oder Trigger-Inversion basieren, sind in diesem Kontext nicht anwendbar.

Zwar bietet das Modell-Merging (das Zusammenführen mehrerer Modelle) eine kosteneffiziente Verteidigung, doch bestehende Methoden wie das einfache Gewichts-Averaging (Weight Averaging, WAG) haben Schwächen:

• Sie benötigen oft viele (3–6) homologe Modelle für eine effektive Abwehr.
• Sie sind anfällig für kollusive Angriffe, bei denen mehrere Modelle denselben Backdoor teilen (hier versagt das Averaging, da der Backdoor nicht „ausgemittelt", sondern verstärkt wird).
• Sie setzen oft vertrauenswürdige Ressourcen voraus, die in unsicheren Umgebungen fehlen.

2. Methodik: Module Switching Defense (MSD)

Die Autoren schlagen Module Switching Defense (MSD) vor, einen Verteidigungsrahmen, der Backdoor-„Shortcuts" (spurious correlations) durch den gezielten Austausch von Netzwerkkomponenten (Modulen) zwischen verschiedenen Modellen unterbricht.

Kernkonzept

Backdoors werden als lokalisierte, fragile Pfade innerhalb spezifischer Module betrachtet. Da verschiedene infizierte Modelle Backdoors selten an exakt derselben Stelle implementieren, führt der Austausch entsprechender Module zwischen Modellen dazu, dass diese Pfade unterbrochen werden, während die semantische Funktionalität (die „Hauptaufgabe" des Modells) erhalten bleibt.

Technische Umsetzung

1. Theoretische Grundlage (Zwei-Schicht-Netze):

   • Die Autoren beweisen theoretisch, dass ein Modulwechsel (Switching) eine größere Divergenz zu den ursprünglichen Backdoor-Mustern erzeugt als das Gewichts-Averaging (WAG).
   • Es wird gezeigt, dass der Gesamtverlust an Nützlichkeit (Utility Loss) bei einem modulierten Paar der Summe der Verluste der Einzelmodelle entspricht, was eine hohe Erhaltung der Funktionalität garantiert.

2. Heuristische Regeln für Deep Learning:
   Für komplexe Architekturen (Transformer, CNNs) werden Heuristiken definiert, um die Suche nach optimalen Switching-Strategien zu leiten. Diese Regeln bestrafen Verbindungen, die Backdoor-Pfade begünstigen könnten:

   • Intra-Layer-Adjazenz: Bestrafung benachbarter Module aus demselben Quellmodell innerhalb einer Schicht.
   • Kontinuierliche Layer-Adjazenz: Vermeidung direkter Verbindungen zwischen Modulen desselben Quellmodells über aufeinanderfolgende Schichten.
   • Residual-Pfad-Adjazenz: Bestrafung von Verbindungen über Skip-Connections zwischen Modulen desselben Modells.
   • Balance & Diversität: Förderung einer gleichmäßigen Verteilung der Module über die Quellmodelle und Vielfalt in der Kombination.

3. Evolutionäre Suche (Neural Architecture Search):
   Da der Suchraum diskret und nicht differenzierbar ist, wird ein evolutionärer Algorithmus verwendet, um die beste Strategie zu finden.

   • Fitness-Funktion: Bewertet Strategien basierend auf den oben genannten Heuristiken (Bestrafung von Adjazenzverletzungen, Belohnung von Diversität).
   • Prozess: Eine Population von Strategien wird durch Selektion, Mutation und Fitness-basiertes Culling über Generationen hinweg optimiert.

4. Kandidatenselektion:
   Da die Suche mehrere Kandidatenmodelle erzeugt, wird ein Feature-Distance-Kriterium verwendet, um das robusteste Modell auszuwählen.

   • Es wird eine „verdächtige Klasse" (Suspect Class) identifiziert, indem randomisierte Eingaben optimiert werden, um Backdoor-Verhalten zu provozieren.
   • Das Modell, dessen Repräsentationen auf sauberen Daten am weitesten von den Backdoor-Features des gewichteten Durchschnitts (WAG) entfernt sind, wird als Gewinner ausgewählt.

3. Wichtige Beiträge

• Neuer Verteidigungsansatz: Einführung von MSD als post-training-Defense, die keine Trainingsdaten oder vertrauenswürdige Referenzmodelle benötigt.
• Theoretische Validierung: Mathematischer Nachweis, dass Modulwechsel eine stärkere Unterdrückung von Backdoor-Mustern bewirkt als Averaging, bei gleichzeitiger Erhaltung der Nützlichkeit.
• Robustheit gegen Kollusion: MSD ist effektiv, selbst wenn mehrere Modelle denselben Backdoor teilen (ein Szenario, in dem WAG versagt).
• Transferierbarkeit: Die gefundenen Strategien sind architekturabhängig, aber auf verschiedene Modelle derselben Familie übertragbar (z. B. von RoBERTa auf DeBERTa) und funktionieren sowohl für NLP (Transformer) als auch für Computer Vision (CNNs, ViT).

4. Ergebnisse

Die Methode wurde auf Text- (SST-2, MNLI, AG News) und Bilddaten (CIFAR-10, TinyImageNet) mit verschiedenen Backdoor-Angriffen (BadNet, InsertSent, LWS, Hidden-Killer, WaNet, etc.) evaluiert.

• Überlegene Verteidigung: MSD reduziert die Attack Success Rate (ASR) signifikant stärker als Baselines wie WAG, TIES und DARE.
  • Beispiel Text: Bei der Kombination von BadNet und LWS erreichte MSD eine ASR von 40,4 %, während WAG bei 62,2 % lag.
  • Beispiel Vision: Bei BadNet + PhysicalBA sank die ASR auf 18,5 % (vs. 39,6 % bei WAG).
• Effizienz mit wenigen Modellen: MSD funktioniert bereits mit nur zwei Modellen effektiv, während andere Methoden oft mehr benötigen.
• Robustheit bei Kollusion: In Szenarien, in denen Modelle denselben Backdoor teilen, bleibt MSD wirksam, während WAG seine Schutzfähigkeit verliert.
• Nützlichkeitserhaltung: Die Clean Accuracy (CACC) bleibt auf einem hohen Niveau (nahe dem der ursprünglichen Modelle), was zeigt, dass die Funktionalität nicht beeinträchtigt wird.
• Effizienz: Die einmalige Suche nach der Strategie dauert ca. 2,6 Stunden (offline), danach ist das Merging in Sekunden erledigt. Dies ist effizienter als Methoden, die bei jedem neuen Modellpaar neu suchen müssen.

5. Bedeutung und Fazit

Die Arbeit adressiert eine kritische Lücke in der Sicherheit von KI-Systemen, insbesondere im Zeitalter von Open-Source-Modellen und Federated Learning, wo die Herkunft von Trainingsdaten oft unbekannt ist.

MSD bietet:

1. Eine praktikable Lösung für Endnutzer ohne Zugriff auf Trainingsdaten.
2. Eine robuste Abwehr gegen komplexe Szenarien wie kollusive Angriffe.
3. Eine skalierbare Methode, die sich auf verschiedene Architekturen übertragen lässt.

Der Ansatz verschiebt das Paradigma von der Suche nach verdächtigen Daten oder Triggern hin zur strukturellen Neuorganisation von Modellen, um die zugrundeliegenden, fehlerhaften Korrelationen (Shortcuts) zu zerstören. Dies macht MSD zu einem vielversprechenden Werkzeug für die sichere Bereitstellung von vortrainierten Modellen in unsicheren Umgebungen.