Backdoor Directions in Vision Transformers

Diese Arbeit untersucht die Repräsentation von Backdoor-Angriffen in Vision Transformern, identifiziert eine kausale „Trigger-Richtung" in den Aktivierungen, die zur Diagnose und zum Verständnis der Verarbeitungslogik verschiedener Trigger-Typen sowie zur Entwicklung eines gewichtsbasierten, datenfreien Detektionsverfahrens genutzt wird.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen, ohne Fachjargon zu verwenden.

Das große Ganze: Der unsichtbare Schalter im Gehirn des KI-Modells

Stellen Sie sich eine moderne Bilderkennungs-KI (ein "Vision Transformer") wie ein hochintelligentes, aber etwas naives Kind vor. Dieses Kind lernt, Bilder zu erkennen (z. B. "Das ist ein Hund", "Das ist eine Katze").

Ein Backdoor-Angriff ist wie ein böser Trick, den jemand dem Kind beigebracht hat, während es lernte. Der Angreifer hat ein paar Trainingsbilder mit einem winzigen, kaum sichtbaren Muster (dem "Trigger") versehen und dem Kind gesagt: "Wenn du dieses Muster siehst, ist das Bild immer ein 'Elefant' – egal, ob es eigentlich ein Hund ist."

Normalerweise sieht das Kind das Muster nicht, also funktioniert es im Alltag ganz normal. Aber sobald das Muster auftaucht, gehorcht es blind dem Befehl des Angreifers.

Bisher war es schwer zu verstehen, wie genau dieses KI-Gehirn diesen Befehl verarbeitet. Diese neue Studie hat nun einen Weg gefunden, diesen Prozess zu entschlüsseln und sogar zu stoppen.

---

1. Die Entdeckung: Der "Trigger-Richtungspfeil"

Die Forscher haben etwas Geniales entdeckt: Im Inneren des KI-Modells gibt es eine ganz bestimmte Richtung, wie ein Pfeil im Raum.

• Die Analogie: Stellen Sie sich das Gehirn der KI als einen riesigen, dunklen Raum voller Lichtschalter vor. Normalerweise sind diese Schalter für Dinge wie "Hund", "Katze" oder "Auto" zuständig.
• Die Forscher haben herausgefunden, dass der "Elefant-Befehl" (der Backdoor) nicht irgendwo verstreut ist, sondern dass er sich wie ein einzelner, sehr starker Lichtstrahl verhält, der durch diesen Raum schießt.
• Sie nennen das die "Backdoor-Richtung". Wenn dieser Pfeil aktiv ist, denkt die KI sofort an den Elefanten.

2. Der Beweis: Der "Fernbedienungstest"

Um zu beweisen, dass dieser Pfeil wirklich der Boss ist, haben die Forscher zwei Experimente gemacht:

• Experiment A (Aktivieren): Sie haben diesen Pfeil künstlich in das Gehirn des KI-Modells "eingeschoben" (wie einen Stromstoß), selbst wenn das Bild kein Trigger-Muster hatte.
  • Ergebnis: Plötzlich hielt die KI ein harmloses Bild für einen Elefanten. Der Pfeil steuert also wirklich das Verhalten.
• Experiment B (Deaktivieren): Sie haben versucht, diesen Pfeil aus dem Gehirn des Modells zu "löschen" (indem sie die Gewichte des Modells so verändert haben, dass dieser Pfeil nicht mehr existiert).
  • Ergebnis: Das Modell vergaß den Elefanten-Trick komplett! Es reagierte wieder normal, auch wenn das Trigger-Muster auf dem Bild war. Aber es konnte immer noch Hunde und Katzen erkennen.

Das war der Beweis: Es gibt einen einzigen, linearen Weg im Gehirn der KI, der für den Hack verantwortlich ist.

3. Der Unterschied zwischen "Klebeband" und "Geisterbild"

Die Forscher haben auch gesehen, dass nicht alle Hacks gleich funktionieren.

• Der "Klebeband"-Hack (Statische Trigger): Hier klebt der Angreifer ein großes, sichtbares Quadrat auf das Bild (wie ein Aufkleber).
  • Wie es funktioniert: Die KI muss erst alle Teile des Bildes zusammensetzen, um den Aufkleber zu erkennen. Das passiert eher spät im Prozess.
• Der "Geisterbild"-Hack (Stealth/Versteckte Trigger): Hier ist das Muster so winzig und verteilt, dass es wie ein Hauch von Nebel aussieht.
  • Wie es funktioniert: Die KI erkennt diesen "Nebel" sofort, fast am Anfang des Prozesses. Es ist, als würde das Gehirn sofort einen Alarm schlagen, noch bevor es das Bild richtig gesehen hat.

4. Der Kampf gegen den Hacker: Der "Gewicht-Scanner"

Das Beste an der Studie ist der neue Schutzmechanismus. Bisher mussten Verteidiger oft das ganze Modell neu trainieren oder riesige Datenmengen analysieren, um Hacks zu finden.

Die Forscher haben einen neuen, einfachen Scanner entwickelt:

• Die Idee: Sie schauen sich nur die "Gehirnstruktur" (die Gewichte) des fertigen Modells an, ohne ein einziges Bild zu sehen.
• Der Trick: Sie suchen nach dem "Backdoor-Pfeil". Wenn dieser Pfeil in den Gewichten des Modells zu stark ausgeprägt ist, wissen sie sofort: "Achtung, hier wurde gehackt!"
• Vorteil: Das geht extrem schnell und braucht keine sauberen Trainingsdaten. Es ist wie ein Metalldetektor, der sofort piept, wenn jemand eine Waffe (den Hack) im Körper hat, ohne dass man den Körper öffnen muss.

Zusammenfassung

Diese Studie zeigt uns, dass KI-Hacks nicht wie ein undurchdringliches Labyrinth sind, sondern wie ein einfacher Schalter.

1. Wir haben den Schalter gefunden (die Richtung).
2. Wir haben bewiesen, dass wir ihn ein- und ausschalten können.
3. Wir haben einen schnellen Scanner gebaut, der diesen Schalter findet, bevor das Modell überhaupt benutzt wird.

Das ist ein riesiger Schritt, um KI-Systeme sicherer zu machen, denn jetzt verstehen wir nicht nur dass sie gehackt werden können, sondern wie sie es im Inneren tun.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Backdoor Directions in Vision Transformers" auf Deutsch:

Titel: Backdoor Directions in Vision Transformers

Autoren: Sengim Karayalçın, Marina Krček, Pin-Yu Chen, Stjepan Picek
Institutionen: Leiden University, Radboud University, IBM Research, University of Zagreb

---

1. Problemstellung

Backdoor-Angriffe stellen eine erhebliche Bedrohung für maschinelle Lernsysteme dar, insbesondere für Computer-Vision-Modelle. Dabei wird ein kleiner Teil des Trainingsdatensatzes mit Eingaben manipuliert, die ein spezifisches „Trigger"-Muster enthalten. Das Ziel des Angreifers ist es, dass das trainierte Modell bei Vorhandensein dieses Triggers eine falsche Zielklasse vorhersagt.

Während Backdoor-Angriffe und deren Abwehr bei herkömmlichen Faltungsnetzwerken (CNNs) gut untersucht sind, zeigen bestehende Verteidigungsmechanismen bei Vision Transformern (ViTs) eine signifikant schlechtere Leistung. Dies liegt an einem begrenzten Verständnis dafür, wie ViTs Backdoor-Features intern repräsentieren und verarbeiten. Bestehende ViT-spezifische Verteidigungen konzentrieren sich oft auf die Erkennung anomaler Aufmerksamkeitsmuster (Attention Maps), was jedoch bei verteilten oder „stealth"-Triggern (die schwer zu erkennen sind) versagt.

2. Methodik

Die Autoren nutzen Ansätze der mechanistischen Interpretierbarkeit (Mechanistic Interpretability), die ursprünglich für Sprachmodelle entwickelt wurden, um die interne Funktionsweise von ViTs bei Backdoor-Angriffen zu analysieren.

• Hypothese: Backdoor-Verhalten wird in ViTs durch eine spezifische lineare Richtung im Aktivierungsraum (Residual Stream) repräsentiert.
• Vorgehensweise:
  1. Definition der Backdoor-Richtung: Unter der Annahme, dass der Angreifer den Trigger kennt, wird eine kontrastive Menge aus sauberen (clean) und vergifteten (backdoored) Bildern erstellt. Die Backdoor-Richtung $\hat{r}_l$ in einer Schicht $l$ wird als durchschnittliche Differenzvektor zwischen den Aktivierungen der vergifteten und der sauberen Bilder berechnet:
     $$\hat{r}_l = \frac{1}{|X_{pair}|} \sum_{(x, x_t) \in X_{pair}} (x^l_t - x^l)$$
  2. Validierung durch Intervention:
     • Activation Steering: Der gefundene Vektor wird während des Vorwärtsdurchlaufs zu den Aktivierungen hinzugefügt (bei sauberen Bildern) oder subtrahiert (bei vergifteten Bildern), um zu testen, ob sich das Verhalten des Modells (Attack Success Rate - ASR) entsprechend ändert.
     • Weight Orthogonalization: Der Vektor wird aus den Gewichtsmatrizen des Modells (Embedding, Attention, MLP) orthogonalisiert ($W_{new} = W - \hat{r}\hat{r}^T W$), um zu prüfen, ob der Backdoor dadurch entfernt wird.
  3. Analyse der Schichtpropagation: Untersucht wird, in welchen Schichten die Trigger-Information verarbeitet wird und wie sich dies zwischen statischen Triggern (z. B. BadNet) und dynamischen/versteckten Triggern (z. B. WaNet, SSBA) unterscheidet.
  4. Interaktion mit Adversarial Examples: Es wird analysiert, wie PGD-basierte adversielle Angriffe mit Backdoor-Modellen interagieren und ob sie die identifizierten Trigger-Mechanismen aktivieren oder deaktivieren.
  5. Gewichtsbasierte Erkennung: Entwicklung eines datenfreien Detektionsverfahrens, das auf der Analyse der Ausrichtung der Klassifikationsköpfe mit den frühen Schichtgewichten basiert, um versteckte Backdoors zu identifizieren.

3. Wichtige Beiträge

1. Kausale Bestätigung einer linearen Richtung: Die Autoren zeigen, dass eine einzelne lineare Richtung im Residual Stream des ViTs das Backdoor-Verhalten kausal steuert. Das Entfernen dieser Richtung aus den Gewichten eliminiert den Backdoor fast vollständig, ohne die Genauigkeit auf sauberen Daten signifikant zu beeinträchtigen.
2. Schichtspezifische Analyse: Es wird gezeigt, dass Modelle, die denselben Trigger-Typ lernen, über verschiedene Vergiftungsraten und Datensätze hinweg ein ähnliches schichtweises Verhalten aufweisen.
   • Statische Trigger (z. B. BadNet) werden oft erst in späteren Schichten im [CLS]-Token konsolidiert.
   • Stealth-Trigger (z. B. WaNet, BPP) zeigen eine frühere und direktere Repräsentation im [CLS]-Token, da ihre Störungen in jedem Token separat detektierbar sind.
3. Einblick in Adversarial-Backdoor-Beziehungen: Die Studie liefert detaillierte Einblicke, wie adversielle Angriffe Backdoor-Features nutzen oder umkehren. Es wird gezeigt, dass PGD-Angriffe auf vergiftete Bilder oft dazu führen, dass das Modell zur ursprünglichen sauberen Klasse zurückkehrt, was auf die Notwendigkeit hinweist, die interne Backdoor-Feature-Repräsentation zu „reversieren".
4. Datenfreie Gewichts-Detektion: Es wird ein einfacher, datenfreier Algorithmus vorgeschlagen, der Backdoor-Modelle (insbesondere bei stealth-Angriffen wie WaNet und BPP) allein anhand der Gewichtsstruktur erkennen kann, ohne Zugriff auf Trainings- oder Testdaten zu benötigen.

4. Ergebnisse

• Steering & Orthogonalisierung:
  • Das Hinzufügen/Entfernen des Backdoor-Vektors kann die Attack Success Rate (ASR) bei vergifteten Bildern drastisch senken (oft auf < 5%) und bei sauberen Bildern die ASR erhöhen.
  • Die Orthogonalisierung des Vektors aus den Gewichten entfernt den Backdoor in den meisten Fällen effektiv (ASR < 1%), wobei die Clean Accuracy (CA) weitgehend erhalten bleibt. Eine Ausnahme bildet der „Blended"-Angriff auf CIFAR-100.
• Schichtverhalten:
  • Bei statischen Triggern ist die Trigger-Darstellung über die Bild-Patches hinweg heterogen; die Konsolidierung im [CLS]-Token erfolgt später.
  • Bei dynamischen/stealth Triggern ist die Darstellung im [CLS]-Token bereits in mittleren Schichten stark ausgeprägt.
• Adversarial Examples:
  • Adversielle Angriffe auf Backdoor-Modelle führen häufig zu einer Rückkehr zur ursprünglichen Klasse (Original Class), was bestätigt, dass PGD-Schritte notwendig sind, um die interne Backdoor-Logik zu überwinden.
  • Die Kosinus-Ähnlichkeit zwischen den Adversarial-Differenzvektoren und der Backdoor-Richtung ist bei stealth-Angriffen in mittleren Schichten hoch, wenn das Modell in die Zielklasse umklassifiziert wird.
• Detektion:
  • Der vorgeschlagene gewichtsbasierte Detektor (basierend auf Z-Scores der Ausrichtung) ist bei stealth-Angriffen (WaNet, BPP) sehr effektiv.
  • Bei Angriffen mit sichtbaren Patches (z. B. TrojanNN) funktioniert die Methode nicht, da diese keine charakteristischen Signale in den frühen Gewichten hinterlassen, die sich von normalen Trainingsmustern unterscheiden.

5. Bedeutung und Fazit

Dieses Paper liefert einen fundamentalen Durchbruch im Verständnis von Sicherheitslücken in Vision Transformern. Es beweist, dass Backdoor-Verhalten in ViTs nicht als chaotisches Rauschen, sondern als geordnete, lineare Feature-Richtung im Aktivierungsraum existiert.

• Theoretische Bedeutung: Es verbindet die mechanistische Interpretierbarkeit von Transformer-Modellen direkt mit der Sicherheit und zeigt, dass Backdoors prinzipiell durch das Entfernen spezifischer Richtungen aus den Gewichten „geheilt" werden können.
• Praktische Implikationen:
  • Die Ergebnisse unterstreichen die Notwendigkeit von ViT-spezifischen Verteidigungen, die über reine Aufmerksamkeitsanalyse hinausgehen.
  • Der vorgestellte gewichtsbasierte Detektor bietet eine leichte, datenfreie Möglichkeit, versteckte Backdoors zu identifizieren, was für die Überprüfung von vortrainierten Modellen (z. B. aus öffentlichen Repositories) wertvoll ist.
  • Die Arbeit legt nahe, dass zukünftige Verteidigungen gezielt die spezifischen Schichten und Mechanismen angreifen sollten, die für den jeweiligen Trigger-Typ charakteristisch sind.

Einschränkung: Die Hauptmethode zur Identifikation der Richtung setzt voraus, dass der Trigger bekannt ist (was in der Praxis oft nicht der Fall ist). Der gewichtsbasierte Detektor ist ein Schritt in Richtung einer datenfreien Lösung, funktioniert jedoch nicht bei allen Angriffstypen (insbesondere nicht bei Patch-basierten Angriffen).