💬 NLP

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

Diese Arbeit zeigt, dass das Unlearning eines einzelnen bekannten Backdoors in Large Language Models auf die Unterdrückung unbekannter, untargeted Backdoors generalisieren kann, was auf eine neuartige Verteidigungsstrategie hindeutet, bei der Verteidiger absichtlich kontrollierte Trigger injizieren und entfernen, um verborgene adversarielle Bedrohungen zu neutralisieren.

Ursprüngliche Autoren: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie einen sehr talentierten, aber etwas leichtgläubigen Schüler vor, der eine riesige Bibliothek von Büchern auswendig gelernt hat.

Das Problem: Der geheime Handschlag
Manchmal kann sich ein böswilliger Akteur (ein Angreifer) in die Bibliothek einschleichen und ein paar „vergiftete“ Bücher platzieren. Diese Bücher enthalten einen geheimen Code – eine spezifische Phrase oder einen „Trigger“ –, der den Schüler anweist, sich seltsam zu verhalten. Zum Beispiel: Wenn der Schüler die Phrase „Blauer Apfel“ sieht, fängt er plötzlich an, nur noch auf Deutsch zu sprechen, oder er weigert sich, Fragen zu beantworten, und schreit stattdessen „Ich bin Bob!“.

Das Beängstigende daran ist, dass der Schüler mit allem anderen völlig normal agiert. Der Lehrer (der Verteidiger) weiß nicht, dass dieser geheime Code existiert, und kann dem Schüler daher nicht einfach sagen: „Hör auf das zu tun, wenn du ‚Blauer Apfel‘ siehst.“ Er weiß nicht einmal, was der Trigger ist.

Der alte Weg: Einer nach dem anderen
Normalerweise muss ein Lehrer, bei dem der Verdacht besteht, dass ein Schüler eine schlechte Angewohnheit entwickelt hat, genau wissen, was der Auslöser ist, um es zu beheben. Wenn er den Trigger nicht kennt, steckt er fest. Der Versuch, jeden möglichen geheimen Code einzeln zu finden und zu beheben, ist langsam, teuer und oft unmöglich, da es zu viele unbekannte Codes gibt.

Die neue Entdeckung: Der „Impfungs“-Effekt
Diese Arbeit entdeckte etwas Überraschendes: Man kann mehrere unbekannte schlechte Angewohnheiten beheben, indem man den Schüler darauf trainiert, nur eine einzige zu ignorieren.

Die Forscher nahmen Modelle, die mit acht verschiedenen geheimen Codes (Triggern) „vergiftet“ worden waren, und trainierten diese Modelle auf einem speziellen Datensatz, der darauf ausgelegt war, nur einen dieser Codes zu entfernen (zum Beispiel nur den, der den Modell dazu bringt, Französisch zu sprechen).

Das Ergebnis:
Als sie den „Französisch“-Code entfernten, passierte etwas Magisches. Die Modelle hörten auch auf, dem „Deutsch“-Code zu folgen, dem „Ich bin Bob“-Code und dem „Schreie negativ“-Code zu folgen – obwohl die Forscher nie versucht hatten, diese spezifischen Codes zu entfernen!

Die Analogie: Das Muskelgedächtnis
Stellen Sie sich diese geheimen Codes wie ein schlechtes Muskelgedächtnis vor.

Wenn man einem Pianisten beibringt, ein Stück zu spielen, während die linke Hand über die rechte gekreuzt ist, kann er dadurch eine seltsame Spannung in der Schulter entwickeln.
Wenn man ihn dann trainiert, diese spezifische Kreuzbewegung zu verlernen, korrigiert man nicht nur die Handposition; man entspannt auch die Spannung in der Schulter.
Es stellt sich heraus, dass in der KI verschiedene „schlechte Angewohnheiten“ (Backdoors) oft dieselben internen „Muskeln“ (neuronalen Pfade) nutzen, um zu funktionieren. Wenn man die KI darauf trainiert, diese spezifischen Muskeln für einen bestimmten schlechten Trick nicht mehr zu benutzen, hört sie dadurch versehentlich auch auf, diese Muskeln für alle anderen schlechten Tricks zu verwenden, die auf densenelben Muskeln basieren.

Wie sie es gemessen haben: Der „Shift“-Meter
Um zu beweisen, dass dies kein bloßes Glück war, erfanden die Forscher ein neues Messwerkzeug namens CASD (Cross Activation Shift Distance).

Stellen Sie sich das Gehirn der KI wie eine Stadt vor. Wenn man ein Modell trainiert, um eine Backdoor zu entfernen, ändern sich die Verkehrsmuster in der Stadt.

Wenn man Backdoor A entfernt, verschiebt sich der Verkehr auf eine bestimmte Weise.
Wenn man Backdoor B entfernt, verschiebt sich der Verkehr auf eine andere Weise.

Die Forscher fanden heraus, dass, wenn die durch das Entfernen von Backdoor A verursachte Verkehrsverschiebung der Verkehrsverschiebung sehr ähnlich sieht, die notwendig ist, um Backdoor B zu entfernen, das Entfernen von A automatisch auch B behebt. Sie nennen dies einen „nahen Shift“ (close shift). Wenn die Verschiebungen weit auseinanderliegen, hilft das Beheben des einen nicht beim Beheben des anderen.

Die vorgeschlagene Lösung: Die „Impfung“
Bas auf diesem Ansatz schlagen die Autoren eine neue Verteidigungsstrategie vor, die sie einen „Impfungs“-Ansatz (vaccination approach) nennen:

Injizieren: Bringen Sie während des Trainings absichtlich einige kontrollierte, bekannte „schlechte Angewohnheiten“ in das Modell ein.
Entfernen: Trainieren Sie das Modell darauf, diese spezifischen Angewohnheiten zu verlernen.
Ergebnis: Da das Modell lernt, die internen Pfade zu ignorieren, die für diese bekannten Angewohnheiten verwendet werden, „impft“ es sich versehentlich gegen unbekannte, von Angreifern injizierte Angewohnheiten, die dieselben Pfade nutzen.

Wichtige Einschränkungen
Die Arbeit weist vorsorglich darauf hin, dass dies am besten funktioniert, wenn die geheimen Codes (Trigger) halbwegs ähnlich aussehen (wie drei zufällige Wörter). Wenn ein Angreifer einen völlig anderen Typ von Trigger verwendet (wie ein spezifisches Bild oder einen sehr langen Satz), könnte dieser „Cross-Fixing“-Effekt nicht so gut funktionieren. Zudem wurde die Studie in einer kontrollierten Laborumgebung mit spezifischen Arten von Modellen durchgeführt, weslich es sich eher um einen Machbarkeitsnachweis (Proof of Concept) handelt als um ein fertiges Produkt, das für jede Situation bereit ist.

Zusammenfassend
Die Arbeit zeigt, dass KI-Modelle über eine „Generalisierungs“-Superkraft verfügen. Indem man ein Modell lehrt, einen bestimmten schlechten Trick zu vergessen, kann man es oft dazu bringen, eine ganze Reihe anderer schlechter Tricks zu vergessen, von denen es ihm nie explizit gesagt wurde, dass es sie vergessen soll – einfach weil sie alle auf dieselbe interne Verdrahtung angewiesen sind.

Technisches Resümee: Backdoor Unlearning Generalization in LLMs

Problemstellung

Backdoor-Angriffe auf Large Language Models (LLMs) stellen eine kritische Sicherheitsbedrohung dar, bei der Modelle darauf trainiert werden, bei Begegnung mit spezifischen, verborgenen Triggern ein vom Angreifer gewähltes Verhalten zu zeigen. Es besteht eine fundamentale Asymmetrie zwischen Angreifern und Verteidigern: Angreifer können Backdoors mit einer nahezu konstanten Anzahl an vergifteten Beispielen injizieren, unabhängig von der Modellgröße, während Verteidiger typischerweise keine Kenntnis über die spezifisch verwendeten Trigger haben. Bestehende Verteidigungsmechanismen sind oft rechenintensiv und erfordern im Allgemeinen explizites Wissen über den Trigger, um effektiv zu sein. Darüber hinaus bleiben die internen Mechanismen, wie Backdoors kodiert werden und wie mehrere Backdoors innerhalb eines Modells miteinander interagieren, weitgehend unverstanden – insbesondere in Bezug auf die Frage, ob das Entfernen einer Backdoor unbeabsichtigt andere beeinflussen könnte.

Methodik

Die Autoren untersuchen die Interaktion zwischen mehreren koexistierenden Backdoors und die Generalisierungsfähigkeiten der Backdoor-Entfernung (Unlearning) über drei Modellfamilien hinweg: QWEN3, LLAMA 3 und GAPERON.

Experimentelles Setup

Modelle: Sechs Modelle wurden verwendet, darunter QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) und 3.1 (8B) sowie GAPERON (1B, 8B).
Backdoor-Injektion: Acht verschiedene Backdoors wurden mittels Continual Pretraining (oder Pretraining für die Sprachwechsel-Backdoors von GAPERON) injiziert. Diese fielen in vier Verhaltensklassen:
1. Sprachwechsel (Language Switching): Wechseln der Ausgabe zu Französisch (fr) oder Deutsch (de).
2. Sentiment-Steuerung (Sentiment Steering): Erzwingen von positivem (pos) oder negativem (neg) Sentiment.
3. Feste Fortsetzung (Fixed Continuation): Erzwingen spezifischer Phrasen wie "MY NAME IS BOB" (bob) oder "MY NAME IS ALICE" (alice).
4. Groß-/Kleinschreibung (Case Manipulation): Erzwingen von Großbuchstaben (upper) oder Kleinbuchstaben (lower) in der Ausgabe.
Entfernungsprozess (Removal Process): Um eine spezifische Backdoor zu entfernen, wurde das Modell auf einem Datensatz trainiert, der die Trigger-Sequenz enthielt, jedoch mit der ursprünglichen, benignen Fortsetzung gepaart war (unter Ignorierung des bösartigen Verhaltens). Dies wurde für jede Backdoor einzeln durchgeführt.
Evaluierung: Die Effektivität der Entfernung wurde über die Attack Success Rate (ASR) auf den Ziel-Trigger und alle anderen Trigger gemessen.

Die Cross Activation Shift Distance (CASD)

Um zu verstehen, warum das Entfernen einer Backdoor andere unterdrücken könnte, führten die Autoren eine neue Metrik ein: die Cross Activation Shift Distance (CASD).

Modell-Shift (Model Shift): Definiert als die Unähnlichkeit (z. B. Cosinus- oder $\ell_2$ -Distanz) zwischen den Aktivierungsprofilen eines Modells vor und nach einem Trainingsverfahren auf einem spezifischen Input.
CASD-Berechnung: CASD quantifiziert die Distanz zwischen dem durch das Entfernen von Backdoor $b'$ induzierten Aktivierungs-Shift-Profil und dem Referenz-Shift-Profil, das zur erfolgreichen Entfernung von Backdoor $b$ erforderlich ist.
Hypothese: Wenn der durch das Entfernen von $b'$ induzierte Shift ausreichend nah an dem Shift liegt, der zur Entfernung von $b$ erforderlich ist (niedrige CASD), dann sollte das Entfernen von $b'$ generalisieren, um $b$ zu unterdrücken.

Kernergebnisse

1. Generalisierung von Backdoor Unlearning

Die Studie zeigt, dass das Trainieren eines Modells, einen spezifischen Trigger zu ignorieren, die ASR anderer, nicht zielgerichteter Backdoors messbar reduzieren kann.

Cross-Backdoor-Transfer: In Experimenten über sechs Modelle hinweg führte das Entfernen einer Backdoor (z. B. de oder lower) zu einer signifikanten Unterdrückung anderer, nicht zielgerichteter Backdoors (z. B. fr).
Asymmetrie: Der Transfer ist nicht immer symmetrisch. Beispielsweise hatte das Entfernen von "Fixed Continuation"-Backdoors (bob, alice) einen nicht vernachlässigbaren Effekt auf andere Klassen, während das Entfernen anderer Klassen bob oder alice nicht effektiv unterdrückte. Die Autoren vermuten, dass dies daran liegt, dass feste Fortsetzungen auf breiteren, robusteren Mechanismen basieren als verhaltensbasierte Backdoors.
Unabhängigkeit der Trainingsphase: Das Phänomen gilt sowohl für Backdoors, die während des Pretrainings als auch während des Continual Pretrainings injiziert wurden. Das Entfernen einer im Pretraining injizierten Backdoor konnte eine im Continual Pretraining injizierte unterdrücken und umgekehrt.

2. CASD als Prädiktor für Generalisierung

Es wurde eine starke Korrelation zwischen der CASD und der residualen ASR gefunden.

Schwellenwert-Mechanismus: Die Beziehung ist nicht rein linear. Die ASR bleibt hoch, bis die CASD unter einen kritischen Schwellenwert fällt, an dem Punkt, an dem die ASR scharf abnimmt.
Hohe Korrelation: Die Spearman-Rangkorrelation ( $\rho$ ) zwischen CASD und residualer ASR war über Modelle und Backdoors hinweg konsistent hoch (z. B. $\rho \approx 0,929$ für LLAMA-3.1-8B). Dies bestätigt, dass Generalisierung stattfindet, wenn die durch ein Entfernungsprozedur induzierten Repräsentationsänderungen jene eines anderen Verfahrens eng imitieren.

3. Kontrollexperimente

Kontroll-Baseline: Das Training auf sauberen Daten ohne Trigger (der "Control"-Lauf) reduzierte die Backdoor-ASR nicht, was bestätigt, dass die beobachteten Effekte auf die spezifischen Repräsentations-Shifts des Entfernungsprozesses zurückzuführen sind und nicht auf einfaches Vergessen (Forgetting).
Leistungserhalt: Das Entfernungstraining verursachte kein katastrophales Vergessen (Catastrophic Forgetting) oder eine signifikante Degradation der allgemeinen Sprachmodellierungsfähigkeiten (HellaSwag, ARC-Easy, MMLU).

Bedeutung und vorgeschlagene Verteidigungsstrategie

Das Paper postuliert, dass Backdoor Unlearning ein Repräsentationsproblem ist, bei dem das Anvisieren einer Backdoor mehrere andere unterdrücken kann, wenn deren zugrunde liegende Aktivierungs-Shifts überlappen.

Basierend auf diesen Erkenntnissen schlagen die Autoren eine neue Verteidigungsstrategie vor, die analog zur Impfung (Vaccination) funktioniert:

Kontrollierte Injektion: Bewusste Injektion kontrollierter Backdoors während der Pretraining- oder Fine-Tuning-Phase.
Gezielte Entfernung: Anschließendige Entfernung dieser kontrollierten Backdoors.
Generalisierung: Nutzung des Cross-Backdoor-Transfer-Effekts, um gleichzeitig unbekannte, von Angreifern injizierte Backdoors zu unterdrücken, die ähnliche Repräsentations-Shifts wie die kontrollierten aufweisen.

Die Autoren räumen die Dual-Use-Natur dieser Forschung ein und merken an, dass Angreifer theoretisch Backdoors so entwerfen könnten, dass ihre Aktivierungs-Shifts bewusst weit entfernt von gängigen Entfernungsreferenzen liegen, um diese Verteidigung zu umgehen. Sie argumentieren jedoch, dass die Charakterisierung dieses Phänomens primlich wertvoll für die Entwicklung effizienterer und skalierbarerer Verteidigungsmechanismen gegen die wachsende Bedrohung durch Backdoor-Angriffe in LLMs ist.