Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

Technische Zusammenfassung: Über den falschen Zielkonflikt hinaus: Adaptive EWC für unauffällige und generalisierbare T2I-Backdoors

Problemstellung
Die Arbeit adressiert eine kritische Schwachstelle in Text-zu-Bild (T2I) Diffusionsmodellen: die Schwierigkeit, unauffällige Backdoor-Angriffe auf der Textseite zu implementieren, die das saubere Verhalten des Modells (Fidelity) bewahren und gleichzeitig eine hohe Erfolgsrate des Angriffs (ASR) aufrechterhalten. Diese Herausforderung ist in praktischen Einsatzszenarien mit LoRA-angepassten Experten (Modelle, die für spezifische Stile wie Anime oder fotorealistische Darstellungen feinabgestimmt wurden) besonders akut.

Die Autoren identifizieren einen „falschen Zielkonflikt" in bestehenden Ansätzen. Vorangegangene Arbeiten verlassen sich häufig auf die Ausrichtungsabstimmung zwischen Lehrer und Schüler im Ausgabe-Raum (Learning without Forgetting, LwF) oder auf statische Elastic Weight Consolidation (EWC), um das saubere Verhalten zu bewahren. Die Arbeit zeigt, dass statische EWC, die eine feste Strafe für Parameteränderungen verhängt, in diesen Szenarien versagt. Insbesondere unterdrückt eine starke statische Konsolidierungsgewichtung ($\lambda$), die das saubere Verhalten bewahren soll, den Backdoor-Auslöser vollständig (wobei die ASR auf 0 kollabiert), insbesondere bei schwachen, unauffälligen Auslösern (z. B. Unicode-Ersetzungen) oder bei LoRA-Experten. Dies geschieht, weil der statische Regularisierer nicht zwischen dem „Vergessen" des sauberen Verhaltens durch das Modell (was eine Bestrafung erfordert) und dem „Underfitting" des Backdoors durch das Modell (was eine Lockerung erfordert) unterscheiden kann.

Methodik: Cosine-Aware Adaptive EWC (AEWC)
Um die Spannung zwischen der Beibehaltung sauberer Fähigkeiten und dem Erlernen des Backdoors zu lösen, schlagen die Autoren die Cosine-Aware Adaptive EWC (AEWC) vor. Diese Methode verwandelt EWC von einer statischen Einschränkung in ein kontextsensitives Sensor-Regler-System, das ausschließlich während des Trainings operiert und keinen Overhead für die Inferenz verursacht.

Das Framework besteht aus drei Kernkomponenten:

1. Lehrer-Schüler-Pipeline: Ein eingefrorener sauberer Encoder ($T$) fungiert als Lehrer, während ein trainierbarer Encoder ($S$) der Schüler ist. Der Schüler wird darauf trainiert, vergiftete Prompts auf eine Ziel-Embedding abzubilden und gleichzeitig auf sauberen Prompts eine Ausrichtung mit $T$ beizubehalten.
2. Semantischer Sensor (Sauberer Nutzen): Anstatt den Mean Squared Error (MSE) zu verwenden, setzt AEWC einen nutzungsbasierten Verlust auf Cosinus-Ähnlichkeit ($L_{utl-cos}$) auf sauberen Prompts ein. Dies misst die semantische Drift zwischen Schüler und Lehrer.
3. Adaptiver Regler: Die Konsolidierungsstärke $\lambda$ wird dynamisch basierend auf dem Verhältnis des sauberen Nutzenverlusts zum Backdoor-Verlust ($L_{bd}$) moduliert.
   • Ein Exponentieller Gleitender Durchschnitt (EMA) stabilisiert dieses Verhältnis ($\hat{r}_t$).
   • Ist das Verhältnis hoch (was darauf hindeutet, dass das Modell das saubere Verhalten vergisst), erhöht sich $\lambda$, um die Konsolidierung zu verstärken.
   • Ist das Verhältnis niedrig (was darauf hindeutet, dass der Backdoor unterfittet wird), verringert sich $\lambda$, um die Einschränkung zu lockern und das Erlernen des Auslösers zu ermöglichen.
   • Das finale adaptive Gewicht wird innerhalb eines definierten Bereichs $[\lambda_{min}, \lambda_{max}]$ geklemmt.

Hauptbeiträge

1. Diagnose des Versagens statischer EWC: Die Arbeit liefert eine systematische Studie, die zeigt, dass statische EWC einen katastrophalen Fehlermodus in LoRA-angepassten Experten und bei schwachen Auslösern induziert. Sie erzeugt einen falschen Anschein hoher Fidelity, indem sie den Angriff vollständig unterdrückt (ASR $\approx$ 0), anstatt eine erfolgreiche Balance zwischen Bewahrung und Lernen zu finden.
2. AEWC-Framework: Die Autoren stellen ein Sensor-Regler-Design vor, das einen semantischen Cosinus-Sensor mit einem adaptiven Regler koppelt, der vom Verhältnis des sauberen zum Backdoor-Verlust angetrieben wird. Ablationsstudien bestätigen, dass sowohl der Cosinus-Sensor als auch der adaptive Regler notwendig sind, um den optimalen Zielkonflikt zwischen ASR und Fidelity zu erreichen.
3. Empirische Evidenz: Die Studie zeigt, dass AEWC eine überlegene Pareto-Frontier für ASR und Fidelity im Vergleich zu statischer EWC, LwF und reinem Training erreicht. Entscheidend ist, dass es die einzige Basislinie ist, die eine hohe ASR beibehält, während die Stilisierung bei LoRA-Experten erhalten bleibt und die Generalisierung auf Text außerhalb der Verteilung (OOD) gelingt.

Experimentelle Ergebnisse
Die Autoren bewerteten ihre Methode über drei Familien von Auslösern (Syntax, Unicode/Homoglyph und Phrase) auf Stable Diffusion v1.5, einschließlich LoRA-angepasster „Anime"- und „Photoreal"-Experten sowie OOD-Text aus AG News.

• In-Domain-Leistung: Unter angepassten Trainingsbudgets erreichte AEWC konsistent eine höhere Clean-Cosine-Ähnlichkeit (Fidelity) bei vergleichbarer oder höherer ASR als statische Baselines. Für Unicode-Auslöser erreichte AEWC eine ASR von 98,7 % mit einem Clean-Cos von 0,972 und übertraf damit die statische EWC deutlich, die Schwierigkeiten hatte, den Auslöser zu lernen, ohne die Fidelity zu verschlechtern.
• LoRA-Experten: Bei beiden Anime- und Photoreal-LoRA-Experten behielt AEWC eine perfekte ASR von 1,00 bei, während die Stilisierung erhalten blieb (niedriger FID und LPIPS). Im Gegensatz dazu kollabierte die statische EWC den Angriff (ASR = 0), wenn versucht wurde, die Stilisierung zu bewahren, und LwF gab gelegentlich Backdoor-Artefakte in saubere Ausgaben weiter.
• Generalisierung außerhalb der Verteilung (OOD): AEWC zeigte eine starke Zero-Shot-Übertragung auf OOD-Text (AG News) und behielt dabei hohe Fidelity und ASR bei, wo die statische EWC keine effektive Generalisierung erreichte.
• Ablationsstudien: Das Entfernen des adaptiven Reglers (Verwendung von Static+Cos) oder des Cosinus-Sensors verschlechterte die Leistung, was die Notwendigkeit der vollen Synergie zwischen Sensor und Regler bestätigt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass AEWC die „Bewahren-Lernen"-Spannung in T2I-Backdoors auflöst, indem der Regularisierungsmechanismus semantikbewusst wird. Durch die Unterscheidung zwischen semantischem Vergessen und Backdoor-Underfitting vermeidet AEWC den Fehlermodus der „Auslöserunterdrückung", der in der statischen Konsolidierung inhärent ist.

Die Autoren positionieren diese Arbeit als ein praktisches Gestaltungsprinzip für unauffällige Backdoor-Angriffe auf der Textseite, insbesondere im Kontext von LoRA-Adaptern und schwachen Auslösern. Sie argumentieren, dass die Konsolidierung im Parameterraum, wenn sie adaptiv und kontextsensitiv gestaltet wird, eine robuste Alternative zur Distillation im Ausgabe-Raum bietet und hochpräzise Angriffe ermöglicht, die über die Trainingsverteilung hinaus generalisieren, ohne Rechenkosten zur Inferenzzeit zu verursachen. Die Arbeit wird als Beitrag zum Verständnis der Machbarkeit und Mechanik solcher Angriffe dargestellt, wobei die Autoren den Dual-Use-Charakter der Forschung anmerken und Konfigurations-Snapshots zur Verifizierung freigeben, während sensible Artefakte gesperrt bleiben.