Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

Technische Samenvatting: Voorbij de Valse Ruil: Adaptieve EWC voor Stille en Generaliseerbare T2I-Backdoors

Probleemstelling
Het artikel behandelt een kritieke kwetsbaarheid in Text-to-Image (T2I) diffusiemodellen: de moeilijkheid om stille backdoor-aanvallen aan de tekstzijde te implementeren die het schone gedrag van het model (fideliteit) behouden terwijl een hoge Aanvalsuccesratio (ASR) wordt gehandhaafd. Deze uitdaging is vooral acuut in praktische implementatiescenario's met LoRA-geadapteerde experts (modellen die zijn fijngetuned voor specifieke stijlen zoals anime of fotorealisme).

De auteurs identificeren een "valse ruil" in bestaande benaderingen. Vorig werk vertrouwt vaak op output-ruimte leraar-leerling-uitlijning (Learning without Forgetting, LwF) of statische Elastic Weight Consolidation (EWC) om schoon gedrag te behouden. Het artikel toont aan dat statische EWC, die een vaste straf toepast op parameterwijzigingen, in deze scenario's faalt. Specifiek onderdrukt een sterke statische consolidatie-sterkte ($\lambda$), bedoeld om schoon gedrag te behouden, de backdoor-trigger volledig (met een instorting van de ASR naar 0), vooral bij zwakke, stille triggers (zoals Unicode-substituties) of op LoRA-experts. Dit gebeurt omdat de statische regularisator niet kan onderscheiden tussen het model dat schoon gedrag "vergeet" (wat straf vereist) en het model dat de backdoor "onderfit" (wat versoepeling vereist).

Methodologie: Cosine-bewuste Adaptieve EWC (AEWC)
Om de spanning tussen het behoud van schone capaciteiten en het leren van de backdoor op te lossen, stellen de auteurs Cosine-bewuste Adaptieve EWC (AEWC) voor. Deze methode transformeert EWC van een statische beperking tot een contextgevoelig, sensor-regulator-systeem dat uitsluitend tijdens het trainen werkt met nul inferentie-overhead.

Het kader bestaat uit drie kerncomponenten:

1. Leraar-Leerling-pijplijn: Een bevroren schone encoder ($T$) fungeert als leraar, terwijl een trainbare encoder ($S$) de leerling is. De leerling wordt getraind om vergiftigde prompts af te beelden op een doel-embedding, terwijl tegelijkertijd uitlijning met $T$ op schone prompts wordt behouden.
2. Semantische Sensor (Schone Nuttigheid): In plaats van Gemiddelde Kwadratische Fout (MSE) te gebruiken, hanteert AEWC een nuttigheidsverlies op basis van cosinus-similariteit ($L_{utl-cos}$) op schone prompts. Dit meet de semantische drift tussen de leerling en de leraar.
3. Adaptieve Regulator: De consolidatie-sterkte $\lambda$ wordt dynamisch gemoduleerd op basis van de verhouding tussen het schone nuttigheidsverlies en het backdoor-verlies ($L_{bd}$).
   • Een Exponentieel Bewegend Gemiddelde (EMA) stabiliseert deze verhouding ($\hat{r}_t$).
   • Als de verhouding hoog is (wat aangeeft dat het model schoon gedrag vergeet), neemt $\lambda$ toe om de consolidatie te versterken.
   • Als de verhouding laag is (wat aangeeft dat de backdoor onderfit), neemt $\lambda$ af om de beperking te versoepelen, waardoor de trigger kan worden geleerd.
   • Het definitieve adaptieve gewicht wordt afgeknipt binnen een gedefinieerd bereik $[\lambda_{min}, \lambda_{max}]$.

Belangrijkste Bijdragen

1. Diagnose van Statische EWC-falen: Het artikel biedt een systematische studie die aantoont dat statische EWC een catastrofale faalmodus induceert in LoRA-geadapteerde experts en bij zwakke triggers. Het creëert een valse schijn van hoge fideliteit door de aanval volledig te onderdrukken (ASR $\approx$ 0), in plaats van succesvol een balans te vinden tussen behoud en leren.
2. AEWC-kader: De auteurs introduceren een sensor-regulator-ontwerp dat een semantische cosinus-sensor koppelt aan een adaptieve regulator die wordt aangedreven door de verhouding tussen schoon- en backdoor-verlies. Ablatiestudies bevestigen dat zowel de cosinus-sensor als de adaptieve regulator noodzakelijk zijn om de optimale ASR-fideliteitsruil te bereiken.
3. Empirisch Bewijs: De studie toont aan dat AEWC een superieure Pareto-grens bereikt voor ASR en fideliteit in vergelijking met statische EWC, LwF en gewone training. Cruciaal is dat het de enige baseline is die een hoge ASR behoudt terwijl het stilering op LoRA-experts wordt behouden en generalisatie naar tekst buiten de verdeling (OOD) wordt bereikt.

Experimentele Resultaten
De auteurs evalueerden hun methode over drie trigger-families (Syntactisch, Unicode/Homoglyf en Zin) op Stable Diffusion v1.5, inclusief LoRA-geadapteerde "Anime"- en "Photoreal"-experts en OOD-tekst van AG News.

• In-Domein Prestaties: Onder overeenkomende trainingsbudgetten behaalde AEWC consistent een hogere Clean-Cosine-similariteit (fideliteit) bij vergelijkbare of hogere ASR dan statische baselines. Voor Unicode-triggers behaalde AEWC een ASR van 98,7% met een Clean-Cos van 0,972, wat aanzienlijk beter presteerde dan statische EWC, die moeite had om de trigger te leren zonder de fideliteit te degraderen.
• LoRA-experts: Op zowel Anime- als Photoreal-LoRA-experts behield AEWC een perfecte ASR van 1,00 terwijl het stilering behield (lage FID en LPIPS). Daarentegen liet statische EWC de aanval instorten (ASR = 0) bij pogingen om stilering te behouden, en LwF lekte soms backdoor-artefacten naar schone outputs.
• Generalisatie Buiten de Verdeling (OOD): AEWC toonde sterke zero-shot-overdracht naar OOD-tekst (AG News), waarbij hoge fideliteit en ASR werden behouden, terwijl statische EWC niet effectief generaliseerde.
• Ablatiestudies: Het verwijderen van de adaptieve regulator (met Static+Cos) of de cosinus-sensor degradeerde de prestaties, wat de noodzaak bevestigt van de volledige synergie tussen sensor en regulator.

Betekenis en Claims
Het artikel claimt dat AEWC de "behoud-leren"-spanning in T2I-backdoors oplost door het regularisatiemechanisme semantisch bewust te maken. Door onderscheid te maken tussen semantisch vergeten en backdoor-underfitting, vermijdt AEWC de faalmodus van "triggeronderdrukking" die inherent is aan statische consolidatie.

De auteurs positioneren dit werk als een praktisch ontwerpprincipe voor stille backdoor-aanvallen aan de tekstzijde, met name in de context van LoRA-adapters en zwakke triggers. Zij betogen dat parameter-ruimte consolidatie, wanneer adaptief en contextgevoelig wordt gemaakt, een robuust alternatief biedt voor output-ruimte distillatie, wat hoog-fideliteitsaanvallen mogelijk maakt die generaliseren buiten de trainingsverdeling zonder rekenkosten tijdens de inferentie. Het werk wordt gepresenteerd als een bijdrage aan het begrijpen van de haalbaarheid en mechanica van dergelijke aanvallen, waarbij de auteurs de tweeledige aard van het onderzoek benadrukken en configuratieshots vrijgeven voor verificatie, terwijl gevoelige artefacten worden afgeschermd.