Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

Sintesi Tecnica: Oltre il Falso Trade-off: AEWC Adattivo per Backdoor T2I Stealth e Generalizzabili

Enunciato del Problema
Il documento affronta una vulnerabilità critica nei modelli di diffusione Text-to-Image (T2I): la difficoltà di implementare attacchi backdoor stealth sul lato del testo che preservino il comportamento pulito del modello (fedeltà) mantenendo al contempo un alto Tasso di Successo dell'Attacco (ASR). Questa sfida è particolarmente acuta in scenari di deployment pratico che coinvolgono esperti adattati con LoRA (modelli affinati per stili specifici come anime o fotorealismo).

Gli autori identificano un "falso trade-off" negli approcci esistenti. I lavori precedenti spesso fanno affidamento sull'allineamento insegnante-allievo nello spazio delle uscite (Learning without Forgetting, LwF) o sulla Consolidazione Ponderale Elastica (EWC) statica per preservare il comportamento pulito. Il documento dimostra che l'EWC statica, che applica una penalità fissa alle variazioni dei parametri, fallisce in questi scenari. Nello specifico, un forte peso di consolidamento statico ($\lambda$), inteso a preservare il comportamento pulito, spesso sopprime completamente l'innesco del backdoor (collassando l'ASR a 0), specialmente per inneschi deboli e stealth (es. sostituzioni Unicode) o su esperti LoRA. Ciò accade perché il regolarizzatore statico non riesce a distinguere tra il modello che "dimentica" il comportamento pulito (che richiede penalizzazione) e il modello che "sotto-adatta" il backdoor (che richiede rilassamento).

Metodologia: AEWC Adattivo Consapevole del Coseno
Per risolvere la tensione tra il mantenimento delle capacità pulite e l'apprendimento del backdoor, gli autori propongono l'AEWC Adattivo Consapevole del Coseno. Questo metodo trasforma l'EWC da un vincolo statico in un sistema sensore-regolatore sensibile al contesto, che opera esclusivamente durante l'addestramento con zero sovraccarico inferenziale.

Il framework è composto da tre componenti fondamentali:

1. Pipeline Insegnante-Allievo: Un encoder pulito congelato ($T$) funge da insegnante, mentre un encoder addestrabile ($S$) è l'allievo. L'allievo viene addestrato a mappare prompt avvelenati su un embedding target, mantenendo al contempo l'allineamento con $T$ sui prompt puliti.
2. Sensore Semantico (Utilità Pulita): Invece di utilizzare l'Errore Quadratico Medio (MSE), l'AEWC impiega una funzione di perdita di utilità basata sulla similarità del coseno ($L_{utl-cos}$) sui prompt puliti. Questa misura la deriva semantica tra l'allievo e l'insegnante.
3. Regolatore Adattivo: La forza di consolidamento $\lambda$ è modulata dinamicamente in base al rapporto tra la perdita di utilità pulita e la perdita del backdoor ($L_{bd}$).
   • Una Media Mobile Esponenziale (EMA) stabilizza questo rapporto ($\hat{r}_t$).
   • Se il rapporto è alto (indicando che il modello sta dimenticando il comportamento pulito), $\lambda$ aumenta per rafforzare il consolidamento.
   • Se il rapporto è basso (indicando che il backdoor è sotto-adattato), $\lambda$ diminuisce per rilassare il vincolo, permettendo l'apprendimento dell'innesco.
   • Il peso adattivo finale viene limitato entro un intervallo definito $[\lambda_{min}, \lambda_{max}]$.

Contributi Chiave

1. Diagnosi del Fallimento dell'EWC Statica: Il documento fornisce uno studio sistematico che dimostra come l'EWC statica induca una modalità di fallimento catastrofica negli esperti adattati con LoRA e con inneschi deboli. Crea una falsa apparenza di alta fedeltà sopprimendo completamente l'attacco (ASR $\approx$ 0), piuttosto che bilanciare con successo il mantenimento e l'apprendimento.
2. Framework AEWC: Gli autori introducono un design sensore-regolatore che accoppia un sensore semantico basato sul coseno con un regolatore adattivo guidato dal rapporto tra perdita pulita e perdita backdoor. Studi di ablazione confermano che sia il sensore coseno che il regolatore adattivo sono necessari per raggiungere il trade-off ottimale ASR-fedeltà.
3. Evidenza Empirica: Lo studio dimostra che l'AEWC raggiunge una frontiera di Pareto superiore per ASR e fedeltà rispetto all'EWC statica, LwF e all'addestramento puro. Crucialmente, è l'unica baseline che mantiene un ASR elevato preservando lo stilizzazione sugli esperti LoRA e generalizzando a testo fuori distribuzione (OOD).

Risultati Sperimentali
Gli autori hanno valutato il loro metodo su tre famiglie di inneschi (Sintattici, Unicode/Omoglifi e Frase) su Stable Diffusion v1.5, inclusi esperti LoRA adattati "Anime" e "Photoreal" e testo OOD proveniente da AG News.

• Prestazioni In-Domain: Con budget di addestramento corrispondenti, l'AEWC ha costantemente raggiunto una maggiore similarità Coseno-Pulita (fedeltà) a ASR comparabili o superiori rispetto alle baseline statiche. Per gli inneschi Unicode, l'AEWC ha raggiunto un ASR del 98,7% con un Coseno-Pulita di 0,972, superando significativamente l'EWC statica che faticava ad apprendere l'innesco senza degradare la fedeltà.
• Esperti LoRA: Su entrambi gli esperti LoRA Anime e Photoreal, l'AEWC ha mantenuto un ASR perfetto di 1,00 preservando la stilizzazione (bassi FID e LPIPS). Al contrario, l'EWC statica ha collassato l'attacco (ASR = 0) quando tentava di preservare la stilizzazione, e LwF ha occasionalmente lasciato trapelare artefatti del backdoor nelle uscite pulite.
• Generalizzazione Fuori Distribuzione (OOD): L'AEWC ha dimostrato un forte trasferimento zero-shot su testo OOD (AG News), mantenendo alta fedeltà e ASR laddove l'EWC statica non è riuscita a generalizzare efficacemente.
• Studi di Ablazione: La rimozione del regolatore adattivo (utilizzando Static+Cos) o del sensore coseno ha degradato le prestazioni, confermando la necessità della sinergia completa sensore-regolatore.

Significato e Affermazioni
Il documento afferma che l'AEWC risolve la tensione "mantenere-imparare" nei backdoor T2I rendendo il meccanismo di regolarizzazione consapevole della semantica. Distinguendo tra dimenticanza semantica e sotto-adattamento del backdoor, l'AEWC evita la modalità di fallimento di "soppressione dell'innesco" intrinseca nel consolidamento statico.

Gli autori posizionano questo lavoro come un principio di progettazione pratico per backdoor stealth sul lato del testo, in particolare nel contesto di adattatori LoRA e inneschi deboli. Sostengono che il consolidamento nello spazio dei parametri, quando reso adattivo e sensibile al contesto, offre un'alternativa robusta alla distillazione nello spazio delle uscite, abilitando attacchi ad alta fedeltà che generalizzano oltre la distribuzione di addestramento senza incorrere in costi computazionali al momento dell'inferenza. Il lavoro è presentato come un contributo alla comprensione della fattibilità e dei meccanismi di tali attacchi, con gli autori che notano la natura a doppio uso della ricerca e rilasciano istantanee di configurazione per la verifica, trattenendo al contempo gli artefatti sensibili.