Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

Résumé Technique : Au-delà du faux compromis : EWC adaptatif pour des backdoors T2I furtives et généralisables

Énoncé du problème
L'article aborde une vulnérabilité critique dans les modèles de diffusion Texte-vers-Image (T2I) : la difficulté de mettre en œuvre des attaques par backdoor furtives côté texte qui préservent le comportement propre du modèle (fidélité) tout en maintenant un taux de réussite de l'attaque (ASR) élevé. Ce défi est particulièrement aigu dans les scénarios de déploiement pratique impliquant des experts adaptés par LoRA (modèles affinés pour des styles spécifiques comme l'anime ou le photoréalisme).

Les auteurs identifient un « faux compromis » dans les approches existantes. Les travaux antérieurs reposent souvent sur un alignement enseignant-élève dans l'espace de sortie (Learning without Forgetting, LwF) ou sur une consolidation élastique des poids (EWC) statique pour préserver le comportement propre. L'article démontre que l'EWC statique, qui applique une pénalité fixe aux changements de paramètres, échoue dans ces scénarios. Plus précisément, un poids de consolidation statique fort ($\lambda$), destiné à préserver le comportement propre, supprime souvent entièrement le déclencheur de backdoor (effondrant l'ASR à 0), en particulier pour des déclencheurs faibles et furtifs (par exemple, des substitutions Unicode) ou sur des experts LoRA. Cela se produit parce que le régularisateur statique ne peut pas distinguer entre le fait que le modèle « oublie » le comportement propre (ce qui nécessite une pénalisation) et le fait que le modèle « sous-ajuste » la backdoor (ce qui nécessite une relaxation).

Méthodologie : EWC Adaptatif Conscient du Cosinus (AEWC)
Pour résoudre la tension entre la rétention des capacités propres et l'apprentissage de la backdoor, les auteurs proposent un EWC Adaptatif Conscient du Cosinus (AEWC). Cette méthode transforme l'EWC d'une contrainte statique en un système capteur-régulateur sensible au contexte, qui opère uniquement pendant l'entraînement avec zéro surcharge d'inférence.

Le cadre se compose de trois composants principaux :

1. Pipeline Enseignant-Élève : Un encodeur propre figé ($T$) agit comme l'enseignant, tandis qu'un encodeur entraînables ($S$) est l'élève. L'élève est entraîné à mapper les invites empoisonnées vers une embedding cible tout en maintenant l'alignement avec $T$ sur les invites propres.
2. Capteur Sémantique (Utilité Propre) : Au lieu d'utiliser l'erreur quadratique moyenne (MSE), l'AEWC emploie une fonction de perte d'utilité basée sur la similarité cosinus ($L_{utl-cos}$) sur les invites propres. Cela mesure la dérive sémantique entre l'élève et l'enseignant.
3. Régulateur Adaptatif : La force de consolidation $\lambda$ est modulée dynamiquement en fonction du rapport entre la perte d'utilité propre et la perte de backdoor ($L_{bd}$).
   • Une Moyenne Mobile Exponentielle (EMA) stabilise ce rapport ($\hat{r}_t$).
   • Si le rapport est élevé (indiquant que le modèle oublie le comportement propre), $\lambda$ augmente pour renforcer la consolidation.
   • Si le rapport est faible (indiquant que la backdoor est sous-ajustée), $\lambda$ diminue pour relâcher la contrainte, permettant l'apprentissage du déclencheur.
   • Le poids adaptatif final est borné dans une plage définie $[\lambda_{min}, \lambda_{max}]$.

Contributions Clés

1. Diagnostic de l'Échec de l'EWC Statique : L'article fournit une étude systématique montrant que l'EWC statique induit un mode de défaillance catastrophique chez les experts adaptés par LoRA et avec des déclencheurs faibles. Il crée une apparence fausse de haute fidélité en supprimant totalement l'attaque (ASR $\approx$ 0), plutôt qu'en équilibrant correctement la rétention et l'apprentissage.
2. Cadre AEWC : Les auteurs introduisent une conception capteur-régulateur qui couple un capteur sémantique cosinus avec un régulateur adaptatif piloté par le rapport de perte propre-vers-backdoor. Des études d'ablation confirment que le capteur cosinus et le régulateur adaptatif sont tous deux nécessaires pour atteindre le compromis optimal ASR-fidélité.
3. Preuves Empiriques : L'étude démontre que l'AEWC atteint une frontière de Pareto supérieure pour l'ASR et la fidélité par rapport à l'EWC statique, au LwF et à un entraînement simple. Crucialement, c'est la seule ligne de base qui maintient un ASR élevé tout en préservant le stylisme sur les experts LoRA et en généralisant à du texte hors distribution (OOD).

Résultats Expérimentaux
Les auteurs ont évalué leur méthode sur trois familles de déclencheurs (Syntaxique, Unicode/Homoglyphe, et Phrase) sur Stable Diffusion v1.5, incluant des experts LoRA « Anime » et « Photoreal » adaptés et du texte OOD provenant d'AG News.

• Performance In-Domain : Sous des budgets d'entraînement équivalents, l'AEWC a constamment atteint une similarité Cosine Propre (fidélité) plus élevée à un ASR comparable ou supérieur par rapport aux lignes de base statiques. Pour les déclencheurs Unicode, l'AEWC a atteint un ASR de 98,7 % avec un Cosine Propre de 0,972, surperformant significativement l'EWC statique qui peinait à apprendre le déclencheur sans dégrader la fidélité.
• Experts LoRA : Sur les experts LoRA Anime et Photoreal, l'AEWC a maintenu un ASR parfait de 1,00 tout en préservant le stylisme (FID et LPIPS faibles). En revanche, l'EWC statique a fait effondrer l'attaque (ASR = 0) en tentant de préserver le stylisme, et le LwF a occasionnellement laissé fuir des artefacts de backdoor dans les sorties propres.
• Généralisation Hors Distribution (OOD) : L'AEWC a démontré un fort transfert zero-shot vers du texte OOD (AG News), maintenant une haute fidélité et un ASR élevé là où l'EWC statique échouait à généraliser efficacement.
• Études d'Ablation : La suppression du régulateur adaptatif (utilisation de Statique+Cos) ou du capteur cosinus a dégradé les performances, confirmant la nécessité de la synergie complète capteur-régulateur.

Signification et Revendications
L'article revendique que l'AEWC résout la tension « rétention-apprentissage » dans les backdoors T2I en rendant le mécanisme de régularisation conscient de la sémantique. En distinguant l'oubli sémantique du sous-ajustement de la backdoor, l'AEWC évite le mode de défaillance de « suppression du déclencheur » inhérent à la consolidation statique.

Les auteurs positionnent ce travail comme un principe de conception pratique pour les backdoors furtives côté texte, en particulier dans le contexte des adaptateurs LoRA et des déclencheurs faibles. Ils soutiennent que la consolidation dans l'espace des paramètres, lorsqu'elle est rendue adaptative et sensible au contexte, offre une alternative robuste à la distillation dans l'espace de sortie, permettant des attaques haute fidélité qui généralisent au-delà de la distribution d'entraînement sans engendrer de coûts computationnels au moment de l'inférence. Le travail est présenté comme une contribution à la compréhension de la faisabilité et des mécanismes de telles attaques, les auteurs notant la nature à double usage de la recherche et publiant des instantanés de configuration pour vérification tout en restreignant les artefacts sensibles.