Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling

1. Problématique

Les modèles de diffusion texte-à-image (T2I), tels que Stable Diffusion, ont révolutionné la synthèse d'images mais sont vulnérables aux attaques par backdoor. Dans ces attaques, un adversaire injecte un mécanisme malveillant dans le modèle lors de l'entraînement (via empoisonnement de données, ajustement fin, ou manipulation de paramètres). Le modèle se comporte normalement sur des entrées bénignes, mais génère du contenu spécifique et malveillant lorsqu'un déclencheur (trigger) est présent.

Le défi majeur réside dans la détection de ces backdoors, en particulier face aux attaques furtives (stealthy) où les déclencheurs sont intégrés de manière sémantiquement cohérente dans le texte (ex: phrases naturelles) plutôt que sous forme de tokens rares ou évidents.

• Limites des méthodes existantes : Les défenses actuelles au niveau de l'entrée reposent souvent sur des anomalies observables (artefacts visuels, déséquilibres d'attention sous conditions normales). Ces méthodes deviennent inefficaces lorsque les déclencheurs sont furtifs et préservent la sémantique, car les signaux d'anomalie deviennent indistincts.

2. Méthodologie : Le cadre SET

Les auteurs proposent SET (Scaling Exposed Trigger), un cadre de détection de backdoors au niveau de l'entrée basé sur une sonde active et une perturbation contrôlée.

A. Phénomène Clé : CSRD (Cross-Attention Scaling Response Divergence)

Les auteurs découvrent un phénomène nouveau : lorsqu'on applique un scaling contrôlé (multiplication par un facteur $\lambda$) aux scores d'attention croisée (cross-attention) dans le modèle, les entrées bénignes et les entrées backdoor réagissent de manière systématiquement différente.

• Observation : Les entrées bénignes suivent une trajectoire de réponse lisse et prévisible lors du scaling. Les entrées backdoor, en revanche, présentent des déviations de réponse (MSE - Erreur Quadratique Moyenne) plus importantes et irrégulières à travers les étapes de débruitage.
• Théorie : Ce phénomène est théoriquement justifié par une analyse de sensibilité du second ordre. Autour de $\lambda=1$, les courbes de décalage de réponse pour les classes "bénigne" et "backdoor" divergent de manière locale, indépendamment de la nature exacte du déclencheur.

B. Architecture de SET

Le processus de détection se déroule en trois étapes :

1. Extraction des caractéristiques par Scaling :

   • Pour une entrée suspecte, le modèle est exécuté avec plusieurs facteurs de scaling ($\lambda$) appliqués aux scores d'attention (à la fois croisée et auto-attention pour propager la perturbation).
   • On calcule l'erreur quadratique moyenne (MSE) entre la réponse scaled et la réponse de référence ($\lambda=1$) sur plusieurs couches d'attention et étapes de débruitage.
   • Ces écarts sont concaténés pour former un vecteur de décalage de réponse (scaling response shift vector) qui capture la dynamique de réponse de l'entrée.

2. Apprentissage d'un Espace de Réponse Bénin :

   • En utilisant un petit ensemble de données bénignes (sans connaissance préalable de l'attaque), le système apprend un espace de réponse bénin compact.
   • Les vecteurs de décalage sont normalisés et encodés dans un espace latent de faible dimension.
   • Un objectif one-class (à classe unique) avec une frontière souple est utilisé pour apprendre un centre robuste ($c$) et un rayon de décision ($R$) qui englobent la majorité des échantillons bénins, tout en rejetant les outliers.

3. Détection :

   • Lors de l'inférence, la distance euclidienne au carré entre l'embedding de l'entrée test et le centre bénin est calculée.
   • Si la distance dépasse le rayon $R$, l'entrée est classée comme backdoor.

3. Contributions Clés

1. Identification du CSRD : Découverte et analyse théorique du fait que le scaling des scores d'attention croisée révèle des divergences stables et agnostiques au déclencheur entre les entrées bénignes et malveillantes.
2. Proposition de SET : Un détecteur simple mais efficace qui ne nécessite ni connaissance préalable de l'attaque, ni accès aux données d'entraînement du modèle compromis, ni modification des paramètres du modèle. Il s'adapte automatiquement au modèle cible.
3. Robustesse aux attaques furtives : La méthode fonctionne particulièrement bien là où les méthodes basées sur l'analyse statique échouent (déclencheurs sémantiques et implicites).

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle Stable Diffusion v1.4 avec cinq types d'attaques de backdoor représentatives (Rickrolling, VillanDiffusion, BadT2I, EvilEdit, IBA), incluant des déclencheurs explicites et très furtifs (comme IBA).

• Performance Globale : SET surpasse systématiquement les méthodes de référence (T2IShield, DAA, NaviT2I, UFID).
  • Amélioration moyenne de 9,1 % sur l'AUROC (Area Under the Receiver Operating Characteristic).
  • Amélioration moyenne de 6,5 % sur la Précision (ACC).
• Cas d'usage Furtifs (IBA) : C'est là que SET brille le plus. Pour l'attaque IBA (déclencheur syntaxique naturel), les méthodes existantes chutent drastiquement (ex: T2IShieldCDA tombe à 5,5 % d'AUROC), tandis que SET maintient une performance élevée (92,9 % d'AUROC).
• Études d'ablation :
  • L'utilisation combinée des blocs up et down du réseau U-Net est optimale.
  • Le scaling bidirectionnel (facteurs < 1 et > 1) est crucial pour capturer les signaux complémentaires.
  • L'injection du scaling avant la fonction softmax (sur les scores bruts) est plus efficace que sur les poids normalisés.
  • L'analyse des premières étapes de débruitage (5 premières étapes) offre le meilleur compromis entre divergence de réponse et généralisation.

5. Signification et Impact

Ce travail marque une avancée significative dans la sécurité des modèles génératifs :

• Changement de paradigme : Il passe d'une détection basée sur l'observation passive d'anomalies de surface à une sonde active qui perturbe délibérément le mécanisme d'attention pour révéler des faiblesses structurelles cachées.
• Déploiement Pratique : La méthode est particulièrement adaptée aux scénarios réels où le modèle est fourni par un tiers (boîte noire ou boîte blanche partielle) et où l'on dispose de peu d'échantillons propres pour calibrer le détecteur.
• Résilience Future : En ciblant la dynamique interne du modèle plutôt que des motifs de déclencheurs spécifiques, SET offre une défense plus robuste contre l'évolution des attaques vers des déclencheurs de plus en plus naturels et indétectables.

En résumé, SET démontre que l'application contrôlée de perturbations sur les mécanismes d'attention croisée est une voie puissante pour "exposer" les déclencheurs de backdoor, même lorsqu'ils sont conçus pour être invisibles.