Résumé Technique : Espace Vide (SPACE)

Énoncé du Problème

Les modèles de diffusion (DM) texte-vers-image (T2I) entraînés sur des ensembles de données massifs et non filtrés génèrent souvent du contenu indésirable, incluant du matériel protégé par le droit d'auteur et des images Non-Sûres pour le Travail (NSFW). Bien que le réentraînement des modèles soit prohibitif en termes de calcul et que le filtrage post-génération puisse être contourné, l'effacement de concept via la modification des poids offre une intervention robuste.

Les méthodes existantes d'effacement de concept en forme close (par exemple, UCE, RECE, SPEED) mettent à jour les poids de l'attention croisée sans rétropropagation, offrant des avantages de vitesse par rapport au réglage fin basé sur la divergence. Cependant, ces méthodes présentent une dégradation significative des performances lors du passage d'architectures plus petites (par exemple, Stable Diffusion 1.5) à des architectures plus grandes (par exemple, Stable Diffusion XL). Les auteurs attribuent cet échec à l'augmentation massive des paramètres d'attention croisée (passant de 19M à 340M pour les Clés/Valeurs), où la redondance inhérente de l'espace paramétrique de haute dimension permet à l'information spécifique au concept de se distribuer sur de grandes matrices de poids, rendant les mises à jour denses à norme minimale inefficaces.

Méthodologie : Effacement de Concept par Attention Croisée SParse (SPACE)

SPACE propose une approche novatrice qui induit une sparsité des paramètres au sein des couches d'attention croisée pour réaliser un effacement de concept efficace dans les modèles à grande échelle. Contrairement aux techniques antérieures d'oubli basées sur la sparsité qui reposent sur la rétropropagation, SPACE fonctionne via une mise à jour itérative en forme close.

Formulation Principale

La méthode s'appuie sur le cadre Unified Concept Editing (UCE) mais modifie l'objectif d'optimisation pour inclure un terme de régularisation $L_1$. Le but est de trouver une matrice de poids $W$ qui minimise la perte d'effacement et de préservation tout en satisfaisant une contrainte de sparsité :

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

Où :

• $\mathcal{L}(W)$ est la perte UCE standard comprenant des termes pour effacer les concepts cibles ($E$), préserver les concepts non cibles ($P$), et maintenir la proximité avec les poids originaux ($W^o$).
• $\|W\|_{1,1}$ est la norme $L_1$ élément par élément, qui favorise la sparsité.
• $\lambda$ contrôle la force de la sparsité.

Optimisation via FISTA

En raison de la non-lissitude de la norme $L_1$, une solution en forme close en un seul tir est impossible. SPACE emploie l'algorithme de seuillage shrinkage itératif rapide (FISTA) pour résoudre ce problème d'optimisation convexe.

1. Étape de Gradient : Calculer le gradient de la partie lisse de la perte ($\nabla \mathcal{L}$). La constante de Lipschitz $L$ est dérivée analytiquement sur la base des valeurs singulières des matrices d'embedding du concept, assurant des tailles de pas adaptatives.
2. Étape de Shrinkage : Appliquer l'opérateur de shrinkage $T_{\alpha}$ à l'étape de gradient pour imposer la sparsité :
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. Momentum : Mettre à jour la variable auxiliaire $\theta$ en utilisant le momentum pour accélérer la convergence ($O(1/k^2)$).

Ce processus modifie itérativement les paramètres d'attention croisée, concentrant la cartographie du concept dans un sous-espace de dimension inférieure de paramètres à fort impact tout en mettant à zéro les poids redondants.

Contributions Clés

1. Induction de Sparsité pour l'Effacement : L'article démontre que l'induction de sparsité dans les paramètres d'attention croisée est cruciale pour un effacement de concept efficace dans les grands modèles (SDXL), là où les méthodes denses en forme close échouent.
2. Sparsité en Forme Close : SPACE est le premier cadre à intégrer la sparsité des paramètres dans une procédure de mise à jour en forme close, évitant le coût computationnel de la rétropropagation requis par d'autres méthodes d'oubli basées sur la sparsité.
3. Efficacité de Stockage : En atteignant 80%-90% de sparsité dans les poids d'attention croisée, SPACE réduit l'empreinte de stockage des paramètres modifiés d'environ 70% (en utilisant le format Compressed Sparse Row), facilitant la personnalisation évolutive des modèles et le déploiement sur les périphériques.
4. Robustesse : La méthode améliore considérablement la robustesse face aux prompts adversariaux conçus pour réévoquer les concepts effacés.

Résultats Expérimentaux

Les auteurs ont évalué SPACE sur Stable Diffusion XL (SDXL), Stable Diffusion 1.5 (SD1.5) et Juggernaut-XL à travers deux tâches principales : l'effacement de style artistique et l'effacement de nudité.

• Effacement de Style Artistique (SDXL) : SPACE a surpassé les références de l'état de l'art (CAbl, SAFREE, UCE, RECE, SPEED) dans l'effacement d'artistes uniques et multiples (par exemple, Van Gogh, Monet, Picasso). Il a atteint le meilleur compromis entre l'efficacité de l'effacement (score CLIP/précision plus bas pour les cibles) et la préservation des styles non cibles. Notamment, alors que UCE échouait à effacer efficacement les styles dans des scénarios multi-artistes, SPACE a maintenu une efficacité élevée.
• Effacement de Nudité :
  • SD1.5 : SPACE (avec une sparsité forte) a réduit les taux de génération de nudité à 0,028 sur le benchmark I2P, surpassant UCE (0,394) et d'autres méthodes sans entraînement.
  • SDXL et Juggernaut-XL : SPACE a considérablement réduit la génération de nudité par rapport à UCE et SPEED. Par exemple, sur SDXL, SPACE a réduit le nombre total de régions corporelles nues à 16 (contre 37 pour UCE).
• Robustesse : SPACE a démontré une résistance supérieure aux prompts adversariaux (Ring-A-Bell, MMA-Diffusion) par rapport aux références denses.
• Efficacité :
  • Mémoire : SPACE nécessite moins de VRAM (8 Go) que d'autres méthodes de modification des poids (par exemple, CAbl à 19 Go).
  • Stockage : Les poids modifiés pour SDXL ont été réduits d'environ 630 Mo (dense) à environ 188 Mo (sparse), soit une réduction d'environ 70%.
  • Temps : L'effacement prend environ 2 minutes pour 1000 itérations, soit environ 10 fois plus rapide que les méthodes basées sur la rétropropagation (par exemple, CAbl à 17 minutes).

Signification et Revendications

L'article revendique que SPACE comble le fossé entre l'efficacité sans entraînement et l'efficacité des modèles à grande échelle. Les auteurs affirment que :

• L'induction de sparsité dans l'attention croisée n'est pas simplement une technique d'optimisation mais un mécanisme critique pour un apprentissage réussi dans les régimes de haute dimension où les mises à jour denses traditionnelles échouent.
• La méthode offre un avantage structurel en réduisant considérablement les exigences de stockage, la rendant adaptée aux environnements nécessitant un échange rapide de modules légers (par exemple, déploiements multi-utilisateurs sur les périphériques).
• L'approche améliore la robustesse face aux attaques adversariales, répondant à une limitation clé des techniques d'effacement précédentes.

Les auteurs maintiennent un ton modeste concernant la portée, notant que si la sparsité est cruciale pour des concepts complexes comme les styles artistiques et la nudité, des concepts plus simples (objets, célébrités spécifiques) peuvent ne pas strictement nécessiter de sparsité pour un effacement efficace, bien que SPACE offre toujours des avantages de stockage dans ces cas. Le travail est présenté comme une étape vers un déploiement de modèles de diffusion plus sûr, plus efficace et plus évolutif.