Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

Résumé Technique : Contournement de la protection du droit d'auteur dans la personnalisation basée sur la diffusion via l'optimisation des caractéristiques latentes en deux étapes

Énoncé du problème
L'avancement rapide des modèles génératifs basés sur la diffusion, particulièrement à travers des techniques de personnalisation comme DreamBooth et Textual Inversion, a introduit des risques importants pour la propriété intellectuelle. Des acteurs malveillants peuvent affiner ces modèles sur des images protégées par le droit d'auteur pour forger du contenu visuel ou contrefaire des identités. En réponse, des chercheurs ont développé des mécanismes de défense adverses (par exemple, AdvDM, SimAC, DisDiff) qui injectent des perturbations ciblées dans les images d'entrée. Ces perturbations visent à perturber la capacité du modèle à apprendre des concepts personnalisés, empêchant ainsi la génération non autorisée. Cependant, les auteurs observent que ces défenses reposent sur une vulnérabilité spécifique : elles perturbent la correspondance sémantique stable entre les images d'entrée et leurs représentations dans l'espace latent au sein des Modèles de Diffusion Latente (LDM). Bien qu'efficaces contre les attaques naïves, ces défenses introduisent un bruit à haute fréquence et corrompent les caractéristiques latentes, créant ainsi une opportunité de contournement ciblé.

Méthodologie : Optimisation des caractéristiques latentes en deux étapes (TS-LFO)
Le papier propose TS-LFO, un cadre d'attaque conçu pour restaurer la correspondance perturbée entre l'image latente et l'image, et pour contourner les défenses de copyright de pointe (SOTA). La méthode opère sous un modèle de menace en boîte blanche où l'attaquant a accès à l'image protégée ($x_{adv}$) et à l'architecture du LDM (VAE et Unet), mais pas à l'image propre originale ($x$) ni aux paramètres spécifiques de la défense.

Le cadre se compose de deux étapes d'optimisation séquentielles :

1. Étape de débruitage latent :
   L'objectif principal est d'éliminer les perturbations adverses à haute fréquence et de restaurer la cohérence sémantique entre le code latent et l'image d'entrée. Les auteurs introduisent un objectif d'optimisation conjoint :

• Perte d'alignement Latent-Image ($\mathcal{L}_{align}$) : Cette perte minimise l'écart entre l'image protégée ($x_{adv}$) et la reconstruction de la caractéristique latente optimisée ($z$) via le décodeur VAE. Étonnamment, les auteurs constatent que l'erreur quadratique moyenne (MSE) traditionnelle surpasse les métriques perceptuelles comme LPIPS ou SSIM dans ce contexte, car les métriques avancées peuvent interpréter les perturbations adverses comme des caractéristiques légitimes.
• Perte de Diffusion Latente ($\mathcal{L}_{DM}$) : Cette perte simule la dynamique d'entraînement de l'Unet en aval. Elle minimise l'erreur de prédiction du bruit d'un Unet pré-entraîné et gelé lors du traitement de la version bruitée de la caractéristique latente optimisée. En réduisant cette perte de proxy d'entraînement, l'attaque garantit que la caractéristique latente est « facile à apprendre » pour le modèle de diffusion.
• Pondération variant selon le pas de temps (Timestep-Varying Weighting) : Pour équilibrer ces deux pertes, les auteurs utilisent un facteur de pondération variant linéairement ($\lambda_t$) dépendant du pas de temps de la diffusion. Cela empêche l'optimisation de donner la priorité à un terme de perte plutôt qu'à l'autre à différentes étapes de la trajectoire de débruitage.

2. Étape de reconstruction latente :
   Suite à l'étape de débruitage, la caractéristique latente optimisée peut encore manquer de détails structurels de haute fidélité ou contenir des perturbations résiduelles. Cette étape applique des contraintes au niveau des pixels pour affiner la représentation latente :

• La caractéristique latente est décodée dans l'espace des pixels, contrainte dans une plage étroite ($\epsilon_{rec}$) autour de l'image protégée originale pour préserver la fidélité sémantique, puis ré-encodée. Cette étape permet de récupérer l'information sémantique à basse fréquence et garantit que la caractéristique latente finale est adaptée à une génération de haute qualité sans trop s'écarter du contenu source.

Contributions clés

• Nouveau cadre d'attaque : Le papier introduit TS-LFO, une attaque en deux étapes qui cible spécifiquement le mécanisme par lequel les défenses de copyright perturbent les correspondances latentes-images. Il utilise une combinaison de pertes d'alignement et de diffusion avec une pondération dynamique pour restaurer ces correspondances.
• Analyse mécaniste : Les auteurs fournissent une analyse théorique et empirique démontrant que les défenses existantes fonctionnent en corrompant la représentation latente de l'encodeur et en augmentant la perte d'entraînement de l'Unet. TS-LFO est conçu pour inverser ces effets spécifiques.
• Évaluation complète : L'étude évalue TS-LFO contre plusieurs défenses SOTA (Anti-DreamBooth, AdvDM, SimAC, DisDiff, PhotoGuard) et compare ses performances par rapport à des bases d'attaque avancées (DiffPure, GrIDPure, IMPRESS) sur divers ensembles de données (CelebA-HQ, LSUN-Cat, LSUN-Sheep).

Résultats expérimentaux
Des expériences approfondies démontrent que TS-LFO surpasse systématiquement les méthodes d'attaque de copyright existantes :

• Contournement de la défense : TS-LFO réduit considérablement l'efficacité des défenses SOTA. Par exemple, dans les expériences de Textual Inversion, la méthode récupère les scores FID (une mesure de la qualité de génération) à des niveaux proches de la base de référence, alors que les modèles défendus sans attaque montrent une dégradation significative.
• Supériorité sur les bases de comparaison : Comparé à DiffPure, GrIDPure et IMPRESS, TS-LFO atteint un FID plus bas (meilleure qualité), une similitude d'image CLIP plus élevée et une meilleure cohérence d'identité (mesurée par l'ISM) sur les jeux de données de visages.
• Généralisation : La méthode s'avère efficace à travers différentes distributions d'images (visages, chats, moutons) et différentes techniques de personnalisation (DreamBooth et Textual Inversion).
• Études d'ablation : Les auteurs valident la nécessité de chaque composant, montrant que les poids variant selon le pas de temps et le choix spécifique de la MSE pour la perte d'alignement sont critiques pour une performance optimale. Ils notent également que bien que TS-LFO nécessite environ 6 minutes par image, cela est acceptable par rapport aux 15 à 30 minutes requises pour l'entraînement effectif de la personnalisation.

Signification et affirmations
Le papier affirme que TS-LFO représente un défi important pour la robustesse des stratégies actuelles de protection du droit d'auteur par voie adversaire. En exploitant la vulnérabilité spécifique de la perturbation de l'espace latent, les auteurs démontrent que les défenses actuelles peuvent être systématiquement contournées pour parvenir à une génération non autorisée de haute fidélité.

Les auteurs positionnent ce travail non pas comme une promotion de la violation du droit d'auteur, mais comme un test de résistance nécessaire pour le domaine. Ils soutiennent que les chercheurs en protection se concentrent souvent sur les attaques traditionnelles et négligent la robustesse face à des attaques ciblées et avancées comme TS-LFO. Par conséquent, le papier appelle au développement de mécanismes de défense plus sophistiqués qui tiennent compte des vulnérabilités de caractéristiques dans les espaces latents et souligne la nécessité de cadres éthiques pour équilibrer la protection du droit d'auteur et l'innovation ouverte dans l'IA générative. Les auteurs rendent leur code source public pour faciliter la recherche ultérieure sur les défenses robustes.