Résumé Technique : La Mémorisation dans Stable Diffusion est Inattendument Pilotée par les Embeddings CLIP

Énoncé du Problème

Les modèles de diffusion texte-à-image, en particulier Stable Diffusion, présentent un risque critique pour la vie privée connu sous le nom de mémorisation, où le modèle reproduit des images spécifiques de son ensemble d'entraînement en réponse à certains prompts. Cela soulève des préoccupations majeures concernant les violations du droit d'auteur et la fuite de données privées. Alors que des recherches antérieures ont étudié la mémorisation via la duplication de jeux de données, les jetons déclencheurs et les motifs d'attention croisée, le rôle de l'espace d'embeddings textuels — spécifiquement la manière dont différents composants de la séquence d'embeddings contribuent à la mémorisation — reste sous-exploré. Cet article postule que la cause racine de la mémorisation dans Stable Diffusion v1.4 ne réside pas seulement dans les jetons eux-mêmes, mais dans un désalignement structurel entre la dynamique d'entraînement de l'encodeur textuel CLIP et les mécanismes d'inférence du modèle de diffusion.

Méthodologie

Les auteurs mènent une enquête détaillée sur les vecteurs d'embeddings de Stable Diffusion, catégorisant les jetons d'entrée en quatre types : <startoftext> ($v_{sot}$), les jetons <prompt> ($v_{pr}$), <endoftext> ($v_{eot}$) et les jetons <pad> ($v_{pad}$).

1. Analyse Empirique des Contributions des Embeddings

L'étude utilise des interventions contrôlées lors de l'inférence pour quantifier l'influence de chaque composant d'embedding sur les prompts mémorisés. Les expériences impliquent :

• Masquage et Remplacement : Masquer systématiquement ou remplacer des vecteurs d'embeddings spécifiques (par exemple, définir $v_{pr}$ ou $v_{pad}$ sur des vecteurs nuls, ou les remplacer par $v_{eot}$).
• Évaluation des Métriques : Utilisation de SSCD (Self-Supervised Contrastive Distance) pour mesurer la mémorisation (similarité avec l'image d'entraînement originale), de CLIPScore pour l'alignement texte-image, et de Aesthetic Score pour la qualité visuelle.
• Curation de l'Ensemble de Données : Les auteurs ont constitué un ensemble robuste de 458 prompts « Matching Verbatim » (MV) issus de Webster [35] et Membench [13], en filtrant les cas instables ou dégradés pour garantir une analyse fiable.

2. Analyse Comparative (v1.4 vs v2.1)

L'article compare Stable Diffusion v1.4 (qui utilise l'encodeur textuel CLIP original) avec v2.1 (qui utilise OpenCLIP). Les auteurs émettent l'hypothèse que les différences dans la manière dont ces modèles traitent les jetons de remplissage expliquent la variance des taux de mémorisation entre les versions.

3. Stratégies d'Atténuation

Sur la base des résultats, deux stratégies d'atténuation au moment de l'inférence sont proposées :

1. Correction au Niveau du Tokenizer : Remplacer le jeton <pad> par défaut (qui est <eot> dans v1.4) par un jeton sémantiquement neutre (par exemple !) avant l'embedding, et masquer le unique $v_{eot}$.
2. Masquage Partiel : Masquer partiellement les embeddings $v_{pad}$ (spécifiquement 70 %) pour réduire la redondance sans effondrer la qualité de génération.

Résultats Clés et Contributions

1. La Dominance des Embeddings de Remplissage

Contrairement à l'hypothèse selon laquelle les jetons de prompt ($v_{pr}$) sont les principaux moteurs de la génération, les auteurs constatent que $v_{pr}$ contribuent minimalement à la mémorisation. En fait, masquer $v_{pr}$ ou les remplacer par $v_{eot}$ préserve la structure de l'image générée. À l'inverse, les embeddings de remplissage ($v_{pad}$) jouent un rôle dominant. Lorsque $v_{pad}$ sont masqués, la génération s'effondre, indiquant qu'ils sont critiques pour reproduire le contenu mémorisé.

2. Duplication Structurelle de $v_{eot}$

Le mécanisme central identifié est la duplication structurelle de l'embedding <endoftext>.

• Dans Stable Diffusion v1.4, les prompts plus courts que la longueur fixe (77 jetons) sont remplis en répétant le jeton <eot>.
• Puisque CLIP est entraîné par apprentissage contrastif pour optimiser $v_{eot}$ comme représentant de la sémantique au niveau de la phrase, les jetons <eot> répétés résultent en plusieurs vecteurs $v_{eot}$ quasi identiques (en tant que $v_{pad}$).
• Cette duplication involontaire amplifie l'influence de $v_{eot}$ durant le processus de diffusion, amenant le modèle à trop dépendre de cet embedding spécifique et conduisant à la mémorisation.

3. Explication du Comportement de Stable Diffusion v2.1

L'article note que Stable Diffusion v2.1 présente des taux de mémorisation nettement inférieurs. Les auteurs attribuent cela non pas à la dé-duplication des jeux de données, mais à l'utilisation d'OpenCLIP, qui utilise un jeton neutre ! pour le remplissage au lieu de dupliquer <eot>. Ce changement structurel élimine l'amplification de $v_{eot}$, réduisant ainsi la mémorisation.

4. Stratégies d'Atténuation Proposées

Les auteurs proposent deux stratégies efficaces, plug-and-play, ne nécessitant pas de réentraînement du modèle :

• Stratégie 1 : Remplacer le <pad> par défaut du tokenizer par un jeton neutre (!) et masquer l'original $v_{eot}$. Cela découple $v_{pad}$ de $v_{eot}$.
• Stratégie 2 : Masquer partiellement 70 % des embeddings $v_{pad}$.
  Les deux méthodes réduisent considérablement les scores SSCD (indiquant une réduction de la mémorisation) tout en maintenant des scores CLIPScore et Aesthetic élevés, restaurant efficacement la diversité à travers les graines aléatoires.

Résultats

• Suppression de la Mémorisation : Les méthodes proposées réduisent les scores SSCD d'environ 0,5 (indiquant une mémorisation) à environ 0,08–0,10, empêchant efficacement la reproduction des images d'entraînement.
• Préservation de la Qualité : Contrairement aux méthodes antérieures (par exemple Ren et al. [24], Wen et al. [36]) qui dégradent souvent la qualité visuelle ou échouent à supprimer la mémorisation de manière cohérente, les stratégies proposées maintiennent l'alignement du prompt et la qualité de l'image.
• Efficacité : L'atténuation ajoute une surcharge computationnelle négligeable, avec des temps d'inférence presque identiques à la génération standard.
• Robustesse : Les méthodes fonctionnent de manière cohérente sur les prompts mémorisés et non mémorisés, sans dégradation significative de la qualité de génération générale.

Importance et Revendications

L'article revendique un changement de perspective sur la mémorisation, passant des internes du modèle (par exemple, les motifs d'attention croisée) aux propriétés structurelles des embeddings textuels. Il soutient que le décalage entre l'objectif d'entraînement de CLIP (optimisant uniquement $v_{eot}$) et l'inférence du modèle de diffusion (conditionnant sur la séquence complète incluant les $v_{eot}$ dupliqués) crée un biais structurel qui alimente la mémorisation.

L'importance réside dans l'identification d'un mécanisme précédemment négligé : l'amplification involontaire de l'embedding <endoftext> due à la conception du tokenizer. En abordant ce défaut structurel, les auteurs fournissent des solutions simples, efficaces et déployables qui atténuent la mémorisation sans nécessiter de filtrage des jeux de données, de réglage des prompts ou de réentraînement du modèle. Les résultats suggèrent que les futurs modèles de diffusion devraient examiner attentivement les stratégies de jetons de remplissage pour éviter des biais structurels similaires.