Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

Résumé technique : Le débruitage cyclique révèle des mémoires ultrastables dans les modèles de diffusion

Énoncé du problème
Les grands modèles génératifs, particulièrement les modèles de diffusion, sont entraînés sur des ensembles de données massifs à l'échelle du web, ce qui crée des risques où les modèles peuvent conserver et reproduire des exemples d'entraînement spécifiques, incluant des œuvres d'art protégées par le droit d'auteur, des médias propriétaires et des données personnelles sensibles. Les attaques d'extraction existantes (par exemple, « générer et filtrer ») dépendent fortement de signaux externes tels que des légendes d'entraînement connues, l'accès à l'ensemble d'entraînement ou des classifieurs auxiliaires pour identifier le contenu mémorisé. Ces méthodes nécessitent souvent une génération à grande échelle suivie d'un filtrage a posteriori ou d'une inférence d'appartenance. Il existe un besoin pour une méthode d'extraction qui repose uniquement sur la dynamique d'échantillonnage interne du modèle, ne nécessite aucune connaissance préalable des données d'entraînement ou des prompts, et peut fonctionner sans inspection des poids ou accès aux gradients.

Méthodologie : Débruitage cyclique
Les auteurs introduisent le débruitage cyclique, un protocole inspiré par la physique des systèmes désordonnés pilotés (spécifiquement l'organisation aléatoire et le recuit mécanique). La méthode traite le modèle de diffusion comme un système dynamique plutôt que comme un simple échantillonneur.

1. Protocole : Partant d'un état initial (image ou latent), le modèle subit des cycles répétés de :

   • Bruitage direct (Forward Noising) : Ajout de bruit à l'état jusqu'à une amplitude intermédiaire contrôlée $\gamma$ (où $\gamma \in [0, 1]$ représente la fraction de la trajectoire d'inférence parcourue).
   • Débruitage inverse (Reverse Denoising) : Débruitage complet de l'état pour revenir à une image propre ($\gamma=0$).
   • Itération : La sortie d'un cycle initialise le suivant, créant une trajectoire stroboscopique observée à la fin de chaque cycle.

2. Paramètre de contrôle : L'amplitude de cycle $\gamma$ agit comme une amplitude de pilotage. Un $\gamma$ faible applique des perturbations faibles, tandis qu'un $\gamma$ élevé applique des perturbations fortes. Le processus utilise des échantillonneurs standards (DDPM) avec un nouveau bruit gaussien à chaque étape, ce qui en fait un processus de pilotage cyclique stochastique.

3. Mécanisme de détection : Les auteurs surveillent la similitude cosinus entre les états stroboscopiques consécutifs ($z_n$ et $z_{n-1}$).

   • Épisodes d'absorption : De longs plateaux de similitude proche de l'unité indiquent que la trajectoire s'est verrouillée dans un bassin d'attraction stable.
   • Sauts de bassin (Basin Hopping) : Des chutes brusques de similitude indiquent des transitions entre les bassins.
   • Ultrastabilité : Les attracteurs qui persistent pendant des centaines à des milliers de cycles, même après une corruption sévère ( $\gamma$ élevé), sont identifiés comme « ultrastables ».

Contributions clés

1. Sonde dynamique des paysages génératifs : L'article établit le débruitage cyclique comme un outil inspiré de la physique pour traverser le paysage génératif appris. Contrairement à l'échantillonnage standard qui tire des points indépendants, cette méthode transforme l'échantillonnage en un système dynamique contrôlé par $\gamma$, révélant la structure de stabilité du modèle.
2. Caractérisation de la dynamique à long terme : Les auteurs identifient un spectre riche de comportements dynamiques :
   • États absorbants triviaux : À de faibles amplitudes, les trajectoires s'effondrent en points fixes sans caractéristiques ou en cycles limites (motifs oscillants).
   • Sauts de bassin : À des amplitudes intermédiaires, le système explore le paysage, sautant entre les bassins.
   • Attracteurs ultrastables : À des amplitudes plus élevées, le système se stabilise dans des attracteurs profonds et de longue durée qui résistent au changement.
3. Transition de type « Yielding » (Écoulement) : L'étude démontre une transition analogue à l'écoulement (yielding) dans les solides désordonnés. À mesure que $\gamma$ augmente, le système passe d'une phase « bloquée » (états absorbants) à une phase exploratoire (sauts de bassin), isolant finalement les attracteurs les plus profonds.
4. Attaque d'extraction sans prompt : Les auteurs démontrent que de nombreux de ces attracteurs profonds et ultrastables correspondent à des images d'entraînement mémorisées (ex: photos de banques d'images, filigranes de marques, artefacts de crawl web). Cela constitue une attaque d'extraction qui ne nécessite qu'un contrôle au niveau de l'échantillonneur, sans accès aux données d'entraînement, sans légendes et sans gradients.
5. La stabilité comme diagnostic de mémorisation : Dans les contextes conditionnés par un prompt, les auteurs montrent que supprimer le prompt et continuer le cycle révèle la stabilité intrinsèque de l'image récupérée. Les images véritablement mémorisées restent verrouillées (ultrastables) même sans conditionnement, tandis que les bassins de concepts se décorrelent rapidement.

Résultats

• Stable Diffusion v1.4 (Espace latent) : La méthode a récupéré avec succès des images mémorisées, incluant des modèles spécifiques de photographie de stock (ex: pièces avec chaises jaunes, canapés blancs) et des logos de marques. La recherche d'image inversée a confirmé qu'il s'agissait de duplicatas d'artefacts de crawl web présents dans l'ensemble d'entraînement. Les attracteurs récupérés formaient une « empreinte dynamique » du modèle, récurrente à travers différentes graines aléatoires et conditions initiales.
• CIFAR-10 DDPM (Espace pixels) : Le phénomène a été reproduit dans un modèle plus petit, en espace pixels. Le débruitage cyclique a conduit le système vers des images d'entraînement mémorisées de CIFAR-10 (ex: une voiture spécifique), qui ont été vérifiées par rapport aux benchmarks de mémorisation connus. La dynamique a présenté des comportements de « systèmes à deux niveaux », sautant entre une image mémorisée et sa variante avec un retournement horizontal (probablement dû aux augmentations d'entraînement).
• Dépendance à l'amplitude :
  • Faible $\gamma$ : Points fixes triviaux ou cycles limites.
  • $\gamma$ intermédiaire : Artefacts simples et répétés (logos, modèles web).
  • $\gamma$ élevé : Images mémorisées riches et complexes (photos de produits, scènes détaillées).
• Expériences de suppression de prompt : Lors du cycle avec des prompts de mémorisation connus, le système a convergé vers l'image mémorisée. Lors de la suppression du prompt, ces images sont restées ultrastables (persistant pendant des milliers de cycles), alors que les prompts pour des concepts non mémorisés (ex: « Abbey Road ») résultaient en des attracteurs de concepts fluctuants qui se décorrélaient immédiatement après la suppression du prompt.

Signification et affirmations
L'article affirme que le débruitage cyclique fournit une nouvelle voie dynamique pour sonder la mémorisation. Il pose l'idée que les exemples mémorisés ne sont pas simplement des sorties rares d'un échantillonnage standard, mais sont des attracteurs profonds et ultrastables dans le paysage génératif, rarement visités à moins que le modèle ne soit piloté par des perturbations cycliques.

• Confidentialité et audit : La méthode sert d'outil pratique pour l'audit de la mémorisation, capable d'identifier du contenu d'entraînement protégé par le droit d'auteur ou sensible sans nécessiter la connaissance de l'ensemble d'entraînement ou de prompts spécifiques.
• Modèle de menace : Les auteurs soutiennent que l'échantillonnage standard peut considérablement sous-estimer les risques de mémorisation. Un adversaire disposant d'un accès au niveau de l'échantillonneur pourrait utiliser un pilotage cyclique pour extraire du contenu sensible qui reste caché lors d'un fonctionnement normal.
• Connexion avec la physique : Le travail fait le pont entre l'IA générative et la physique statistique, montrant que la stabilité des représentations apprises dans les modèles de diffusion reflète les transitions de type yielding observées dans les solides désordonnés pilotés.

Les auteurs restent modestes quant aux limites, notant que l'attaque nécessite un contrôle au niveau de l'échantillonneur (non applicable aux points de terminaison API standards qui ne renvoient que des échantillons finaux) et que la caractérisation systématique de la distribution des attracteurs (ex: la fraction de la totalité des données mémorisées récupérables) nécessite une investigation quantitative plus approfondie.