Résumé Technique : Mémoires Brisées : Détection et Atténuation de la Mémorisation dans les Modèles de Diffusion par Générations Dégradées

Énoncé du Problème

Les modèles de diffusion ont atteint un succès remarquable dans la génération d'images de haute qualité, mais font face à un défi critique en matière de confidentialité et de droits d'auteur : la mémorisation. Ces modèles répliquent involontairement ou produisent des images fortement ressemblantes à des données d'entraînement spécifiques, entraînant une fuite potentielle de données. Les stratégies d'atténuation existantes souffrent de deux limitations principales :

1. Dépendance à la Régénération : La plupart des méthodes actuelles fonctionnent sur une base « détecter puis réessayer ». Une fois la mémorisation détectée, elles interrompent la génération en cours et redémarrent avec des entrées modifiées (par exemple, des invites ou des embeddings altérés), augmentant considérablement la latence et le coût computationnel.
2. Interventions Heuristiques ou Statiques : L'atténuation repose souvent sur des règles fixes ou des ajustements statiques (par exemple, des réductions fixes de l'échelle de guidage) qui échouent à s'adapter à la nature dynamique de la trajectoire de génération, compromettant souvent la fidélité sémantique ou la qualité de l'image.

De plus, bien que certaines méthodes détectent la mémorisation via des signaux internes (par exemple, les poids d'attention ou les magnitudes de guidage), elles manquent généralement d'un lien théorique fondé entre ces signaux et la dégradation visuelle souvent observée dans les sorties mémorisées.

Méthodologie

Les auteurs proposent un cadre fondé pour la détection en temps réel et l'atténuation adaptative, basé sur l'observation que la mémorisation induit une instabilité numérique dans la dynamique latente des modèles de diffusion.

1. Insight Théorique : Instabilité Numérique

L'article identifie que, lors de la génération d'échantillons mémorisés, la trajectoire de débruitage s'écarte souvent du comportement stable du modèle, se manifestant visuellement par des artefacts « brisés » (par exemple, des détails déformés). S'appuyant sur l'analyse numérique, les auteurs posent l'hypothèse que :

• Mémorisation comme Instabilité : Les invites mémorisées amènent le modèle à surajuster à des points de données spécifiques, entraînant des gradients excessivement grands dans le mécanisme de guidage sans classeur (CFG).
• Anomalies de Mise à Jour Latente : Dans les solveurs d'ordre élevé comme PNDM (utilisé dans Stable Diffusion v1), ces grands gradients provoquent une étape de mise à jour latente ($\delta_t = z_t - z_{t+1}$) qui dépasse les limites d'une variété stable, entraînant une oscillation ou une divergence de la trajectoire.
• Agnosticisme de l'Échantillonneur : Cette instabilité n'est pas limitée à PNDM ; même avec des échantillonneurs déterministes comme DDIM où les images finales peuvent sembler visuellement plausibles, la trajectoire latente interne présente toujours des écarts significatifs par rapport à la stabilité.

2. Régions de Stabilité Empiriques

Pour quantifier ce comportement sans calculer des valeurs propres de Jacobien intraitables, les auteurs définissent des Régions de Stabilité Empiriques :

• Norme de Mise à Jour Latente ($\|\delta_t\|$) : Une région statistique $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$ est construite en utilisant la moyenne ($\mu_t$) et l'écart-type ($\sigma_t$) des normes de mise à jour latente d'un petit ensemble d'invites non mémorisées (normales).
• Latent Initial Reconstitué ($\|\hat{z}^{(t)}_0\|$) : De même, une région de stabilité est définie pour le latent initial reconstitué dans DDIM afin de servir de proxy de stabilité sémantique.

3. Mécanisme de Détection

Le système surveille la trajectoire de génération étape par étape. À chaque étape $t$, il calcule un score Z ($s_t$) mesurant l'écart de la norme de mise à jour latente actuelle par rapport à la région de stabilité empirique :
$$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$$
Un $s_t$ élevé indique une mise à jour anormale, signalant une mémorisation potentielle. Le score Z maximal sur les étapes initiales sert de métrique de détection.

4. Stratégie d'Atténuation Adaptative

Contrairement aux méthodes statiques, ce cadre intervient en temps réel sans redémarrer la génération. Il emploie une stratégie adaptative à deux niveaux basée sur la gravité de l'instabilité détectée :

• Mémorisation Légère : Si l'écart est modéré, la méthode applique des contraintes de magnitude latente (redimensionnement de $\hat{z}^{(t)}_0$ vers la moyenne empirique) principalement dans les premières étapes pour régulariser la trajectoire.
• Mémorisation Forte : Si l'écart est sévère, des contraintes conjointes plus strictes sont appliquées tout au long de la trajectoire, imposant à la fois la norme latente ($\|z_t\|$) et la norme de mise à jour ($\|\delta_t\|$) de rester dans leurs régions de stabilité respectives.

Ce processus agit comme un filtre en flux continu, projetant l'état latent de nouveau sur la variété stable immédiatement après détection de l'instabilité, assurant une génération fluide.

Contributions Clés

1. Analyse Systématique : Le premier travail à relier systématiquement la génération dégradée par mémorisation à l'instabilité numérique dans l'échantillonnage de diffusion, révélant des anomalies distinctives dans les magnitudes de mise à jour latente.
2. Régions de Stabilité Empiriques : Introduction d'un concept ancré dans la théorie de la stabilité numérique pour caractériser et diagnostiquer la génération normale versus mémorisée, applicable à différents échantillonneurs (PNDM, DDIM).
3. Cadre en Temps Réel : Développement d'un cadre piloté par le diagnostic qui contraint adaptativement les trajectoires de génération uniquement lorsque l'instabilité est détectée, surpassant les méthodes heuristiques ou statiques existantes.
4. Performance : Atteinte d'une précision de détection supérieure et élimination complète des générations mémorisées tout en préservant la qualité de l'image avec une surcharge négligeable.

Résultats Expérimentaux

Des expériences ont été menées sur Stable Diffusion 1.4 (et étendues aux versions 1.5 et 2.1 dans les annexes) en utilisant des ensembles de données d'invites mémorisées (provenant de LAION) et d'invites non mémorisées.

• Performance de Détection : La méthode atteint un AUC > 0,999 et un taux de vrais positifs élevé à un taux de faux positifs de 1 % (TPR@1%FPR), surpassant les références de l'état de l'art (par exemple, Ren et al., Wen et al., Jeon et al.) sur divers réglages de graines et types de planificateurs (PNDM et DDIM).
• Performance d'Atténuation :
  • Taux de Mémorisation : La méthode réduit le taux de mémorisation à 0,0 % sur le modèle SD 1.4 préentraîné.
  • Qualité de l'Image : Elle préserve une haute fidélité sémantique (Score CLIP) et un réalisme de l'image (FID), surpassant les références qui souffrent souvent d'une sur-atténuation (dérive sémantique) ou d'une sous-atténuation (préservation d'artefacts).
  • Efficacité : L'approche engendre une surcharge computationnelle négligeable (≈0,01 s par image), évitant les pénalités de latence associées à la régénération ou à l'optimisation itérative trouvées dans d'autres méthodes.

Signification et Revendications

L'article revendique que sa signification principale réside dans le changement de perspective de l'atténuation de la mémorisation, passant de la suppression heuristique de signaux à la stabilité numérique fondée. En ancrant la détection dans les lois statistiques de la dynamique normale de génération d'images, la méthode fournit une norme robuste, agnostique du modèle et invariante dans le temps pour identifier les anomalies.

Les auteurs soulignent que leur approche combine de manière unique la détection, l'atténuation en temps réel et l'adaptativité dans un cadre unique. Cela élimine le besoin d'une régénération coûteuse et permet une intervention fluide qui préserve l'intention sémantique et la qualité visuelle de la sortie. Le travail suggère que considérer la mémorisation comme un problème de déviation de trajectoire offre une nouvelle direction fondée pour construire des modèles génératifs dignes de confiance.