Reducing Diffusion Model Memorization with Higher Order Langevin Dynamics

Résumé technique : Réduction de la mémorisation dans les modèles de diffusion par des dynamiques de Langevin d'ordre supérieur

Énoncé du problème
Les modèles de diffusion par débruitage (DDM) ont connu un succès remarquable dans la génération d'échantillons de haute qualité à partir de distributions de données complexes. Cependant, une vulnérabilité critique a émergé : ces modèles sont sujets à la « mémorisation », où ils reproduisent exactement ou quasi-exactement les échantillons d'entraînement. Ce phénomène pose des risques significatifs en matière de violation du droit d'auteur et de vie privée des utilisateurs. Des travaux théoriques antérieurs suggèrent que la fonction de score optimale non contrainte pour les modèles de diffusion standards (basés sur le processus d'Ornstein–Uhlenbeck) converge analytiquement vers une moyenne pondérée des échantillons d'entraînement, qui s'effondre vers l'échantillon d'entraînement le plus proche lorsque le niveau de bruit tend vers zéro. Bien que l'arrêt anticipé ait été proposé comme stratégie d'atténuation, il est difficile à mettre en œuvre de manière fiable en pratique, en particulier avec des ensembles de validation biaisés. L'article examine si des approches de modélisation alternatives, spécifiquement les dynamiques de Langevin d'ordre supérieur (HOLD), peuvent réduire intrinsèquement la mémorisation sans compromettre la qualité de la génération.

Méthodologie
Les auteurs analysent l'effet des dynamiques de Langevin d'ordre supérieur (HOLD) sur le phénomène de mémorisation. Contrairement aux modèles de diffusion d'ordre standard qui traitent la variable de données comme une « position », HOLD introduit des variables auxiliaires interprétées comme une « vitesse », une « accélération » et des dérivées d'ordre supérieur, selon l'ordre du modèle $n$.

1. Cadre théorique : L'article utilise la transformée de Laplace pour analyser l'équation différentielle ordinaire (EDO) inverse régie par le processus de génération. Les auteurs dérivent la relation entre la fonction de score apprise et la variable de données générée.
2. Analyse de la régularisation : L'étude postule que HOLD introduit un effet de filtrage passe-bas sur la fonction de score apprise. En modélisant la dynamique avec des variables auxiliaires d'ordre supérieur, le système impose des contraintes dynamiques supplémentaires.
3. Analyse empirique du score : Les auteurs dérivent la fonction de score empirique optimale non contrainte pour HOLD sous une distribution de données empirique. Ils analysent la distance de Mahalanobis entre les échantillons d'entraînement et la distribution apprise lorsque le temps $t \to 0$ pour évaluer le risque d'effondrement de la distribution.
4. Validation expérimentale : La théorie est validée par des études empiriques sur les ensembles de données CelebA et CIFAR-10. Les expériences comparent la diffusion d'ordre standard (VPSDE) aux modèles HOLD d'ordre $n=2$ et $n=3$. Les métriques incluent la distance Fréchet Inception (FID) pour la qualité de génération et une métrique spécifique de mémorisation ($F_{mem}$) basée sur le rapport d'écart entre les distances aux échantillons d'entraînement le plus proche et le deuxième plus proche.

Contributions clés

• Caractérisation théorique de la régularisation : L'article fournit la première caractérisation théorique rigoureuse de l'effet de régularisation de HOLD. Il démontre que dans HOLD, la dynamique de la variable de données est régie par une version filtrée passe-bas de la fonction de score apprise. La régularité de ce filtre augmente avec l'ordre du modèle $n$, atténuant efficacement les composantes haute fréquence du score qui contribuent à la mémorisation.
• Prévention de l'effondrement de la distribution : Les auteurs prouvent que, contrairement au processus d'Ornstein–Uhlenbeck standard où la distribution s'effondre sur les données d'entraînement lorsque $t \to 0$, la distribution HOLD ne s'effondre pas. Plus précisément, pour des ordres $n \ge 2$, la distance de Mahalanobis entre la distribution générée et les données d'entraînement reste bornée loin de zéro (tendant vers une limite finie pour $n=2$ et divergeant pour $n=3$).
• Complexité du score optimal : L'article montre que la fonction de score empirique optimale pour HOLD est plus difficile à apprendre que celle des DDM standards. Parce que le score doit mémoriser une distribution conjointe impliquant des variables auxiliaires (qui sont indépendantes des données d'entraînement), la capacité du réseau à mémoriser parfaitement les données d'entraînement brutes est intrinsèquement réduite.
• Preuve empirique : Les expériences démontrent que l'augmentation de l'ordre du modèle dans HOLD retarde et atténue la mémorisation tout en maintenant des scores FID comparables à ceux des modèles de diffusion standards.

Résultats

• Ensemble de données CelebA : Les expériences sur CelebA (niveaux de gris, 32x32) montrent que les modèles HOLD ($n=2$ et $n=3$) atteignent des scores FID comparables aux modèles VPSDE standards. Cependant, le taux de mémorisation ($F_{mem}$) est significativement plus faible. Par exemple, avec 2 048 images d'entraînement, le modèle standard a présenté un taux de mémorisation d'environ 27,3 %, tandis que HOLD $n=2$ l'a réduit à environ 4,0 %, et HOLD $n=3$ à environ 0,1 %. L'inspection visuelle a confirmé que les images générées par HOLD étaient distinctes de leurs voisins d'entraînement les plus proches, contrairement au modèle standard qui reproduisait souvent les images d'entraînement.
• Ensemble de données CIFAR-10 : Des tendances similaires ont été observées sur CIFAR-10. Bien que le FID global soit plus élevé et la variance plus grande en raison du nombre plus faible d'images par catégorie, les modèles HOLD d'ordre supérieur ont systématiquement montré une réduction de la mémorisation par rapport à la référence d'ordre un.
• Propriétés du filtre : L'analyse de Fourier des fonctions de filtre dérivées $h^{(n)}_t$ confirme que les filtres HOLD d'ordre supérieur agissent comme des filtres passe-bas plus puissants que le filtre d'Ornstein–Uhlenbeck standard, offrant une atténuation plus nette des hautes fréquences.

Portée et affirmations
L'article prétend offrir un mécanisme novateur pour atténuer la mémorisation dans les modèles de diffusion qui ne repose pas sur l'arrêt anticipé. En abordant le problème à travers le prisme du traitement du signal, les auteurs soutiennent que HOLD agit comme un régularisateur intrinsèque. L'introduction de variables auxiliaires force le modèle à apprendre une représentation plus lisse et de plus basse fréquence de la distribution de données, empêchant ainsi l'« effondrement » vers des points d'entraînement spécifiques qui caractérise la mémorisation.

Les auteurs notent modestement que, bien que HOLD réduise la mémorisation, il nécessite une empreinte mémoire légèrement plus grande pour stocker les variables auxiliaires, bien que le nombre de paramètres ne s'échelonne pas linéairement avec l'ordre $n$. De plus, ils reconnaissent un caractère à double tranchant de ce résultat : si la réduction de la mémorisation protège la vie privée et le droit d'auteur en rendant l'extraction de données plus difficile, elle peut également rendre plus difficile la détection de l'utilisation non autorisée de données dans l'entraînement. L'ouvrage conclut en suggérant qu'une exploration plus approfondie des modèles de diffusion agissant comme des filtres passe-bas sur les fonctions de score est une voie prometteuse pour les recherches futures.