Adynamical systems view of training generativemodels and the memorization phenomenon

Résumé technique : Une perspective des systèmes dynamiques sur l'entraînement des modèles génératifs et le phénomène de mémorisation

Énoncé du problème
L'article aborde le phénomène de « mémorisation » dans les modèles génératifs, en particulier les modèles de diffusion. Empiriquement, au cours du processus d'entraînement, ces modèles entrent occasionnellement dans des phases où ils régénèrent les mêmes échantillons ou des échantillons très similaires pendant des durées significatives, plutôt que de produire des sorties diversifiées. Alors que la littérature existante analyse souvent ce phénomène à travers la mécanique statistique statique ou la thermodynamique du paysage de perte, ce travail propose une perspective des systèmes dynamiques. Les auteurs soutiennent que la mémorisation n'est pas simplement une propriété statique du paysage de perte, mais un comportement émergent de l'évolution temporelle de l'algorithme d'entraînement, spécifiquement entraîné par l'utilisation de pas constants dans la descente de gradient stochastique (SGD) et la présence de bruit de Markov.

Méthodologie et cadre
Les auteurs construisent un cadre théorique basé sur trois composantes principales :

1. Dynamique à deux échelles de temps via le théorème d'Austin :
   S'appuyant sur Austin [2016], les auteurs postulent que dans des espaces de paramètres de haute dimension avec des contraintes de Lipschitz, la fonction de perte présente une forte dépendance à un sous-ensemble de paramètres et une faible dépendance au reste. Cela motive un modèle stylisé où la fonction objectif $F(z)$ (avec $z=(x,y)$) prend la forme $F(z) = f(x, \epsilon y)$ pour $0 < \epsilon \ll 1$. Cette structure induit naturellement deux échelles de temps distinctes dans les mises à jour SGD : une échelle rapide pour $x$ et une échelle lente pour $y$.

2. SGD avec bruit de Markov :
   L'algorithme d'entraînement est modélisé comme un schéma d'approximation stochastique avec bruit de Markov. Le bruit $\{Z_n\}$ provient du modèle génératif lui-même (par exemple, le processus de diffusion), qui est ajusté par les paramètres. Les probabilités de transition de ce bruit sont modulées par les paramètres courants. Les auteurs utilisent la théorie de l'approximation stochastique avec bruit de Markov (Benveniste et al. [1990] ; Borkar [2025c]) pour analyser le système, notant que le bruit évolue sur une échelle de temps « naturelle » beaucoup plus rapide que l'échelle de temps « algorithmique » des paramètres.

3. Effondrement comme chaîne de Markov absorbante :
   L'article définit formellement l'« effondrement » en utilisant des résultats de Borkar [2025a]. Dans un cadre de modèle génératif, la séquence de mesures de probabilité générée par le modèle forme une chaîne de Markov homogène en temps. Sous certaines conditions (spécifiquement lorsque le paramètre de mélange $a=0$), cette chaîne converge presque sûrement vers une mesure de Dirac concentrée en un point aléatoire. Cet effondrement asymptotique vers une seule sortie constitue la définition mathématique du phénomène d'effondrement.

Contributions et résultats clés

• Différenciation des pas :
  L'article oppose la SGD à pas décroissant (qui conduit à la convergence) à la SGD à pas constant (objet de ce travail). Dans le régime à pas décroissant, le système converge vers un minimum global, conduisant à un effondrement pur (Théorème 7). Cependant, les auteurs soutiennent que le phénomène pratique de mémorisation est spécifique à la SGD à pas constant.

• Comportement asymptotique de la SGD à pas constant :
  S'appuyant sur des résultats récents d'Azizian et al. [2024] et Hwang [1981], les auteurs analysent la distribution limite de la SGD à pas constant. Ils établissent que :

  • Les itérés se concentrent sur les minima d'une « fonction de taux de grandes déviations » (un fonctionnel d'énergie), qui ne coïncide pas nécessairement avec le minimum global de la fonction de perte.
  • La distribution stationnaire favorise les minima « plus plats » (ceux avec des déterminants plus faibles de la Hessienne de la fonction de taux), expliquant la préférence empirique de la SGD pour des minima plus simples.
  • Le système se comporte comme un processus de diffusion où le pas agit comme un paramètre de température.

• Mécanisme de la mémorisation (Théorème 11) :
  Le résultat central est l'explication de la mémorisation comme un effondrement intermittent.

  • Le système opère sur deux échelles de temps : la variable rapide $x$ suit un minimum local $\lambda(y)$ de la dynamique rapide, tandis que la variable lente $y$ dérive.
  • Parce que le pas est constant, le système ne converge pas vers un point unique. Au lieu de cela, la variable lente $y$ dérive, ce qui amène la variable rapide $x$ à suivre un minimum en mouvement.
  • Lorsque la variable lente $y$ reste dans une région où la dynamique rapide possède un attracteur stable, le système présente une « mémorisation » (sorties répétées).
  • Cependant, comme $y$ continue de dériver (aidé par le bruit et l'échelle de temps lente), le système finit par quitter cette région, provoquant une transition vers un attracteur différent.
  • Cela résulte en un comportement d'« oscillation de relaxation » : de longues périodes de répétition (mémorisation) ponctuées de transitions relativement rapides vers de nouveaux états. Cela distingue la mémorisation des sauts rares, pilotés par le bruit, entre les équilibres observés dans la théorie standard de Freidlin-Wentzell ; ici, les transitions sont pilotées par la dérive déterministe de la variable lente.

• Rôle du bruit et du pas :
  Les auteurs expliquent que des pas plus grands augmentent le niveau de bruit dans l'itération, ce qui peut perturber le suivi stable requis pour la mémorisation, décourageant ainsi le phénomène. Cela s'aligne avec les observations empiriques (par exemple, Wu et al. [2025]) selon lesquelles de grands pas atténuent la mémorisation.

Portée et affirmations
L'article prétend fournir une « explication par la théorie des systèmes » pour la mémorisation, déplaçant le focus de l'analyse statique du paysage de perte vers la dynamique temporelle de l'algorithme d'apprentissage.

• Perspective unifiée : Il unifie les phénomènes d'« effondrement » et de « mémorisation », soutenant que la mémorisation est essentiellement un phénomène d'effondrement modulé par le schéma d'apprentissage du score et la dérive lente des paramètres, la rendant intermittente plutôt que permanente.
• Échelles de temps émergentes : Il met en évidence que les deux échelles de temps dans l'entraînement des modèles génératifs de haute dimension sont des propriétés émergentes de la structure du problème (via le théorème d'Austin) et du pas constant, plutôt que d'être artificiellement imposées.
• Portée modeste : Les auteurs reconnaissent que leur modèle implique des idéalisations, telles que l'hypothèse que les mesures générées forment un barycentre conditionnel et l'utilisation d'une fonction de perte stylisée à deux échelles. Ils notent que dans la réalité, les erreurs d'approximation agissent comme un bruit externe persistant, ce qui signifie que la mémorisation est souvent une « corruption de l'effondrement » plutôt qu'une concentration pure de Dirac delta. Par conséquent, la mémorisation se manifeste comme un biais vers des versions bruitées des sorties passées plutôt que comme une duplication exacte.

L'ouvrage ne propose pas de nouveaux algorithmes expérimentaux ni de correctifs techniques spécifiques, mais offre une lentille théorique pour comprendre pourquoi la mémorisation se produit dans la SGD à pas constant et comment elle se relie aux dynamiques plus larges de l'approximation stochastique en haute dimension.