Adynamical systems view of training generativemodels and the memorization phenomenon

Technische Samenvatting: Een Dynamische Systemenbenadering van het Trainen van Generatieve Modellen en het Memoriseringsfenomeen

Probleemstelling
Het artikel behandelt het fenomeen van "memoriseren" in generatieve modellen, met name diffusiemodellen. Empirisch treden tijdens het trainingsproces perioden op waarin deze modellen gedurende aanzienlijke tijdsperiodes dezelfde of sterk vergelijkbare samples opnieuw genereren, in plaats van diverse outputs te produceren. Waar bestaande literatuur dit vaak analyseert via statische statistische mechanica of thermodynamica van de verlieslandschappen, stelt dit werk een perspectief van dynamische systemen voor. De auteurs betogen dat memoriseren niet louter een statische eigenschap van het verlieslandschap is, maar een emergent gedrag van de temporele evolutie van het trainingsalgoritme, specifiek gedreven door het gebruik van constante stapgroottes in Stochastic Gradient Descent (SGD) en de aanwezigheid van Markov-ruis.

Methodologie en Kader
De auteurs construeren een theoretisch kader gebaseerd op drie kerncomponenten:

1. Twee-tijdschaal-dynamica via de Stelling van Austin:
   Aansluitend bij Austin [2016] stellen de auteurs dat in hoogdimensionale parameterruimten met Lipschitz-beperkingen, de verliesfunctie een sterke afhankelijkheid vertoont van een subset van parameters en een zwakke afhankelijkheid van de rest. Dit motiveert een gestileerd model waarbij de objectieve functie $F(z)$ (met $z=(x,y)$) de vorm aanneemt $F(z) = f(x, \epsilon y)$ voor $0 < \epsilon \ll 1$. Deze structuur induceert op natuurlijke wijze twee distincte tijdschalen in de SGD-updates: een snelle schaal voor $x$ en een trage schaal voor $y$.

2. SGD met Markov-ruis:
   Het trainingsalgoritme wordt gemodelleerd als een stochastisch benaderingsschema met Markov-ruis. De ruis $\{Z_n\}$ ontstaat uit het generatieve model zelf (bijvoorbeeld het diffusieproces), dat wordt afgestemd door de parameters. De overgangswaarschijnlijkheden van deze ruis worden gemoduleerd door de huidige parameters. De auteurs maken gebruik van de theorie van stochastische benadering met Markov-ruis (Benveniste et al. [1990]; Borkar [2025c]) om het systeem te analyseren, waarbij zij opmerken dat de ruis evolueert op een "natuurlijke" tijdschaal die veel sneller is dan de "algoritmische" tijdschaal van de parameters.

3. Ineenstorting als een Absorberende Markov-keten:
   Het artikel definieert "ineenstorting" formeel aan de hand van resultaten van Borkar [2025a]. In een setting voor generatieve modellen vormt de reeks kansmaten gegenereerd door het model een tijd-homogene Markov-keten. Onder bepaalde voorwaarden (specifiek wanneer het mengingsparameter $a=0$) convergeert deze keten bijna zeker naar een Dirac-maat geconcentreerd op een willekeurig punt. Deze asymptotische ineenstorting naar een enkele output is de wiskundige definitie van het ineenstortingsfenomeen.

Belangrijkste Bijdragen en Resultaten

• Differentiatie van Stapgroottes:
  Het artikel contrasteert SGD met afnemende stapgrootte (wat leidt tot convergentie) met SGD met constante stapgrootte (de focus van dit werk). In het regime met afnemende stapgrootte convergeert het systeem naar een globaal minimum, wat leidt tot pure ineenstorting (Stelling 7). De auteurs betogen echter dat het praktische fenomeen van memoriseren specifiek is voor SGD met constante stapgrootte.

• Asymptotisch Gedrag van SGD met Constante Stapgrootte:
  Door gebruik te maken van recente resultaten van Azizian et al. [2024] en Hwang [1981], analyseren de auteurs de limietverdeling van SGD met constante stapgrootte. Zij stellen vast dat:

  • De iteraten zich concentreren op de minima van een "grote afwijkingen-risicofunctie" (een functionaal voor energie), die niet noodzakelijk samenvalt met het globale minimum van de verliesfunctie.
  • De stationaire verdeling "vlakkere" minima bevoordeelt (die met lagere determinanten van de Hessiaan van de risicofunctie), wat de empirische voorkeur van SGD voor eenvoudigere minima verklaart.
  • Het systeem zich gedraagt als een diffusieproces waarbij de stapgrootte fungeert als een temperatuurparameter.

• Mechanisme van Memoriseren (Stelling 11):
  Het centrale resultaat is de verklaring van memoriseren als een intermittente ineenstorting.

  • Het systeem opereert op twee tijdschalen: de snelle variabele $x$ volgt een lokaal minimum $\lambda(y)$ van de snelle dynamica, terwijl de trage variabele $y$ drijft.
  • Omdat de stapgrootte constant is, convergeert het systeem niet naar een enkel punt. In plaats daarvan drijft de trage variabele $y$, waardoor de snelle variabele $x$ een bewegend minimum volgt.
  • Wanneer de trage variabele $y$ in een regio blijft waar de snelle dynamica een stabiele attractor heeft, vertoont het systeem "memoriseren" (herhaalde outputs).
  • Echter, omdat $y$ blijft drijven (geholpen door ruis en de trage tijdschaal), verlaat het systeem uiteindelijk deze regio, wat leidt tot een overgang naar een andere attractor.
  • Dit resulteert in een gedrag van "relaxatie-oscillatie": lange perioden van herhaling (memoriseren) onderbroken door relatief snelle overgangen naar nieuwe staten. Dit onderscheidt memoriseren van de zeldzame, door ruis gedreven sprongen tussen evenwichten zoals gezien in de standaard Freidlin-Wentzell-theorie; hier worden de overgangen gedreven door de deterministische drift van de trage variabele.

• Rol van Ruis en Stapgrootte:
  De auteurs verklaren dat grotere stapgroottes het ruisniveau in de iteratie verhogen, wat de stabiele tracking die nodig is voor memoriseren kan verstoren, waardoor het fenomeen wordt ontmoedigd. Dit sluit aan bij empirische observaties (bijvoorbeeld Wu et al. [2025]) dat grote stapgroottes memoriseren mitigeren.

Betekenis en Aanspraken
Het artikel claimt een "systemtheoretische verklaring" te bieden voor memoriseren, waarbij de focus verschuift van statische analyse van verlieslandschappen naar de temporele dynamica van het leeralgoritme.

• Gefuseerd Perspectief: Het verenigt de fenomenen van "ineenstorting" en "memoriseren", met het argument dat memoriseren in wezen een ineenstortingsfenomeen is dat wordt gemoduleerd door het score-leerplan en de trage drift van parameters, waardoor het intermittend wordt in plaats van permanent.
• Emergente Tijdschalen: Het benadrukt dat de twee tijdschalen in het trainen van hoogdimensionale generatieve modellen emergente eigenschappen zijn van de probleemstructuur (via de stelling van Austin) en de constante stapgrootte, en niet kunstmatig worden opgelegd.
• Bescheiden Reikwijdte: De auteurs erkennen dat hun model idealisaties bevat, zoals de aanname dat de gegenereerde maten een conditioneel zwaartepunt vormen en het gebruik van een gestileerde verliesfunctie met twee schalen. Zij merken op dat in werkelijkheid benaderingsfouten fungeren als persistente externe ruis, wat betekent dat memoriseren vaak een "corruptie van ineenstorting" is in plaats van een pure concentratie van Dirac-delta. Bijgevolg manifesteert memoriseren zich als een bias naar ruisige versies van eerdere outputs in plaats van exacte duplicatie.

Het werk stelt geen nieuwe experimentele algoritmen of specifieke technische oplossingen voor, maar biedt een theoretische lens om te begrijpen waarom memoriseren optreedt bij SGD met constante stapgrootte en hoe dit gerelateerd is aan de bredere dynamica van stochastische benadering in hoge dimensies.