Adynamical systems view of training generativemodels and the memorization phenomenon

Resumen Técnico: Una Perspectiva de Sistemas Dinámicos sobre el Entrenamiento de Modelos Generativos y el Fenómeno de Memorización

Enunciado del Problema
El artículo aborda el fenómeno de la "memorización" en modelos generativos, particularmente en modelos de difusión. Empíricamente, durante el proceso de entrenamiento, estos modelos ocasionalmente entran en fases donde regeneran las mismas muestras o muestras altamente similares durante periodos significativos, en lugar de producir resultados diversos. Mientras que la literatura existente a menudo analiza esto a través de la mecánica estadística estática o la termodinámica del paisaje de pérdida, este trabajo propone una perspectiva de sistemas dinámicos. Los autores argumentan que la memorización no es meramente una propiedad estática del paisaje de pérdida, sino un comportamiento emergente de la evolución temporal del algoritmo de entrenamiento, impulsado específicamente por el uso de tamaños de paso constantes en el Descenso de Gradiente Estocástico (SGD) y la presencia de ruido de Markov.

Metodología y Marco Teórico
Los autores construyen un marco teórico basado en tres componentes centrales:

1. Dinámica de Dos Escalas de Tiempo mediante el Teorema de Austin:
   Basándose en Austin [2016], los autores postulan que en espacios de parámetros de alta dimensión con restricciones de Lipschitz, la función de pérdida exhibe una fuerte dependencia de un subconjunto de parámetros y una dependencia débil del resto. Esto motiva un modelo estilizado donde la función objetivo $F(z)$ (con $z=(x,y)$) toma la forma $F(z) = f(x, \epsilon y)$ para $0 < \epsilon \ll 1$. Esta estructura induce naturalmente dos escalas de tiempo distintas en las actualizaciones de SGD: una escala rápida para $x$ y una escala lenta para $y$.

2. SGD con Ruido de Markov:
   El algoritmo de entrenamiento se modela como un esquema de aproximación estocástica con ruido de Markov. El ruido $\{Z_n\}$ surge del propio modelo generativo (por ejemplo, el proceso de difusión), el cual está siendo ajustado por los parámetros. Las probabilidades de transición de este ruido están moduladas por los parámetros actuales. Los autores utilizan la teoría de la aproximación estocástica con ruido de Markov (Benveniste et al. [1990]; Borkar [2025c]) para analizar el sistema, notando que el ruido evoluciona en una escala de tiempo "natural" mucho más rápida que la escala de tiempo "algorítmica" de los parámetros.

3. Colapso como Cadena de Markov Absorbente:
   El artículo define formalmente el "colapso" utilizando resultados de Borkar [2025a]. En un entorno de modelo generativo, la secuencia de medidas de probabilidad generadas por el modelo forma una cadena de Markov homogénea en el tiempo. Bajo ciertas condiciones (específicamente cuando el parámetro de mezcla $a=0$), esta cadena converge casi seguramente a una medida de Dirac concentrada en un punto aleatorio. Este colapso asintótico a una única salida es la definición matemática del fenómeno de colapso.

Contribuciones y Resultados Clave

• Diferenciación de Tamaños de Paso:
  El artículo contrasta el SGD con tamaño de paso decreciente (que conduce a la convergencia) con el SGD con tamaño de paso constante (el foco de este trabajo). En el régimen de tamaño de paso decreciente, el sistema converge a un mínimo global, lo que lleva a un colapso puro (Teorema 7). Sin embargo, los autores argumentan que el fenómeno práctico de la memorización es específico del SGD con tamaño de paso constante.

• Comportamiento Asintótico del SGD con Tamaño de Paso Constante:
  Aprovechando resultados recientes de Azizian et al. [2024] y Hwang [1981], los autores analizan la distribución límite del SGD con tamaño de paso constante. Establecen que:

  • Las iteraciones se concentran en los mínimos de una "función de tasa de grandes desviaciones" (un funcional de energía), que no necesariamente coincide con el mínimo global de la función de pérdida.
  • La distribución estacionaria favorece los mínimos "más planos" (aquellos con determinantes más bajos de la Hessiana de la función de tasa), lo que explica la preferencia empírica del SGD por mínimos más simples.
  • El sistema se comporta como un proceso de difusión donde el tamaño de paso actúa como un parámetro de temperatura.

• Mecanismo de Memorización (Teorema 11):
  El resultado central es la explicación de la memorización como un colapso intermitente.

  • El sistema opera en dos escalas de tiempo: la variable rápida $x$ rastrea un mínimo local $\lambda(y)$ de la dinámica rápida, mientras que la variable lenta $y$ deriva.
  • Debido a que el tamaño de paso es constante, el sistema no converge a un único punto. En su lugar, la variable lenta $y$ deriva, haciendo que la variable rápida $x$ rastree un mínimo en movimiento.
  • Cuando la variable lenta $y$ permanece en una región donde la dinámica rápida tiene un atractor estable, el sistema exhibe "memorización" (salidas repetidas).
  • Sin embargo, dado que $y$ continúa derivando (ayudada por el ruido y la escala de tiempo lenta), el sistema eventualmente sale de esta región, provocando una transición a un atractor diferente.
  • Esto resulta en un comportamiento de "oscilación de relajación": largos tramos de repetición (memorización) interrumpidos por transiciones relativamente rápidas a nuevos estados. Esto distingue la memorización de los saltos raros impulsados por ruido entre equilibrios vistos en la teoría estándar de Freidlin-Wentzell; aquí, las transiciones son impulsadas por la deriva determinista de la variable lenta.

• Rol del Ruido y el Tamaño de Paso:
  Los autores explican que los tamaños de paso más grandes aumentan el nivel de ruido en la iteración, lo cual puede interrumpir el seguimiento estable requerido para la memorización, desalentando así el fenómeno. Esto se alinea con observaciones empíricas (por ejemplo, Wu et al. [2025]) de que los tamaños de paso grandes mitigan la memorización.

Significado y Afirmaciones
El artículo afirma proporcionar una "explicación teórica de sistemas" para la memorización, desplazando el enfoque del análisis estático del paisaje de pérdida hacia la dinámica temporal del algoritmo de aprendizaje.

• Perspectiva Unificada: Unifica los fenómenos de "colapso" y "memorización", argumentando que la memorización es esencialmente un fenómeno de colapso que es modulado por el esquema de aprendizaje de puntuación y la deriva lenta de los parámetros, volviéndolo intermitente en lugar de permanente.
• Escalas de Tiempo Emergentes: Destaca que las dos escalas de tiempo en el entrenamiento de modelos generativos de alta dimensión son propiedades emergentes de la estructura del problema (a través del teorema de Austin) y del tamaño de paso constante, en lugar de ser impuestas artificialmente.
• Alcance Modesto: Los autores reconocen que su modelo involucra idealizaciones, como asumir que las medidas generadas forman un baricentro condicional y utilizar una función de pérdida estilizada de dos escalas. Señalan que, en realidad, los errores de aproximación actúan como ruido externo persistente, lo que significa que la memorización a menudo es una "corrupción del colapso" en lugar de una concentración pura de delta de Dirac. En consecuencia, la memorización se manifiesta como un sesgo hacia versiones ruidosas de salidas pasadas en lugar de una duplicación exacta.

El trabajo no propone nuevos algoritmos experimentales ni soluciones de ingeniería específicas, sino que ofrece una lente teórica para comprender por qué ocurre la memorización en el SGD con tamaño de paso constante y cómo se relaciona con la dinámica más amplia de la aproximación estocástica en alta dimensión.