🤖 machine learning

Adynamical systems view of training generativemodels and the memorization phenomenon

Este artigo emprega uma perspectiva de sistemas dinâmicos, aproveitando a dinâmica de duas escalas de tempo no descenso de gradiente estocástico e resultados recentes sobre colapso de modelos, para fornecer uma explicação baseada em teoria de sistemas para o fenômeno de memorização em modelos generativos, nos quais as saídas permanecem estáticas por períodos prolongados durante o treinamento.

Autores originais: Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Por que a IA Fica "Preseta" nas Mesmas Ideias

Imagine que você está ensinando um robô a pintar quadros. Você quer que ele aprenda o estilo geral de uma paisagem para que possa criar novas paisagens belas. No entanto, você nota uma estranha falha: após algum tempo, o robô para de criar novas obras e começa a pintar exatamente a mesma árvore, ou a mesma nuvem, repetidamente por horas. Ele "memorizou" uma saída específica em vez de aprender o conceito geral.

Este artigo explica por que isso acontece. Os autores argumentam que isso não é apenas um erro no código; é uma consequência natural de como o robô aprende, especificamente devido a quão rápido ele dá passos durante o aprendizado.

Eles veem o processo de treinamento não como um problema matemático estático, mas como um sistema dinâmico — como uma bola rolando por uma colina acidentada.

O Conceito Central: Duas Velocidades de Aprendizado

Os autores sugerem que o cérebro do robô (o modelo) possui duas partes diferentes que aprendem em velocidades muito distintas. Pense nisso como um caminhante carregando uma mochila pesada:

O Caminhante Rápido (Variáveis "Rápidas"): Esta parte do cérebro aprende rapidamente. É como as pernas do caminhante, que se ajustam constantemente ao terreno.
O Caminhante Lento (Variáveis "Lentas"): Esta parte aprende muito lentamente. É como a mochila do caminhante, que muda de peso apenas ocasionalmente.

No mundo real, a "função de perda" (a medida de quão ruim é a pintura do robô) depende fortemente das variáveis rápidas e apenas ligeiramente das lentas. Por causa disso, as variáveis rápidas zumbem ao redor tentando encontrar um bom lugar, enquanto as variáveis lentas mal se movem.

O Fenômeno do "Colapso": Ficar Preso em um Buraco

Primeiro, os autores explicam um problema mais simples chamado "Colapso".

Imagine que o robô está tentando encontrar o ponto mais baixo em um vale (a melhor solução).

O Cenário Ideal: Se o robô der passos minúsculos e encolhendo (como um explorador cauteloso), ele eventualmente se estabelecerá no fundo do vale e permanecerá lá.
O Cenário de "Colapso": Se o robô der passos constantes e firmes (como uma pessoa caminhando em um ritmo fixo), ele pode ultrapassar o fundo, quicar de volta para cima e ficar preso em uma pequena depressão local.

Na linguagem do artigo, se o robô estiver apenas tentando gerar dados sem qualquer "ruído" para sacudi-lo e soltá-lo, ele eventualmente colapsará em uma única saída fixa. Ele deixa de ser um gerador e torna-se um gravador de uma imagem específica. Matematicamente, isso é como uma bola rolando para dentro de um buraco e ficando lá para sempre.

O Fenômeno da "Memorização": O Oscilador Preguiçoso

Agora, aqui está a reviravolta. Os autores explicam que a Memorização é uma mistura de "Colapso" e "Deriva".

Como o robô possui essas duas velocidades diferentes (variáveis rápidas e lentas) e está dando passos constantes, algo interessante acontece:

A Parte Rápida Colapsa: As variáveis rápidas se estabelecem rapidamente em uma depressão local (um estilo de imagem específico). O robô começa a gerar essa imagem repetidamente. Isso parece "memorização".
A Parte Lenta Deriva: No entanto, as variáveis lentas ainda estão se movendo, apenas muito lentamente. Elas estão empurrando lentamente a "paisagem" do problema.
O Salto: Eventualmente, a deriva lenta empurra as variáveis rápidas para fora de sua depressão atual. O robô salta subitamente para uma diferente depressão (uma imagem diferente) e se estabelece lá por um longo tempo.

A Analogia: Imagine um oscilador de relaxamento (como um vaga-lume piscando ou um batimento cardíaco).

O robô passa muito tempo "dormindo" em um local (memorizando uma imagem).
Então, lentamente, a pressão se acumula até que ele "salte" para um novo local.
Ele fica lá, dorme novamente e repete.

Isso é Memorização: O robô não fica preso em uma imagem para sempre; ele fica preso em uma imagem por um longo período, depois muda para outra, depois para outra. É um ciclo intermitente de ficar preso e depois derivar lentamente para longe.

Por que o Tamanho do Passo Importa?

O artigo destaca que isso acontece especificamente porque o algoritmo de aprendizado usa um tamanho de passo constante (um ritmo fixo).

Passos Pequenos: Se o robô der passos minúsculos, ele se estabelece bem e aprende a forma geral sem ficar preso em loops.
Passos Constantes: Se o robô continuar dando passos do mesmo tamanho, cria-se um " cabo de guerra". As variáveis rápidas querem se estabelecer, mas o momento constante continua empurrando-as.
Passos Grandes (Ruído): Os autores observam que, se você fizer os passos muito grandes, introduz tanto "ruído" (agitação) que o robô não consegue se estabelecer em um loop de memorização de forma alguma. Ele continua quicando demais para ficar preso. Isso explica por que alguns métodos de treinamento que usam passos grandes evitam a memorização.

Resumo do Argumento dos Autores

Altas Dimensões Criam Duas Velocidades: Como os modelos de IA têm tantos parâmetros, alguns aprendem rápido e outros aprendem devagar.
Passos Constantes Criam Loops: Usar uma taxa de aprendizado fixa impede que o sistema se estabeleça perfeitamente.
O Colapso é a Base: Sem ruído, o sistema apenas congelaria em uma saída.
A Memorização é "Colapso Derivante": Como as variáveis lentas continuam se movendo, o sistema fica preso em uma saída por um tempo, depois deriva lentamente para uma nova, criando um ciclo de repetição.

O artigo não oferece uma nova ferramenta para corrigir isso imediatamente, mas fornece um mapa matemático de por que isso acontece. Ele nos diz que a memorização não é um erro aleatório; é um comportamento previsível de um sistema movendo-se em duas velocidades diferentes com um ritmo fixo.

Resumo Técnico: Uma Visão de Sistemas Dinâmicos do Treinamento de Modelos Generativos e do Fenômeno de Memorização

Declaração do Problema
O artigo aborda o fenômeno de "memorização" em modelos generativos, particularmente modelos de difusão. Empiricamente, durante o processo de treinamento, esses modelos ocasionalmente entram em fases onde regeneram as mesmas ou altamente similares amostras por durações significativas, em vez de produzir saídas diversas. Enquanto a literatura existente frequentemente analisa isso através da mecânica estatística estática ou da termodinâmica da paisagem de perda, este trabalho propõe uma perspectiva de sistemas dinâmicos. Os autores argumentam que a memorização não é meramente uma propriedade estática da paisagem de perda, mas um comportamento emergente da evolução temporal do algoritmo de treinamento, especificamente impulsionado pelo uso de tamanhos de passo constantes no Gradiente Descendente Estocástico (SGD) e pela presença de ruído Markoviano.

Metodologia e Estrutura
Os autores constroem um quadro teórico baseado em três componentes principais:

Dinâmica de Duas Escalas de Tempo via Teorema de Austin:
Baseando-se em Austin [2016], os autores postulam que, em espaços de parâmetros de alta dimensão com restrições de Lipschitz, a função de perda exibe uma forte dependência de um subconjunto de parâmetros e uma fraca dependência do restante. Isso motiva um modelo estilizado onde a função objetivo $F(z)$ (com $z=(x,y)$ ) assume a forma $F(z) = f(x, \epsilon y)$ para $0 < \epsilon \ll 1$ . Essa estrutura induz naturalmente duas escalas de tempo distintas nas atualizações do SGD: uma escala rápida para $x$ e uma escala lenta para $y$ .
SGD com Ruído Markoviano:
O algoritmo de treinamento é modelado como um esquema de aproximação estocástica com ruído Markoviano. O ruído $\{Z_n\}$ surge do próprio modelo generativo (por exemplo, o processo de difusão), que está sendo ajustado pelos parâmetros. As probabilidades de transição desse ruído são moduladas pelos parâmetros atuais. Os autores utilizam a teoria da aproximação estocástica com ruído Markoviano (Benveniste et al. [1990]; Borkar [2025c]) para analisar o sistema, observando que o ruído evolui em uma escala de tempo "natural" muito mais rápida do que a escala de tempo "algorítmica" dos parâmetros.
Colapso como uma Cadeia de Markov Absorvente:
O artigo define "colapso" formalmente usando resultados de Borkar [2025a]. Em um cenário de modelo generativo, a sequência de medidas de probabilidade geradas pelo modelo forma uma cadeia de Markov homogênea no tempo. Sob certas condições (especificamente quando o parâmetro de mistura $a=0$ ), essa cadeia converge quase certamente para uma medida de Dirac concentrada em um ponto aleatório. Esse colapso assintótico para uma única saída é a definição matemática do fenômeno de colapso.

Principais Contribuições e Resultados

Diferenciação de Tamanhos de Passo:
O artigo contrasta o SGD com tamanho de passo decrescente (que leva à convergência) com o SGD com tamanho de passo constante (o foco deste trabalho). No regime de tamanho de passo decrescente, o sistema converge para um mínimo global, levando a um colapso puro (Teorema 7). No entanto, os autores argumentam que o fenômeno prático de memorização é específico ao SGD com tamanho de passo constante.
Comportamento Assintótico do SGD com Tamanho de Passo Constante:
Aproveitando resultados recentes de Azizian et al. [2024] e Hwang [1981], os autores analisam a distribuição limite do SGD com tamanho de passo constante. Eles estabelecem que:
- As iterações concentram-se nos mínimos de uma "função de taxa de grandes desvios" (um funcional de energia), que não necessariamente coincide com o mínimo global da função de perda.
- A distribuição estacionária favorece mínimos "mais planos" (aqueles com determinantes menores da Hessiana da função de taxa), explicando a preferência empírica do SGD por mínimos mais simples.
- O sistema comporta-se como um processo de difusão onde o tamanho de passo atua como um parâmetro de temperatura.
Mecanismo de Memorização (Teorema 11):
O resultado central é a explicação da memorização como um colapso intermitente.
- O sistema opera em duas escalas de tempo: a variável rápida $x$ rastreia um mínimo local $\lambda(y)$ da dinâmica rápida, enquanto a variável lenta $y$ deriva.
- Como o tamanho de passo é constante, o sistema não converge para um único ponto. Em vez disso, a variável lenta $y$ deriva, fazendo com que a variável rápida $x$ rastreie um mínimo em movimento.
- Quando a variável lenta $y$ permanece em uma região onde a dinâmica rápida possui um atrator estável, o sistema exibe "memorização" (saídas repetidas).
- No entanto, como $y$ continua a derivar (auxiliada pelo ruído e pela escala de tempo lenta), o sistema eventualmente sai dessa região, causando uma transição para um atrator diferente.
- Isso resulta em um comportamento de "oscilação de relaxação": longos períodos de repetição (memorização) pontuados por transições relativamente rápidas para novos estados. Isso distingue a memorização dos saltos raros, impulsionados pelo ruído, entre equilíbrios vistos na teoria padrão de Freidlin-Wentzell; aqui, as transições são impulsionadas pela deriva determinística da variável lenta.
Papel do Ruído e do Tamanho de Passo:
Os autores explicam que tamanhos de passo maiores aumentam o nível de ruído na iteração, o que pode interromper o rastreamento estável necessário para a memorização, desencorajando assim o fenômeno. Isso alinha-se com observações empíricas (por exemplo, Wu et al. [2025]) de que grandes tamanhos de passo mitigam a memorização.

Significância e Alegações
O artigo alega fornecer uma "explicação teórica de sistemas" para a memorização, deslocando o foco da análise estática da paisagem de perda para a dinâmica temporal do algoritmo de aprendizado.

Perspectiva Unificada: Unifica os fenômenos de "colapso" e "memorização", argumentando que a memorização é essencialmente um fenômeno de colapso que é modulado pelo esquema de aprendizado de pontuação e pela deriva lenta dos parâmetros, tornando-o intermitente em vez de permanente.
Escalas de Tempo Emergentes: Destaca que as duas escalas de tempo no treinamento de modelos generativos de alta dimensão são propriedades emergentes da estrutura do problema (via teorema de Austin) e do tamanho de passo constante, em vez de serem artificialmente impostas.
Escopo Modesto: Os autores reconhecem que seu modelo envolve idealizações, como assumir que as medidas geradas formam um baricentro condicional e usar uma função de perda estilizada de duas escalas. Eles observam que, na realidade, erros de aproximação atuam como ruído externo persistente, significando que a memorização é frequentemente uma "corrupção do colapso" em vez de uma concentração pura de delta de Dirac. Consequentemente, a memorização manifesta-se como um viés em direção a versões ruidosas de saídas passadas, em vez de duplicação exata.

O trabalho não propõe novos algoritmos experimentais ou correções de engenharia específicas, mas oferece uma lente teórica para entender por que a memorização ocorre no SGD com tamanho de passo constante e como ela se relaciona com a dinâmica mais ampla da aproximação estocástica em altas dimensões.