Resumo Técnico: Compreender Modelos de Difusão Requer Repensar a Generalização

Declaração do Problema

O artigo argumenta que compreender a generalização em modelos de difusão não pode depender da teoria clássica de aprendizado estatístico (por exemplo, dimensão de VC, complexidade de Rademacher) ou do paradigma de "superajuste benigno" desenvolvido para aprendizado supervisionado. No aprendizado supervisionado, interpolação (memorização) e generalização podem coexistir. Em contraste, para modelos de difusão treinados via correspondência de pontuação de remoção de ruído, alcançar o mínimo global do risco empírico corresponde à função de pontuação da medida empírica com ruído — uma mistura de Gaussianas centradas nos pontos de treinamento. A amostragem a partir desse mínimo produz cópias quase exatas dos dados de treinamento em vez de amostras novas.

Embora modelos de difusão práticos gerem dados diversos e novos, implicando que alguma forma de regularização previne a memorização completa, as explicações teóricas para esse fenômeno permanecem fragmentadas. A literatura existente atribui isso a três fatores distintos: (i) limitações de capacidade em relação ao tamanho do conjunto de dados, (ii) regularização implícita decorrente da dinâmica de otimização (por exemplo, parada antecipada, taxa de aprendizado) e (iii) vieses indutivos arquitetônicos. O artigo postula que as interações entre esses fatores são pouco compreendidas e que o campo focou excessivamente no porquê os modelos não memorizam, em vez do que eles aprendem durante a fase pré-memorização.

Metodologia

Para abordar essas lacunas, os autores realizam um estudo empírico utilizando arquiteturas U-Net treinadas no conjunto de dados CIFAR-10. O estudo é projetado como uma investigação de escala intermediária, preenchendo a lacuna entre análises teóricas em dados Gaussianos e sistemas práticos de grande escala.

Configuração Experimental:

• Dados: Os primeiros $N$ amostras do conjunto de treinamento do CIFAR-10 são utilizados, com $N$ variando entre $\{2048, 4096, 8192, 16384\}$. A avaliação utiliza um conjunto de teste fixo de 5.120 amostras.
• Arquitetura: U-Nets com contagens variáveis de parâmetros ($P \in \{3M, 8M, 26M, 93M, 201M\}$).
• Treinamento: Formulação de fluxo retificado com 250 passos de amostragem e força de orientação sem classificador de 0,0.
• Varreduras de Hiperparâmetros: Variação sistemática do tamanho do conjunto de dados ($N$), tamanho do modelo ($P$), tamanho do lote ($B \in \{16, 32, 64, 128\}$) e taxa de aprendizado ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$).

Métricas:
Os autores acompanham quatro quantidades-chave em ambas as divisões de treinamento e teste:

1. Perda de Correspondência de Pontuação de Remoção de Ruído: Computada em um único lote (treino) e no conjunto completo (teste).
2. Pontuação de Memorização: A razão de amostras geradas com alta similaridade de cosseno (>0,6) aos dados de treinamento em um espaço de características auto-supervisionado (SSCD).
3. Distância de Wasserstein Fatia: Computada entre amostras geradas e divisões de referência no espaço de características Inception.
4. FID (Distância de Inception Fréchet): Computada entre amostras geradas e divisões de referência.

O estudo define tempo de memorização ($\tau_{mem}$) como o ponto em que a perda de teste começa a divergir da perda de treinamento. Distingue-se entre novidade (ausência de memorização, $\tau < \tau_{mem}$) e fidelidade (qualidade/precisão distribucional).

Principais Contribuições e Resultados

1. Reavaliando o "Porquê" da Não-Memorização

Os autores confirmam que a transição de memorização é sistemática e observável. Eles validam que o tempo até a memorização ($\tau_{mem}$) escala linearmente com o tamanho do conjunto de dados. Isso apoia a conclusão de que a questão de por que modelos práticos de grande escala não memorizam é amplamente resolvida: o tempo de treinamento necessário para alcançar a fase de memorização simplesmente excede orçamentos razoáveis. Os autores argumentam que o campo deve pivotar de explicar a ausência de memorização para analisar a fase pré-memorização.

2. Limitações das Métricas Padrão

Uma descoberta crítica é que métricas distribucionais padrão (Wasserstein Fatia, FID) falham em desvendar a novidade da fidelidade.

• Lacuna Treino-Teste: Diferentemente do aprendizado supervisionado, a lacuna treino-teste na distância distribucional é não informativa. Como os conjuntos de treinamento e teste são extraídos da mesma distribuição, a distância das amostras geradas para qualquer um dos conjuntos permanece quase idêntica mesmo à medida que o modelo transita de gerar imagens novas para copiar dados de treinamento.
• Dupla Descida: Os autores observam um fenômeno de "dupla descida" nas distâncias distribucionais (FID e Wasserstein Fatia) para ambos os conjuntos de treino e teste. Isso contradiz as teorias clássicas de dupla descida onde as métricas de treino e teste divergem. Em vez disso, o modelo atinge um estado intermediário com baixa perda de treinamento, mas alinhamento distribucional pobre, sugerindo que o fenômeno é impulsionado puramente pela dinâmica de otimização e não por argumentos de capacidade.

3. Papéis Distintos de Tamanho do Conjunto de Dados e do Modelo

O estudo revela que o tamanho do conjunto de dados e o tamanho do modelo desempenham papéis opostos na dinâmica de treinamento:

• Tamanho do Conjunto de Dados: Aumentar $N$ atrasa o início da memorização e melhora a fidelidade de pico.
• Tamanho do Modelo: Aumentar $P$ acelera o início da memorização, mas também melhora a fidelidade de pico.
  Isso sugere que a generalização em modelos de difusão não pode ser explicada apenas pela razão entre capacidade do modelo e tamanho da amostra; a trajetória através do espaço de parâmetros moldada pela dinâmica de otimização é um fator distinto.

4. Hiperparâmetros de Otimização e Fidelidade

Os autores encontram que hiperparâmetros de otimização influenciam significativamente a fidelidade antes que a memorização ocorra:

• Tamanho do Lote: Tamanhos de lote menores levam a uma melhor fidelidade de pico (menor distância distribucional mínima) sem alterar significativamente a taxa de memorização ou o tempo de início. Isso alinha-se com a literatura de "estabilidade mínima", mas manifesta-se ao longo da trajetória de treinamento em vez de na convergência.
• Taxa de Aprendizado: Taxas de aprendizado maiores melhoram a fidelidade de pico e atrasam o início normalizado da memorização. Isso apoia a hipótese da "borda da estabilidade", mas, novamente, o efeito é observado durante a trajetória, não apenas na solução final.

Significado e Posicionamento

O artigo afirma que o quadro teórico para generalização em modelos de difusão requer uma mudança fundamental. Os autores argumentam que:

1. O "Porquê" está Resolvido: A falta de memorização em aplicações de grande escala é explicada pela escala linear do tempo de memorização com o tamanho do conjunto de dados combinada com a parada antecipada.
2. O "O Que" é a Questão Aberta: O principal desafio teórico é compreender o que é aprendido durante a fase pré-memorização e como a novidade e a fidelidade emergem conjuntamente da interação entre otimização, arquitetura e geometria dos dados.
3. Novo Quadro Necessário: Lacunas de generalização clássicas (em perda ou espaço distribucional) são insuficientes para modelos generativos. A perda de treinamento (correspondência de pontuação) é um proxy indireto para a qualidade da amostra, e métricas padrão falham em distinguir entre um modelo que generaliza e um que memoriza.

Os autores concluem que pesquisas futuras devem focar no desenvolvimento de métricas que capturem a distinção entre cópia versus generalização e na formulação de uma teoria de regularização implícita que descreva as propriedades de iterações intermediárias na correspondência de pontuação, em vez de apenas a solução final convergida.