A Random Matrix Theory Perspective on the Consistency of Diffusion Models

Resumo Técnico: Uma Perspectiva da Teoria de Matrizes Aleatórias sobre a Consistência de Modelos de Difusão

Enunciado do Problema
Modelos de difusão treinados em subconjuntos diferentes e não sobrepostos do mesmo conjunto de dados frequentemente produzem saídas surpreendentemente semelhantes quando condicionados à mesma semente de ruído, mesmo utilizando arquiteturas distintas (ex: UNet vs. DiT). Este fenômeno de "consistência" contrasta com outros frameworks generativos como GANs e VAEs, onde rotações no espaço latente levam a uma variabilidade significativa entre execuções. Embora trabalhos anteriores tenham observado esse efeito, os mecanismos subjacentes — especificamente como o tamanho finito do conjunto de dados e as estatísticas dos dados moldam a estabilidade do denoiser aprendido e do mapa de amostragem — permanecem teoricamente não explicados. O artigo busca quantificar a expectativa e a variância desses mapeamentos aprendidos através de divisões independentes de dados, distinguindo entre memorização (onde os modelos reproduzem amostras de treinamento) e generalização (onde eles capturam regularidades estatísticas universais).

Metodologia
Os autores empregam a Teoria de Matrizes Aleatórias (RMT) para analisar modelos de difusão, começando com um framework de denoiser linear tratável antes de estender os insights para redes profundas.

1. Configuração Linear e Equivalência Determinística: A ferramenta técnica central é a equivalência determinística (DE), que permite que matrizes de covariância empíricas aleatórias ($\hat{\Sigma}$) sejam substituídas por substitutos determinísticos no limite de alta dimensão ($d, n \to \infty$ com $d/n = \gamma$).

   • Os autores derivam uma equação autossustentável para uma escala de ruído renormalizada, $\kappa(\sigma^2)$, que substitui a variância do ruído bruto $\sigma^2$ na covariância da população. Esta relação é governada pela equação de Silverstein:
     $$\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$$
   • Este framework é estendido para potências de matriz fracionárias (especificamente $\Sigma^{1/2}$) necessárias para a trajetória completa de amostragem (filtro de Wiener) usando representações integrais (fórmula de Balakrishnan) e identidades de equivalência determinística de dois pontos.

2. Derivações Teóricas:

   • Expectativa: A teoria prevê que dados finitos fazem com que o denoiser aprendido opere efetivamente com um nível de ruído mais alto ($\sigma^2 \to \kappa(\sigma^2)$), levando a um "overshrinkage" (encolhimento excessivo) das direções de baixa variância em direção à média do conjunto de dados.
   • Flutuação (Variância): A variância do denoiser através de divisões de conjuntos de dados é mostrada como fatorizando em três componentes:
     • Anisotropia: A incerteza é maximizada ao longo de modos próprios onde o autovalor da população $\lambda_k$ corresponde ao ruído renormalizado $\kappa(\sigma^2)$.
     • Inhomogeneidade: A incerteza é amplificada para pontos de entrada deslocados ao longo de direções de alta variância.
     • Escalonamento Global: A variância global escala inversamente com o tamanho do conjunto de dados $n$, modificado pelos efeitos de renormalização em $n$ menores.

3. Validação Empírica: As previsões teóricas são validadas contra modelos de difusão profundos (UNet e DiT) treinados em vários conjuntos de dados (FFHQ, AFHQ, CIFAR, LSUN) em diferentes tamanhos de dataset ($n \in \{300, 1000, \dots, 30000\}$). O estudo distingue entre um regime de memorização (pequeno $n$, onde os modelos reproduzem dados de treinamento) e um regime de renormalização/generalização (maior $n$, onde eles se alinham com o preditor Gaussiano linear).

Principais Contribuições

• Origem Linear da Consistência: O artigo demonstra que estatísticas Gaussianas compartilhadas (média e covariância) entre divisões de dados são suficientes para prever o acordo entre as divisões, explicando por que denoisers lineares já exibem alta consistência.
• Renormalização de Amostra Finita: Formaliza como conjuntos de dados finitos induzem uma escala de ruído renormalizada $\sigma^2 \to \kappa(\sigma^2)$, explicando o encolhimento excessivo sistemático dos modos de baixa variância e a atração para a média do conjunto de dados.
• Lei da Variância: Os autores derivam uma fórmula de variância fatorizada para o desacordo entre divisões, identificando anisotropia (dependência do autovalor da moda), inhomogeneidade (dependência da localização do input) e escalonamento global (dependência de $n$) como os três fatores governantes.
• Equivalência de Potência Fracionária: O trabalho estende as ferramentas de equivalência determinística para potências de matriz fracionárias, permitindo previsões de trajetórias de amostragem completas em forma fechada, não apenas para o denoising de passo único.
• Validação em Redes Profundas: O artigo confirma que esses princípios de RMT linear governam qualitativamente a consistência de modelos profundos UNet e DiT no regime de não-memorização, prevendo onde e como as amostras desviam entre as divisões.

Resultos

• Mecanismo de Consistência: Experimentos mostram que modelos de difusão treinados em divisões disjuntas geram imagens visualmente semelhantes a partir da mesma semente de ruído. Essa semelhança é capturada por um preditor Gaussiano linear (filtro de Wiener) usando os momentos empíricos das divisões.
• Overshrinkage: No regime de generalização, as amostras geradas exibem variância reduzida ao longo dos modos próprios de baixa a média variância em comparação com a distribuição da população, efetivamente "encolhendo excessivamente" em direção à média. Esse viés desaparece conforme $n$ aumenta e o espectro empírico converge para o espectro da população.
• Anisotropia e Inhomogeneidade:
  • Espectral: O desacordo entre modelos treinados em diferentes divisões é mais alto para modos próprios onde o autovalor $\lambda_k \approx \kappa(\sigma^2)$. Modos inferiores (detalhes finos) requerem conjuntos de dados significativamente maiores para alcançar consistência em comparação aos modos superiores (estrutura global).
  • Espacial: Amostras geradas a partir de sementes de ruído que projetam fortemente em direções de alta variância do manifold de dados exibem maiores desvios entre divisões.
• Alinhamento de Redes Profundas: No regime de não-memorização ($n \ge 3000$ para FFHQ64), as amostras de redes profundas convergem para o preditor linear. As previsões de RMT de inhomogeneidade espacial (quais sementes geram maiores desvios) correlacionam-se significativamente com o MSE empírico entre divisões em redes profundas (ex: Spearman $r \approx 0.33$ para UNet em FFHQ64 com $n=30k$).
• Contrafatuais: Quando os dados de treinamento são intencionalmente particionados para causar incompatibilidade de média ou covariância (ex: estratificação por um componente principal), o efeito de consistência quebra, confirmando que as estatísticas Gaussianas compartilhadas são o motor do fenômeno.

Significância
O artigo fornece uma base principista para a reprodutibilidade no treinamento de difusão. Ao ligar as propriedades espectrais dos dados à estabilidade dos outputs generativos, ele esclarece que a notável consistência dos modelos de difusão surge não apenas de vieses indutivos arquiteturais complexos, mas da estabilidade das estatísticas Gaussianas subjacentes compartilhadas entre as divisões de dados. O trabalho sugere que a "criatividade" ou generalização dos modelos de difusão é limitada por essas regularidades estatísticas lineares, oferecendo uma explicação teórica para o porquê de modelos treinados independentemente frequentemente mapearem a mesma semente de ruído para estruturas similares. Este framework ajuda a distinguir entre generalização real e memorização, fornecendo uma ferramenta para prever a confiabilidade das amostras geradas com base no tamanho do dataset e no espectro dos dados.