Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Resumo Técnico: Generalização do Modelo de Difusão Caracterizada por Vieses Indutivos em Direção a uma Variedade de Crista Dependente dos Dados

Declaração do Problema
Os modelos de difusão alcançaram desempenho de última geração em tarefas generativas, mas uma questão científica crítica permanece: quando esses modelos não apenas memorizam os dados de treinamento (ou seja, quando generalizam), onde residem as amostras geradas em relação à geometria do conjunto de treinamento? Enquanto a teoria clássica de generalização frequentemente se concentra na discrepância entre a distribuição gerada e uma distribuição populacional desconhecida, este artigo defende uma perspectiva totalmente dependente dos dados. Os autores buscam descrever explicitamente e quantitativamente a estrutura geométrica que organiza novas amostras produzidas pela inferência no tempo reverso, especificamente em regimes onde a memorização não ocorre.

Metodologia
O artigo introduz um framework geométrico centrado em variedades de crista de densidade logarítmica dependentes do tempo, construídas a partir da distribuição empírica suavizada dos dados de treinamento.

1. Construção da Crista: Os autores definem uma família de conjuntos de crista de densidade logarítmica de dimensão $d^*$, $R_t$, derivados das distribuições marginais de avanço $p_t$. Essas cristas representam "máximos locais direcionais" da densidade logarítmica, servindo como a geometria de referência para o processo de geração.
2. Mecanismo de Alcance-Alinhamento-Deslizamento: A contribuição teórica central é a caracterização da inferência no tempo reverso como um processo de três estágios em relação a essas cristas:
   • Alcance: As amostras geradas primeiro entram em uma vizinhança tubular da variedade de crista.
   • Alinhamento: As amostras então contraem-se em direção à crista nas direções normais. O artigo prova que a magnitude desse alinhamento é controlada pelo componente normal do erro de treinamento (a diferença entre a média posterior aprendida e a verdadeira projetada no espaço normal).
   • Deslizamento: Finalmente, as amostras movem-se ao longo da crista nas direções tangenciais. Esse movimento é controlado pelo componente tangencial do erro de treinamento.
3. Ligação Treinamento-Geometria: Para conectar a dinâmica da inferência ao treinamento, os autores decompõem a perda de treinamento em componentes direcionais (normal vs. tangencial). Eles utilizam Redes Neurais de Recursos Aleatórios (RFNNs) treinadas via descida de gradiente como um cenário tratável e não assintótico para separar explicitamente os efeitos da arquitetura (erro de aproximação de largura finita) e da otimização (treinamento incompleto a partir da inicialização).

Principais Contribuições

• Caracterização Geométrica da Generalização: O artigo estabelece que a geração não memorizante não é aleatória, mas organizada por uma geometria de crista dependente dos dados. Ele fornece um mecanismo preciso de "alcance–alinhamento–deslizamento" explicando como as amostras se concentram perto da crista e depois se espalham ao longo dela.
• Decomposição de Erro Direcional: Os autores demonstram que a geometria da geração é controlada diretamente pelos componentes direcionais do erro de treinamento. Especificamente, o erro de treinamento normal dita o quão estreitamente as amostras se alinham com a crista, enquanto o erro de treinamento tangencial dita a extensão do espalhamento (deslizamento) ao longo da crista.
• Separação entre Arquitetura e Otimização: No cenário RFNN, o artigo mostra que os erros de arquitetura de largura finita manifestam-se principalmente como um "piso" para o espalhamento tangencial (impedindo o colapso para pontos de treinamento exatos), whereas erros de otimização (dependentes da inicialização e modos espectrais) podem atrasar o alinhamento normal.
• Validação Empírica: Experimentos em dados sintéticos multimodais (pontos 2D) e difusão latente MNIST confirmam as previsões teóricas. Os resultados mostram que as amostras geradas exibem consistentemente o padrão de alcance–alinhamento–deslizamento, com o grau de espalhamento tangencial controlável via cronogramas de ponderação de perda.

Resultados

• Limites Teóricos: O artigo deriva limites não assintóticos mostrando que o deslocamento ao quadrado fora da crista (erro normal) e a distância de deslizamento ao quadrado (erro tangencial) são limitados por contribuições cumulativas dos respectivos componentes normal e tangencial do resíduo de treinamento, escalados por fatores dependentes do tempo.
• Dados Sintéticos: Em experimentos 2D com dois, três e quatro pontos, observou-se que as amostras geradas se concentravam ao longo de estruturas de crista curvas ou semelhantes a bordas, em vez de colapsar para os pontos de treinamento. A fase de "deslizamento" mostrou-se sensível ao cronograma de pesos de perda $w(t)$, com diferentes cronogramas produzindo graus variados de interpolação entre pontos de dados.
• Experimentos MNIST: Em experimentos de espaço latente de alta dimensão, a distância média à crista diminuiu rapidamente (fase de alinhamento), enquanto o movimento tangencial diminuiu mais lentamente e estabilizou. Isso apoia a afirmação de que a inferência passa a maior parte do tempo alinhando-se à geometria da crista, com tempo limitado para deslizamento substancial em direção a exemplos de treinamento específicos, explicando assim gerações intermediárias estruturadas.

Significado e Alegações
O artigo alega oferecer uma mudança de perspectiva da discrepância distribucional global para a organização espacial das amostras geradas em relação aos dados observados. Ao vincular explicitamente a geometria da geração aos erros de treinamento direcionais, o trabalho fornece uma explicação mecânica para o motivo pelo qual os modelos de difusão geram amostras não memorizantes: os vieses indutivos da classe de modelo e o processo de otimização criam erros normais e tangenciais específicos que moldam a trajetória de geração.

Os autores posicionam seu trabalho como complementar à literatura existente sobre memorização e viés induzido pelo treinamento. Diferentemente de trabalhos que assumem uma variedade populacional subjacente ou focam exclusivamente em métricas de erro agregado, este framework constrói um objeto geométrico explícito e dependente do tempo a partir dos dados empíricos e analisa a dinâmica da inferência em relação a ele. O artigo nota modestamente que sua decomposição explícita ao nível do treinamento é atualmente desenvolvida para RFNNs como um exemplo tratável, servindo como prova de conceito de como arquitetura e otimização moldam conjuntamente a geração de difusão através de efeitos geométricos dependentes da direção, em vez de um modelo completo de arquiteturas profundas modernas.