Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

Problema de Pesquisa
As bases teóricas dos modelos de difusão baseados em score têm se apoiado amplamente em suposições restritivas em relação à distribuição de dados subjacente, exigindo especificamente densidades Lipschitz contínuas ou suportes de variedades suaves. No entanto, dados perceptuais do mundo real (como imagens) frequentemente exibem singularidades, fronteiras nítidas e agrupamentos disjuntos onde as densidades são descontínuas ou os gradientes são mal comportados. Os limites de complexidade existentes para a aproximação da função de score $\nabla \log p_t(x)$ tipicamente sofrem de uma dependência exponencial na dimensão ambiente $n$, ou falham em se aplicar a distribuições que carecem de suavidade. Esta lacuna levanta uma questão teórica fundamental: Podem os modelos de difusão ter sucesso teoricamente em distribuições de dados compactas arbitrárias sem assumir regularidade ou suavidade?

Metodologia
Os autores propõem um framework de aproximação de score universal que remove todas as suposições de continuidade e suavidade. O núcleo de sua abordagem envolve uma nova formulação de mistura discreta e uma estratégia intensiva em análise focada nos efeitos de suavização de núcleos gaussianos.

1. Formulação de Mistura Discreta: Os autores decompõem a distribuição inicial $p_0$ em uma mistura finita de subdistribuições $p_i$, cada uma suportada em uma pequena bola $B(y_i, r)$. A verdadeira função de score é aproximada substituindo a integral sobre cada subdistribuição por uma avaliação de massa pontual no $\tilde{y}_i$ local. Isso transforma o problema de aproximação de score em aproximar uma soma ponderada de núcleos gaussianos.
2. Análise de Erro de Dividir para Conquistar: Para limitar o erro de discretização, os autores particionam o espaço em grupos "próximos" e "distantes" em relação a um ponto de consulta $x$.
   • Grupo Próximo: Para pontos próximos ao suporte, a expansão de Taylor do núcleo gaussiano em torno da média local mostra que o erro de aproximação é pequeno.
   • Grupo Distante: Para pontos distantes do suporte, o peso gaussiano decai exponencialmente. Os autores provam que, mesmo que o erro de aproximação local seja grande nestas regiões, a contribuição para o erro total é negligenciável devido ao rápido decaimento do núcleo.
3. Regularidade Universal: Um obstáculo teórico crítico é garantir que os pontos "ruins" (onde a aproximação pode falhar) tenham medida negligenciável. Os autores introduzem uma condição de regularidade $C_1, C_2, r$ e provam um teorema de "Regularidade Universal": para qualquer distribuição de suporte compacto, o conjunto de pontos que não são regulares tem medida arbitrariamente pequena. Isso garante que a aproximação ocorra quase em toda parte.
4. Implementação por Redes Neurais: A fórmula da mistura discreta é mostrada como implementável por uma rede ReLU. Os autores constroem uma rede que aproxima as operações necessárias (quadrado, exponencial, divisão e Softmax) com erro controlado, garantindo que a saída permaneça dentro do fecho convexo do suporte.

Contribuições Principais

• Teorema de Aproximação de Score Universal: O artigo estabelece o primeiro teorema provando que a função de score para qualquer distribuição com suporte compacto (caracterizada por uma dimensão de Minkowski superior $d$) pode ser aproximada por uma rede ReLU. Isso remove a necessidade de suposições de suavidade Lipschitz, Hölder ou Sobolev.
• Limites de Complexidade: Os autores provam que a complexidade da rede (tamanho de parâmetros) cresce polinomialmente com a dimensão ambiente $n$ e exponencialmente apenas com a dimensão intrínseca $d$. Especificamente, o tamanho escala aproximadamente como $O(n^3 d/4 (1/\epsilon)^{d/2})$. Isso quebra a "maldição da dimensionalidade ambiente" que assola as teorias existentes.
• Condições de Regularidade Relaxadas: Ao introduzir o conceito de regularidade universal, o trabalho demonstra que os conjuntos "ruins" onde a aproximação falha são de medida negligenciável para qualquer distribuição compacta, incluindo medidas fractais (ex: medidas de Cantor) que carecem de funções de densidade de probabilidade.

Resultos
O resultado principal (Teorema 1) afirma que, para uma distribuição $p_0$ com suporte compacto de diâmetro $R$ e dimensão de Minkowski superior $d$, a verdadeira função de score $\nabla \log p_t(x)$ pode ser aproximada por uma formulação de predição de dados $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ tal que o erro quadrático médio seja limitado por $7\epsilon^2$ para todo $t \in [t_0, T]$.

• A rede aproximadora $s_\theta$ possui uma profundidade de $O(\log \omega \log \log \omega)$ e uma largura de $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$, onde $\omega$ depende polinomialmente de $n$ e $1/\epsilon$.
• O limite de erro é global, com o erro de aproximação limitado por $R/t$ para pontos fora da distribuição, o qual é integrável sobre a pequena região de probabilidade.

Significância
O artigo afirma fornecer uma justificativa teórica rigorosa para o sucesso empírico dos modelos de difusão em estruturas de dados irregulares e não suaves. Ao provar que a estimativa precisa de score é possível para quaisquer distribuições compactas sem suposições de suavidade, o trabalho preenche a lacuna entre garantias teóricas e características de dados do mundo real (como o clipping de pixels e singularidades). Os autores observam que suas táticas de dividir para conquistar e resultados de regularidade podem ser adaptados para limitar derivadas de ordem superior (como o Hessiano), potencialmente auxiliando trabalhos teóricos futuros sobre modelos de difusão que atualmente dependem de suposições de limitação para esses termos. O trabalho posiciona-se como um passo fundamental, expandindo o escopo da teoria de aproximação de score de variedades suaves para a classe geral de distribuições de suporte compacto.