Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

Dichiarazione del Problema
Le fondamenta teoriche dei modelli di diffusione basati sullo score si sono ampiamente basate su assunzioni restrittive riguardanti la distribuzione sottostante dei dati, richiedendo specificamente densità Lipschitz continue o supporti su varietà lisce. Tuttavia, i dati percettivi del mondo reale (come le immagini) presentano spesso singolarità, confini netti e cluster disgiunti dove le densità sono discontinue o i gradienti sono mal comportati. I limiti di complessità esistenti per l'approssimazione della funzione score $\nabla \log p_t(x)$ tipicamente soffrono di una dipendenza esponenziale dalla dimensione ambiente $n$, o non riescono ad applicarsi a distribuzioni prive di regolarità. Questo divario solleva una questione teorica fondamentale: possono i modelli di diffusione avere successo teoricamente su arbitrarie distribuzioni di dati compatte senza assumere regolarità o regolarità della forma (smoothness)?

Metodologia
Gli autori propongono un framework di approssimazione dello score universale che rimuove tutte le assunzioni di continuità e regolarità. Il cuore del loro approccio consiste in una nuova formulazione di miscela discreta e in una strategia densa di analisi focalizzata sugli effetti di smoothing dei kernel gaussiani.

1. Formulazione di Miscela Discreta: Gli autori decompongono la distribuzione iniziale $p_0$ in una miscela finita di sub-distribuzioni $p_i$, ciascuna supportata su una piccola sfera $B(y_i, r)$. La vera funzione score viene approssimata sostituendo l'integrale su ogni sub-distribuzione con una valutazione di massa puntiforme nella media locale $\tilde{y}_i$. Ciò trasforma il problema dell'approssimazione dello score in un'approssimazione di una somma pesata di kernel gaussiani.
2. Analisi dell'Errore Divide-and-Conquer: Per limitare l'errore di discretizzazione, gli autori partizionano lo spazio in gruppi "vicini" e "lontani" rispetto a un punto di query $x$.
   • Gruppo Vicino: Per i punti vicini al supporto, l'espansione di Taylor del kernel gaussiano attorno alla media locale mostra che l'errore di approssimazione è piccolo.
   • Gruppo Lontano: Per i punti lontani dal supporto, il peso gaussiano decade esponenzialmente. Gli autori dimostrano che anche se l'errore di approssimazione locale è grande in queste regioni, il contributo all'errore totale è trascurabile grazie al rapido decadimento del kernel.
3. Regolarità Universale: Un ostacolo teorico critico è garantire che i punti "cattivi" (dove l'approssimazione potrebbe fallire) abbiano una misura trascurabile. Gli autori introducono una condizione di regolarità $C_1, C_2, r$ e dimostrano un teorema di "Regolarità Universale": per qualsiasi distribuzione a supporto compatto, l'insieme dei punti che non sono regolari ha una misura arbitrariamente piccola. Ciò garantisce che l'approssimazione sia valida quasi ovunque.
4. Implementazione tramite Reti Neurali: Si dimostra che la formula della miscela discreta è implementabile da una rete ReLU. Gli autori costruiscono una rete che approssima le operazioni necessarie (elevamento al quadrato, esponenziazione, divisione e Softmax) con errore controllato, assicurando che l'output rimanga all'interno dell'inviluppo convesso del supporto.

Contributi Chiave

• Teorema di Approssimazione dello Score Universale: Il documento stabilisce il primo teorema che dimostra come la funzione score per qualsiasi distribuzione con supporto compatto (caratterizzata da una dimensione di Minkowski superiore $d$) possa essere approssimata da una rete ReLU. Ciò rimuove la necessità di assunzioni di Lipschitz, Hölder o regolarità di Sobolev.
• Limiti di Complessità: Gli autori dimostrano che la complessità della rete (dimensione dei parametri) cresce polinomialmente con la dimensione ambiente $n$ ed esponenzialmente solo con la dimensione intrinseca $d$. Nello specifico, la dimensione scala approssimativamente come $O(n^3 d/4 (1/\epsilon)^{d/2})$. Questo rompe la "maledizione della dimensionalità ambiente" che affligge le teorie esistenti.
• Condizioni di Regolarità Rilassate: Introducendo il concetto di regolarità universale, il lavoro dimostra che gli insiemi "cattivi" dove l'approssimazione fallisce sono di misura trascurabile per qualsiasi distribuzione compatta, incluse le misure di tipo frattale (ad esempio, le misure di Cantor) che mancano di funzioni di densità di probabilità.

Risultati
Il risultato principale (Teorema 1) afferma che per una distribuzione $p_0$ con supporto compatto di diametro $R$ e dimensione di Minkowski superiore $d$, la vera funzione score $\nabla \log p_t(x)$ può essere approssimata da una formulazione di predizione dei dati $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ tale che l'errore quadratico medio sia limitato da $7\epsilon^2$ per tutti i $t \in [t_0, T]$.

• La rete approssimante $s_\theta$ ha una profondità di $O(\log \omega \log \log \omega)$ e una larghezza di $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$, dove $\omega$ dipende polinomialmente da $n$ e $1/\epsilon$.
• Il limite di errore è valido globalmente, con l'errore di approssimazione limitato da $R/t$ per i punti fuori distribuzione, il quale è integrabile sulla piccola regione di probabilità.

Significatività
Il documento sostiene di fornire una rigorosa giustificazione teorica per il successo empirico dei modelli di diffusione su strutture di dati irregolari e non lisce. Dimostrando che un'accurata stima dello score è possibile per arbitrarie distribuzioni compatte senza assunzioni di regolarità, il lavoro colma il divario tra garanzie teoriche e caratteristiche dei dati reali (come il clipping dei pixel e le singolarità). Gli autori notano che le loro tattiche di divide-and-conquer e i risultati sulla regolarità possono essere adattati per limitare le derivate di ordine superiore (come l'Hessiana), aiutando potenzialmente il lavoro teorico futuro sui modelli di diffusione che attualmente si basano su assunzioni di limitatezza per questi termini. Il lavoro si pone come un passo fondamentale, espandendo l'ambito della teoria dell'approssimazione dello score dalle varietà lisce alla classe generale delle distribuzioni a supporto compatto.