Nonparametric undirected graphical model selection using diffusion models

Sintesi Tecnica: Selezione di Modelli Grafici Non Parametrici Non Diretti Utilizzando Modelli di Diffusione

Definizione del Problema
I modelli grafici non diretti forniscono un quadro per rappresentare le strutture di indipendenza condizionata tra variabili casuali ad alta dimensione. Sebbene la selezione del modello sia un problema centrale nella statistica ad alta dimensione con applicazioni in genomica, neuroscienze e finanza, la maggior parte dei metodi esistenti si basa su assunzioni parametriche (ad esempio, modelli grafici gaussiani o modelli di Ising). Questi metodi spesso falliscono quando la distribuzione vera devia dalla forma parametrica assunta. Esistono approcci non parametrici, ma sono statisticamente complessi a causa della "maledizione della dimensionalità" nella stima della densità e della complessità aggiuntiva derivante dalla stima delle derivate del secondo ordine (l'Hessiana della log-densità), necessarie per identificare la struttura del grafo tramite l'equivalenza $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$.

Metodologia
Gli autori propongono un nuovo approccio non parametrico alla selezione di modelli grafici non diretti basato sui modelli di diffusione. Il metodo sfrutta il fatto che i modelli di diffusione possono stimare le funzioni di score (gradienti della log-densità) e adattarsi a strutture a bassa dimensione senza soffrire della piena maledizione della dimensionalità.

La procedura proposta, riassunta nell'Algoritmo 1, consiste nei seguenti passaggi:

1. Stima della Funzione di Score: Utilizzando un framework di modellazione di diffusione standard (specificamente, il Denoising Diffusion Probabilistic Model, DDPM), gli autori stimano una famiglia di funzioni di score $f_0(x, t) = \nabla \log p_t(x)$, dove $p_t$ è la densità marginale del processo di diffusione in avanti al tempo $t$. Ciò viene ottenuto tramite lo score matching sui dati osservati.
2. Stima dell'Hessiana tramite la Formula di Tweedie: Invece di differenziare direttamente la funzione di score stimata (il che sarebbe numericamente instabile), il metodo utilizza la formula di Tweedie del secondo ordine. Questa formula mette in relazione l'Hessiana della log-densità $\nabla^2 \log p_t(x)$ con la covarianza condizionata dei dati originali $X_0$ data l'osservazione rumorosa $X_t = x$:
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   dove $\mu_t$ e $\sigma_t$ sono i parametri del processo di Ornstein-Uhlenbeck in avanti.
3. Recupero del Grafo: Il metodo stima la covarianza condizionata $\text{Cov}[X_0 | X_t = x]$ utilizzando il campionamento Monte Carlo dal processo di diffusione inversa. Nello specifico, per un tempo $t$ fissato e un vettore casuale $U_t$, gli autori calcolano l'aspettativa empirica dei valori assoluti delle voci dell'Hessiana stimata, $E_n[|\hat{H}_{ij}(U_t, t)|]$.
4. Soglia e Clustering: Un arco $(i, j)$ è incluso nel grafo stimato se l'entità media della voce dell'Hessiana supera una soglia $\tau$. Per gestire la sintonizzazione pratica, gli autori propongono di aggregare le informazioni attraverso molteplici piccoli passi temporali $t_1, \dots, t_M$ e applicare il clustering K-means ai valori standardizzati dell'Hessiana per separare gli archi dai non-archi.

Contributi Teorici Chiave
Il documento stabilisce garanzie teoriche rigorose per il metodo proposto sotto deboli condizioni di regolarità (specificamente, che $\log p_0$ appartenga a una classe Hölder $\mathcal{H}_{\beta, K}$):

• Tassi di Decadimento: Gli autori dimostrano che la covarianza condizionata $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ decade a ritmi diversi a seconda della distanza del grafo $d(i, j)$ tra i nodi. Per gli archi ($d(i, j)=1$), la covarianza decade come $O(t^2)$, mentre per i non-archi ($d(i, j) \ge 2$), decade più velocemente, come $O(t^{(\beta+2)\wedge 5/2})$.
• Consistenza della Selezione: Sotto l'assunto che lo stimatore della funzione di score converga alla vera funzione di score con un tasso $\epsilon_n$, gli autori derivano un limite superiore non asintotico sulla probabilità di una selezione errata del grafo. Dimostrano che, con una scelta appropriata del parametro temporale $t$ e della soglia $\tau$, lo stimatore è consistente (ovvero $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$) in un regime a dimensione fissa.
• Evitare la Stima Diretta dell'Hessiana: Utilizzando il processo di diffusione e la formula di Tweedie, il metodo evita la necessità di stimare direttamente l'Hessiana della log-densità della distribuzione originale $p_0$, che è statisticamente più esigente.

Risultati Empirici
Gli autori valutano il metodo attraverso estese simulazioni e due analisi di dati reali:

• Simulazioni: Il metodo è stato testato su quattro distribuzioni: due gaussiane e due non gaussiane (distribuzione Butterfly e Copula Gaussiana). Il metodo basato sulla diffusione proposto (DDPM) è risultato competitivo con i modelli parametrici correttamente specificati (ad esempio, Graphical Lasso per i dati gaussiani) e ha superato significativamente i modelli non parametrici di base esistenti (SING e L-SING) in tutte le distribuzioni. In particolare, ha ottenuto un recupero perfetto del grafo nelle impostazioni non gaussiane in cui i metodi parametrici sono falliti.
• Analisi di Immagini (MNIST): Applicato al dataset MNIST ($D=784$), il metodo ha recuperato un grafo di indipendenza condizionata sparso coerente con il principio di località delle immagini (pixel connessi principalmente ai vicini immediati). Ha inoltre identificato una specifica asimmetria nelle diagonali, riflettendo la pendenza verso destra delle cifre scritte a mano nel dataset.
• Dati Finanziari (Prezzi Azionari): Applicato ai rendimenti giornalieri di 28 società industriali, il metodo ha recuperato un grafo sparso di dipendenze condizionate. Gli archi stimati hanno mostrato relazioni economiche significative, incluse alcune non esplicitamente etichettate come competitor in database esterni, ma supportate da partnership tecnologiche o di filiera.

Significato e Rivendicazioni
L'articolo sostiene di colmare il divario tra l'adattabilità teorica dei modelli di diffusione alle strutture di grafo sconosciute e la loro applicazione pratica per la stima esplicita del grafo. Gli autori sottolineano che il loro metodo offre un'alternativa non parametrica unificata agli approcci esistenti, capace di gestire distribuzioni complesse e non gaussiane senza richiedere la corretta specificazione del modello. Notano che, sebbene la consistenza teorica sia stata stabilita per dimensioni fisse, i risultati empirici suggeriscono che il metodo scala efficacemente in contesti ad alta dimensione ($D \gg n$), sfruttando la struttura intrinseca a bassa dimensione dei dati. Il lavoro conclude identificando l'estensione all'asintotica ad alta dimensione e alle distribuzioni discrete come naturali direzioni per la ricerca futura.