Nonparametric undirected graphical model selection using diffusion models

Technische Samenvatting: Selectie van Niet-parametrische Ongerichte Grafische Modellen met behulp van Diffusiemodellen

Probleemstelling
Ongerichte grafische modellen bieden een raamwerk voor het representeren van structuren van conditionele onafhankelijkheid tussen hoogdimensionale willekeurige variabelen. Hoewel modelselectie een centraal probleem is in de hoogdimensionale statistiek met toepassingen in genetica, neurowetenschappen en financiën, vertrouwen de meeste bestaande methoden op parametrische aannames (bijv. Gaussische grafische modellen of Ising-modellen). Deze methoden schieten vaak tekort wanneer de werkelijke distributie afwijkt van de veronderstelde parametrische vorm. Niet-parametrische benaderingen bestaan, maar zijn statistisch uitdagend vanwege de "vloek van dimensionaliteit" bij dichtheidschatting en de extra complexiteit van het schatten van tweede-orde afgeleiden (de Hessiaan van de log-dichtheid), die vereist zijn om de grafische structuur te identificeren via de equivalentie $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$.

Methodologie
De auteurs stellen een nieuwe niet-parametrische benadering voor voor de selectie van ongerichte grafische modellen op basis van diffusiemodellen. De methode maakt gebruik van het feit dat diffusiemodellen in staat zijn om scorefuncties (gradiënten van de log-dichtheid) te schatten en zich kunnen aanpassen aan laagdimensionale structuren zonder te lijden onder de volledige vloek van dimensionaliteit.

De voorgestelde procedure, samengevat in Algoritme 1, bestaat uit de volgende stappen:

1. Schatting van de Scorefunctie: Met behulp van een standaard diffusiemodelleringframework (specifiek het Denoising Diffusion Probabilistic Model, DDPM) schatten de auteurs een familie van scorefuncties $f_0(x, t) = \nabla \log p_t(x)$, waarbij $p_t$ de marginale dichtheid is van het forward diffusieproces op tijdstip $t$. Dit wordt bereikt via score-matching op de geobserveerde data.
2. Hessiaan-schatting via Tweedie's Formule: In plaats van direct de geschatte scorefunctie te differentiëren (wat numeriek instabiel is), maakt de methode gebruik van de tweede-orde Tweedie's formule. Deze formule relateert de Hessiaan van de log-dichtheid $\nabla^2 \log p_t(x)$ aan de conditionele covariantie van de oorspronkelijke data $X_0$ gegeven de ruisige observatie $X_t = x$:
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   waarbij $\mu_t$ en $\sigma_t$ parameters zijn van het forward Ornstein-Uhlenbeck-proces.
3. Grafische Herstel (Graph Recovery): De methode schat de conditionele covariantie $\text{Cov}[X_0 | X_t = x]$ met behulp van Monte Carlo-sampling uit het reverse diffusieproces. Specifiek voor een vast tijdstip $t$ en een willekeurige vector $U_t$, berekenen de auteurs de empirische verwachting van de absolute waarden van de geschatte Hessiaan-elementen, $E_n[|\hat{H}_{ij}(U_t, t)|]$.
4. Drempelwaarde en Clustering: Een rand (edge) $(i, j)$ wordt opgenomen in de geschatte graaf als de gemiddelde grootte van het Hessiaan-element een drempelwaarde $\tau$ overschrijdt. Om de praktische afstemming te faciliteren, stellen de auteurs voor om informatie te aggregeren over meerdere kleine tijdstappen $t_1, \dots, t_M$ en K-means clustering toe te passen op de gestandaardiseerde Hessiaan-waarden om randen van niet-randen te scheiden.

Belangrijke Theoretische Bijdragen
Het artikel stelt rigoureuze theoretische garanties vast voor de voorgestelde methode onder milde regulariteitsvoorwaarden (specifiek dat $\log p_0$ tot een Hölder-klasse $\mathcal{H}_{\beta, K}$ behoort):

• Verval-snelheden (Decay Rates): De auteurs bewijzen dat de conditionele covariantie $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ met verschillende snelheden afneemt afhankelijk van de grafische afstand $d(i, j)$ tussen knopen. Voor randen ($d(i, j)=1$) neemt de covariantie af als $O(t^2)$, terwijl deze voor niet-randen ($d(i, j) \ge 2$) sneller afneemt, als $O(t^{(\beta+2)\wedge 5/2})$.
• Selectieconsistentie: Onder de aanname dat de scorefunctie-schatter convergeert naar de ware scorefunctie met een snelheid $\epsilon_n$, leiden de auteurs een niet-asymptotische bovengrens af op de waarschijnlijkheid van een incorrecte grafische selectie. Ze tonen aan dat met passende keuzes voor de tijds-parameter $t$ en de drempelwaarde $\tau$, de estimator consistent is (d.w.z. $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$) in een regime met een vaste dimensie.
• Vermijden van Directe Hessiaan-schatting: Door gebruik te maken van het diffusieproces en Tweedie's formule, omzeilt de methode de noodzaak om direct de Hessiaan van de log-dichtheid van de oorspronkelijke distributie $p_0$ te schatten, wat statistisch veeleisender is.

Empirische Resultaten
De auteurs evalueren de methode via uitgebreide simulaties en twee analyses van echte data:

• Simulaties: De methode werd getest op vier distributies: twee Gaussische en twee niet-Gaussische (Butterfly-distributie en Gaussische copula). De voorgestelde diffusie-gebaseerde methode (DDPM) presteerde competitief met correct gespecificeerde parametrische modellen (bijv. Graphical Lasso voor Gaussische data) en presteerde aanzienlijk beter dan bestaande niet-parametrische baselines (SING en L-SING) over alle distributies. Opvallend genoeg behaalde het perfect grafisch herstel in niet-Gaussische settings waar parametrische methoden faalden.
• Beeldanalyse (MNIST): Toegepast op de MNIST-dataset ($D=784$), herstelde de methode een ijle (sparse) grafische structuur van conditionele onafhankelijkheid die consistent is met het lokaliteitsprincipe van afbeeldingen (pixels verbonden primair met directe buren). Het identificeerde ook een specifieke asymmetrie in diagonale randen, wat de rechtsdraaiende helling van handgeschreven cijfers in de dataset reflecteert.
• Financiële Data (Aandelenkoersen): Toegepast op de dagelijkse rendementen van 28 industriële bedrijven, herstelde de methode een ijle graaf van conditionele afhankelijkheden. De geschatte randen toonden betekenisvolle economische relaties, inclus\nief enkele die niet expliciet als concurrenten in externe databases zijn gelabeld, maar die worden ondersteund door leveranciersketens of technologische partnerschappen.

Betekenis en Claims
Het artikel claimt de kloof te overbruggen tussen de theoretische aanpasbaarheid van diffusiemodellen aan onbekende grafische structuren en hun praktische toepassing voor expliciete grafische schatting. De auteurs benadrukken dat hun methode een verenigde, niet-parametrische alternatief biedt voor bestaande benaderingen, in staat om complexe, niet-Gaussische distributies te verwerken zonder dat een correcte modelspecificatie vereist is. Zij merken op dat hoewel de theoretische consistentie is vastgesteld voor vaste dimensies, de empirische resultaten suggereren dat de methode effectief schaalt naar hoogdimensionale settings ($D \gg n$), waarbij gebruik wordt gemaakt van de intrinsieke laagdimensionale structuur van de data. Het werk concludeert door de uitbreiding naar hoogdimensionale asymptotica en discrete distributies te identificeren als natuurlijke richtingen voor toekomstig onderzoek.