Nonparametric undirected graphical model selection using diffusion models

技術要約：拡散モデルを用いた非パラメトリックな無向グラフモデル選択

問題提起
無向グラフモデルは、高次元の確率変数間の条件付き独立構造を表現するための枠組みを提供する。モデル選択は、ゲノミクス、神経科学、金融などの分野に応用される高次元統計学における中心的な問題であるが、既存の多くの手法はパラメトリックな仮定（例：ガウスグラフィカルモデルやイジングモデル）に依存している。これらの手法は、真の分布が仮定されたパラメトリックな形式から逸脱する場合、失敗することが多い。非パラメトリックなアプローチも存在するが、密度推定における「次元の呪い」と、グラフ構造を特定するために必要な（対数密度のヘシアンである）二階微分を推定するという追加の複雑さにより、統計的に困難である。これは、関係式 $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$ を通じて行われる。

手法
著者らは、拡散モデルに基づく新しい非パラメトリックな無向グラフモデル選択手法を提案している。この手法は、拡散モデルがスコア関数（対数密度の勾配）を推定でき、次元の呪いに完全には苦しむことなく低次元の構造に適応できるという事実を利用している。

提案された手順（アルゴリズム1に要約）は、以下のステップで構成される：

1. スコア関数の推定： 標準的な拡散モデリングの枠組み（具体的にはデノイジング拡散確率モデル、DDPM）を用い、観測されたデータに対してスコア関数の一族 $f_0(x, t) = \nabla \log p_t(x)$ を推定する。ここで、$p_t$ は前方拡散過程の周辺密度である。これは、スコアマッチングを通じて達成される。
2. ツイディの公式によるヘシアン推定： 推定されたスコア関数を直接微分する（これは数値的に不安定である）代わりに、本手法は二階のツイディの公式を利用する。この公式は、対数密度のヘシアン $\nabla^2 \log p_t(x)$ と、ノイズを含む観測値 $X_t = x$ が与えられたときの元のデータの条件付き共分散との関係を以下のように記述する：
   $$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$$
   ここで、$\mu_t$ および $\sigma_t$ は前方オルンシュタイン＝ウーレンベック過程のパラメータである。
3. グラフの復元： 本手法は、逆拡散過程からのモンテカルロ・サンプリングを用いて条件付き共分散 $\text{Cov}[X_0 | X_t = x]$ を推定する。具体的には、固定された時刻 $t$ とランダムなベクトル $U_t$ に対して、推定されたヘシアン成分の絶対値の経験的期待値 $E_n[|\hat{H}_{ij}(U_t, t)|]$ を計算する。
4. 閾値処理とクラスタリング： 推定されたヘシアン成分の平均的な大きさが閾値 $\tau$ を超える場合、エッジ $(i, j)$ を推定グラフに含める。実用的なチューニングに対応するため、著者らは複数の小さなタイムステップ $t_1, \dots, t_M$ にわたって情報を集約し、標準化されたヘシアンの値に対してK-meansクラスタリングを適用することで、エッジと非エッジを分離することを提案している。

主な理論的貢献
著者らは、（特に $\log p_0$ がヘルダー級数 $\mathcal{H}_{\beta, K}$ に属するという）緩やかな正則性条件の下で、提案手法に対する厳密な理論的保証を確立している：

• 減衰率： 著者らは、条件付き共分散 $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ が、ノード間のグラフ距離 $d(i, j)$ に応じて異なる速度で減衰することを証明している。エッジ（$d(i, j)=1$）の場合、共分散は $O(t^2)$ で減衰するが、非エッジ（$d(i, j) \ge 2$）の場合はより速く、$O(t^{(\beta+2)\wedge 5/2})$ で減衰する。
• 選択の一貫性： スコア関数推定量が真のスコア関数に収束するレート $\epsilon_n$ の仮定の下で、著者らは誤ったグラフ選択の確率に関する非漸近的な上界を導出している。適切な時刻パラメータ $t$ と閾値 $\tau$ を選択することで、固定次元レジームにおいて、この推定量は一貫している（すなわち $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$）ことを示している。
• 直接的なヘシアン推定の回避： 拡散過程とツイディの公式を利用することで、元の分布 $p_0$ の対数密度のヘシアンを直接推定する必要性を回避している。これは、統計的に極めて要求の厳しい作業である。

実証結果
著者らは、広範なシミュレーションと2つの実データ分析を通じて手法を評価している：

• シミュレーション： 手法は4つの分布（2つのガウス分布と、2つの非ガウス分布であるバタフライ分布およびガウス・コピュラ）でテストされた。提案された拡散ベースの手法（DDPM）は、正しく指定されたパラメトリックモデル（ガウスデータに対するGraphical Lassoなど）と同等の性能を示し、すべての分布において既存の非パラメトリックなベースライン（SINGおよびL-SING）を大幅に上回った。特筆すべきは、パラメトリックな手法が失敗した非ガウスの設定において、完璧なグラフ復元を達成したことである。
• 画像解析（MNIST）： MNISTデータセット（$D=784$）に適用したところ、画像の局所性の原理（ピクセルは主に隣接するピクセルと接続している）と一致する、疎な条件付き独立グラフを復元した。また、手書き数字の右への傾きを反映した、対角エッジの特定の非対称性も特定した。
• 金融データ（株価）： 28の産業企業の日常的なリターンに適用したところ、疎な条件付き依存関係のグラフを復元した。推定されたエッジは、外部データベースで競合他社として明示的にラベル付けされていないものも含め、サプライチェーンや技術提携によって裏付けられた意味のある経済的関係を示した。

意義と主張
本論文は、未知のグラフ構造に対する拡散モデルの理論的な適応能力と、明示的なグラフ推定への実用的な応用の間の溝を埋めるものであると主張している。著者らは、本手法が、正しいモデル指定を必要とせず、複雑な非ガウス分布を扱うことができる、統一された非パラメトリックな代替案を提供することを強調している。また、理論的な一貫性は固定次元において確立されているものの、実証結果は、データの固有の低次元構造を活用することで、高次元設定（$D \gg n$）に対しても効果的にスケールすることを示唆している。結論として、高次元漸近論および離散分布への拡張が高次元の研究方向であることを述べている。