Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

技術要約：非共役事前分布を用いたDAGの適応的ベイズ構造学習

問題提起
本論文は、ガウス型DAG（有向非巡回グラフ）におけるベイズ枠組みを用いた構造学習の課題に取り組んでいる。DAGは条件付き独立性と因果関係を表現するための強力なツールであるが、最適なグラフ構造を決定することは計算量が多く、統計的な不確実性を伴う。従来のベイズ的アプローチは、解析的な扱いやすさを容易にするために、正規逆ガンマ（NIG）分布のような共役事前分布に依存することが多い。しかし、著者らは、これらの共役事前分布が必ずしも最高の事後確率や、生成モデルにおけるノードやエッジの包含に関する最も正確な構造学習をもたらすわけではないと主張している。主な目的は、構造学習における適応性を維持しながら、事後確率と計算効率を向上させる手法を開発することである。

手法
著者らは、ガウス型DAGのパラメータに対して非共役な正規ガンマ（NG）事前分布を利用する、新しいベイズ構造学習アプローチを提案している。

1. モデル定式化:

   • 変数の結合分布は、修正されたコレスキー分解（$\Omega = L D^{-1} L^T$）を介して再パラメータ化された、平均ゼロのガウス型DAGとしてモデル化される。
   • パラメータは、対角要素 $D_{jj}$（条件付き分散）と下三角係数 $L_{\prec j]}$（回帰係数）で構成される。
   • $D_{jj}$ が逆ガンマ分布に従う標準的なNIGアプローチとは異なり、提案手法では $D_{jj}$ にガンマ分布（$\Gamma$）を割り当て、一方で $D_{jj}$ を条件とした $L_{\prec j]}$ には正規分布を維持する。

2. 理論的導出:

   • 著者らは、この非共役事前分布の下でのパラメータの周辺尤度および結合事後密度関数を導出した。
   • 主要な理論的結果には、事後分布および周辺密度の式における第3種ベッセル関数（$K_\nu$）の出現が含まれる。この数学的特性により、共役性が提供する典型的な解析的簡略化を用いずに、事後確率を計算することが可能となる。

3. MCMCアルゴリズム:

   • 事後推論を実行するために、マルコフ連鎖モンテカルロ（MCMC）スキームを開発した。
   • アルゴリズムは、エッジの挿入、削除、および方向の反転といった局所的なオペレータを用いてDAGの空間（$S_q$）を探索し、生成されるグラフが常に非巡回であることを保証する。
   • DAG間の遷移における受理確率は、導出された周辺尤度（定理1）とエッジ包含の事前確率を用いて計算される。
   • 各反復において、グラフ構造とパラメータを同時に更新するために、完全条件付き分布からサンプリングを行う。

主な貢献

• 非共役事前分布の実装: 本論文は、ガウス型DAGに対して正規ガンマ事前分布の使用を導入し、標準的な共可正規NIGフレームワークから脱却している。
• ベッセル関数による計算効率化: 非共役事前分布が計算負荷を高めるという直感に反して、著者らは、事後計算においてベッセル関数を利用することで、共役NIGモデルと比較してMCMC計算が高速化されることを示している。
• 適応的なスパース性: 提案手法は、エッジの包含に関して「慎重」または保守的な挙動を示す。エッジの包含確率が高い場合にのみエッジを含める傾向があり、エッジ包含の事前確率が低い場合には、よりスパースなDAGを生成する。
• 事後確率の向上: 本研究は、提案されたNG事前分布が、NIG事前分布と比較して、最大事後確率（MAP）DAGに対して高い事後確率を与えることを主張している。

結果
手法の評価は、シミュレーション研究および実世界のアプリケーションを通じて行われた。

1. シミュレーション研究:

   • 性能指標: NGモデルを、様々なサンプルサイズ（$n=200, 300$）およびノード数（$q=40, 50$）にわたってNIGモデルと比較した。
   • 精度: NGモデルは、特異度（SP）、偽陰性率（FNR）、誤指定率（MISR）、および正解率（AC）において優れた性能を示した。
   • 感度のトレードオフ: NGモデルはNIGと比較して、感度（SE）およびF1スコアが低かった。著者らはこれを、モデルの保守的な性質によるものと考えている。エッジ包含の事前確率が低い場合、NGモデルは真陽性を少なく生成するため、感度は低くなるが特異度は高くなる。
   • 計算時間: NGモデルの反復あたりの計算時間は、変数やサンプルサイズが増加しても、一般的にNIGモデルよりも短かった。ベッセル関数の導入は、顕著な計算遅延を引き起こさなかった。

2. AMLデータ分析:

   • 手法は、急性骨髄性白血病（AML）患者のデータセット（$n=68, q=18$ タンパク質）に適用された。
   • 収束: トレースプロットは、良好なMCMCの混合と収束を示した。
   • 事後確率: NGモデルによって推定されたMAP DAGの事後確率は0.769であり、NIGモデルが得た0.0016よりも大幅に高かった。
   • 構造推定: 中央確率モデル（MPM）とMAP推定の両方が生成され、一貫した構造学習能力を示した。

意義と主張
本論文は、提案された適応的ベイズ構造学習アプローチが、従来の共役事前分布に対する堅牢な代替案を提供すると主張している。非共役な正規ガンマ事前分布を採用することで、本手法は以下を実現する：

• 高い事後確率: 得られるMAP DAGは大幅に高い事後確率を持ち、これはデータ生成プロセスへの適合性が高いことを示唆している。
• 計算上の利点: 理論的な非共役性の複雑さにもかかわらず、本手法は共役NIGアプローチよりも計算速度が速い。
• 適応性: モデルは、事前確率が低いエッジ密度を示唆する場合に、偽の関係を効果的にフィルタリングすることで、エッジ包含に対して保守的に振る舞い、真の構造に適応する。

著者らは、この手法が因果発見および推定において応用できる可能性があり、多変量シナリオにおける変数間の依存関係を明らかにするための、より正確で効率的なツールを提供すると結論付けている。