Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage

Dombowsky と Dunson による論文「Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage」の詳細な技術的サマリーを以下に示す。

1. 問題定義

離散ベイズネットワーク（DBN）は、有向非巡回グラフ（DAG）を用いてカテゴリカル変数の同時確率分布をモデル化する。標準的な手法は存在するが、高次元または疎なデータ領域において重大な課題に直面している：

• 次元性と疎性： 従来の DBN は、条件付き確率を親カテゴリのすべての組み合わせに対して独立に推定するディリクレ - 多項分布モデルを使用することが多い。あるノードが $k$ 個のカテゴリを持ち、親が $K$ 個の総カテゴリ組み合わせを持つ場合、パラメータ数は指数関数的に増加する（$k^K$）。疎なデータセットでは、多くの「セル」（親 - 子値の組み合わせ）がゼロまたは非常に少ないカウントしか持たず、不安定な最尤推定（MLE）と事前ハイパーパラメータに対する高い感度を引き起こす。
• ハイパーパラメータの選択： ディリクレハイパーパラメータ（事前セルカウント）の選択は困難である。一様事前分布は脆さをもたらす可能性があり、データ駆動型の選択はしばしば指針を欠く。
• 構造学習： DAG 構造（どの変数が他変数の親であるか）の推論は計算コストが高く、しばしば探索アルゴリズムに依存する。これは、特にモデル複雑性を罰する（例えば BIC/AIC を通じて）ことが疎な設定で過小評価につながる場合、可能なグラフの広大な空間に直面して困難を伴う。

2. 手法：階層型ディリクレネットワーク（HiDDeN）

著者は、高次元の条件付き確率を低次元の潜在パラメータへ収束させる階層的事前分布を導入する、柔軟なベイズフレームワークであるHiDDeNを提案する。

A. 階層モデル

条件付き確率 $\pi_{j|Pa(j)}$ を異なる親設定に対して独立として扱うのではなく、HiDDeN はそれらが共通の階層構造から引き出されると仮定する：

1. 潜在集中度： 各ノード $j$ に対して、潜在ベクトル $t_j$ が導入される。任意の親設定 $x_{Pa(j)}$ に対する条件付き確率は以下のようにモデル化される：
   $$\pi_{j|Pa(j)}(\cdot | x_{Pa(j)}) \sim \text{Dir}(t_j)$$
   ここで、$t_j$ はすべての親カテゴリに共有される非正規化された潜在事前平均として機能する。
2. ガンマ事前分布： $t_j$ の要素は独立したガンマ分布に従う：$t_j(x_j) \sim \text{Gamma}(\rho_j/k_j, b_j)$。
3. 収束メカニズム： 総集中度 $\beta_j = \sum t_j(x_j)$ は収束の強さを制御する。$\beta_j \to \infty$ となるにつれて、条件付き確率は共通の平均 $\tilde{\pi}_j = t_j / \beta_j$ に収束する。疎な領域（低いカウント）では、事後推定はこの共通平均へ収束し、異なる親カテゴリ間で情報を効果的にプールする。

B. 推論：MALA 内ギブスサンプリング

推論を行うために、著者は高次元の条件付き確率 $\pi$ を周辺化し、潜在集中度 $t_j$ のみに依存する尤度を残す。

• 対数凹性： 彼らは、軽度の条件（具体的には、形状パラメータ $\rho_j \ge k_j$ かつ周辺セルカウントが正である場合）の下で、潜在集中度 $t_j$ の完全条件付き分布が対数凹性を持つことを証明する。
• サンプリングアルゴリズム： この対数凹性を利用し、ギブスサンプリング内で**メトロポリス調整ランジュバンアルゴリズム（MALA）**を採用する。
  • このアルゴリズムは、対数事後分布からの勾配情報を用いて $t_j$ を更新する。
  • このアプローチは、標準的なメトロポリス - ヘイスティングス法や事後分布を近似する変分推論よりも効率的であり、変分代理変数の必要性を回避する。
  • この手法はカテゴリ間での並列計算を可能にする。

C. 構造学習アルゴリズム

本論文は、グラフ $G$ の不確実性を処理するために、DAG 構造そのものを推論するよう HiDDeN を拡張する：

1. エッジ指標（アルゴリズム 2）： 候補親に対するベルヌーイ指標を用いて、エッジを反復的に追加/削除する。
2. ベイズ型親選択（アルゴリズム 3）： 候補親集合のセットから直接サンプリングし、一度のステップで親集合全体を更新する。これは候補空間が中程度の場合に効率的である。
3. DAG 推論（アルゴリズム 4）： 候補 DAG のセットからサンプリングすることでグラフ $G$ 全体を更新し、サイクルを生成する動きを拒否することで非巡回性を維持する。
4. 推定量： 著者は、最終的なグラフ構造に対して中央値確率モデル（事後確率が 0.5 超のエッジを選択）または**MAP（最大事後確率）**推定量を使用することを提案する。

3. 主要な貢献

• 新規階層事前分布： 疎性を処理するために DBN 向けに特別に設計された、低次元の潜在パラメータへの収束を誘発する階層型ディリクレモデルの導入。
• 効率的な MCMC サンプリング： 潜在集中度事後分布の対数凹性を活用する MALA 内ギブスサンプリングの開発。これは変分推論や標準的な MCMC に対する計算的に効率的な代替手段を提供する。
• 構造学習フレームワーク： DAG における不確実性（エッジ確率を通じて）を定量化し、事前知識の取り込み（例えば、親集合の制限）を可能にする完全ベイズ的な構造学習アプローチ。
• 理論的保証： 条件付き分布の対数凹性の証明により、MALA サンプリングの妥当性と効率性が保証される。

4. 結果

著者は、シミュレーションと実世界への応用を通じて HiDDeN を評価した：

• パラメータ学習（疎なカウント）：

  • 疎性を変化させたシミュレーション（親カテゴリ数の増加）において、HiDDeN はロジスティック回帰（MLE/ベイズ）、GAM、および標準的なディリクレ - 多項分布モデルと比較して、一貫して低い二乗平均平方根誤差（RMSE）を達成した。
  • HiDDeN は疎なセル間で情報を効果的にプールしたが、競合手法は過剰適合（MLE）するか、ハイパーパラメータに過度に敏感であった。

• 構造学習（合成データ）：

  • マルコフブランケット： 合成肺がんデータである LUCAS データセットにおいて、HiDDeN はグループ Lasso、Grow-Shrink（GS）、および IAMB アルゴリズムと比較して、最小のハミング距離で真のマルコフブランケットを回復した。
  • DAG 選択： 1 つの余分なエッジを持つ 2 つの競合 DAG を比較するシミュレーションにおいて、HiDDeN は様々なサンプルサイズにわたり、80% 以上の反復で真の構造を正しく識別した。対照的に、BIC と AIC は罰則項により一貫して単純な（誤った）モデルを支持し、標準的な BDE スコアは疎な設定で性能が劣った。

• 実世界への応用（METABRIC 乳がん）：

  • 臨床共変量（腫瘍の大きさ、年齢など）と結果（手術の種類、化学療法、死亡）の間の関係をモデル化するために、1,980 件の乳がんサンプルのデータセットに適用された。
  • HiDDeN は、死亡率（DFC）が特定の腫瘍特性とは無関係に、主に年齢、化学療法、コホートに依存する、疎で解釈可能なネットワークを特定した。
  • Hill-Climbing、TABU、およびペナルティ付きロジスティック回帰と比較して、HiDDeN は定量化された不確実性（例えば、事後確率が 0.5 に近いエッジを特定すること）を備えた、より微妙な構造を提供した。

5. 意義

この研究は、離散グラフモデルにおける重要なボトルネック、すなわち疎なカテゴリカルデータにおける「次元の呪い」に対処するものである。

• ロバスト性： 推定値を共通の潜在構造へ収束させることで、HiDDeN はゼロまたは低いカウントの存在下でのモデルの崩壊を防ぎ、これは標準的な DBN の一般的な失敗モードである。
• スケーラビリティ： 対数凹性の性質により、勾配ベースの MCMC（MALA）の使用が可能となり、標準的なサンプリングでは遅すぎる大規模ネットワークでの推論を可能にする。
• 不確実性の定量化： 単一の「最良」グラフを出力する多くの構造学習アルゴリズムとは異なり、HiDDeN はグラフに対する事後分布を提供し、研究者が特定の因果関係に対する信頼性を評価することを可能にする。
• 一般化可能性： このフレームワークは単純な DBN を超えて適用可能であり、離散データのための階層型ディリクレ過程（HDP）や深層生成モデルへの潜在的な拡張を有する。

要約すると、HiDDeN は、特にデータが疎で高次元であるシナリオにおいて、離散ベイズネットワークの構造とパラメータを学習するための統計的に厳密かつ計算的に効率的な解決策を提供する。