Handling Missingness and Censoring in Dirichlet Models

技術要約：ディリクレモデルにおける欠測およびセンサリングの取り扱い

問題提起
組成データ（部分の相対的な割合を表し、単位単体上に存在するデータ）は、微生物学から環境科学に至るまで、幅広い分野で頻繁に遭遇するものである。ディリクレ分布は、制約のないデータにおける多変量正規分布に類似した、このようなデータに対する標準的な確率モデルである。しかし、現在の実務における重大な制限は、ディリクレ・パラメータの尤度に基づく推論には、通常、完全に観測された組成が必要であるという点である。現実世界のシナリオでは、データに欠測成分やセンサリングされた値（例：検出限界や不完全な種同定によるもの）が含まれることが多い。

不完全性を扱う既存のアプローチは、一般に以下の3つのカテゴリーに分類される（行の削除（情報の破棄）、固定値（ゼロなど）による代入、または補完）。補完法は、データを非制約空間へ変換（例：対数比変換）し、モデルを適合させ、その結果を単体へと写像することに依存する場合が多い。この変換ベースのアプローチには、元の変数の解釈が復元不能になる可能性がある、単体への単射的な写像を提供できない、およびセンサリング機構を自然に組み込むことが困難であるといった、いくつかの欠点がある。さらに、非パラメトリックな補完法は特定のセンサリング構造を無視することが多く、潜在的なバイアスや基礎となる分布の歪みを引き起こす可能性がある。

手法
著者らは、欠測成分とセンサリングされた成分の両方を、Heitjan & Rubin (1991) の意味における「粗雑化（coarsening）」の一形態として扱う統一的なフレームワークを提案している。このフレームワークは、完全にランダムな欠測（MCAR）、ランダムな欠測（MAR）、および非ランダムな欠測（MNAR）を、それぞれ完全にランダムな粗雑化（CCAR）、ランダムな粗雑化（CAR）、および非ランダムな粗雑化（CNAR）の特殊なケースとして包含する。本論文では、メカニズムが観測されたデータには依存するが観測されていない正確な値には依存しないため、尤度に基づく推論において無視可能となる「ランダムな粗雑化（CAR）」メカニズムに焦点を当てる。

本手法の核心は、データの変換を介さずに、単体上で直接ディリクレ・パラメータの最大尤度（ML）推定を行うために設計された期待値最大化（EM）型のアルゴリズムである。アルゴリズムは以下の手順で行われる：

1. 理論的基礎： 著者らは、観測された成分の周辺密度、および観測された成分とセンサリング境界によって定義される実行可能領域を条件とした未観測成分の条件付き分布を導出している。未観測成分の条件付き分布は、観測された部分およびセンサリング境界によって定義される実行可能領域を条件としたとき、切断ディリクレ分布に従うことを確立している。
2. Eステップ： アルゴリズムは、完全データの対数尤度の条件付き期待値を計算する。これには、未観測成分の対数の期待値の計算が含まれる。切断ディリクレ分布の性質を用いて、著者らはディガンマ関数と切断分布の正規化定数の微分を用いたこれらの期待値の閉形式の表現を導出している。
3. Mステップ： アルゴリズムは、パラメータベクトル $\alpha$ に関して期待完全データ対数尤度を最大化する。最適化中にディリクレ・パラメータの正性を保証するため、著者らは再パラメータ化（$\alpha_k = e^{\beta_k}$）を採用し、EM反復内にネストされたニュートン・ラフソン（NR）アルゴリズムを利用している。ヘッセ行列の逆行列は、シャーマン・モリソンの公式を用いて効率的に計算される。
4. 収束： アルゴリズムは特定の停止規則を採用している。それは、ニュートン・ラフソンによる内部規則と、観測データ対数尤度に適用されるアイトケン加速基準に基づく外部規則である。

主な貢献
本論文の具体的な技術的貢献は以下の通りである：

• 統一的フレームワーク： データの変換を必要とせず、単体上の欠測成分とセンサリングされた成分を同時に扱う単一の尤度ベースのフレームワークを開発した。
• ディリクレのためのEMアルゴリズム： 不完全なデータが存在する場合のディリクレ・パラメータのML推定のための、計算効率の高いEM型アルゴリズムを開発した。これには、切断ディリクレ分布を含む必要な条件付き期待値の導出が含まれる。
• 最小限のデータ要件： 本手法は、行に単一の観測成分しか存在しないデータセットに対しても、ディリクレ分布の適合を可能にする。これは、既存の変換ベースの手法の多くが失敗するシナリオである。
• 同時推定と補完： このアプローチは、パラメータ推定とモデルベースの補完を同時に行い、組成構造を保持し、逆変換に伴う誤差を回避する。

結果と評価
提案手法の性能は、主に2つの経路を通じて評価された：

1. シミュレーション研究： 広範なシミュレーション研究（詳細は補足資料に記載）により、より複雑な粗雑化メカニズムの下での手法の性能を評価した。結果は、提案された推定器が、完全なケースのみに基づくML推定と比較して、パラメータの回復を大幅に改善することを示した。さらに、提案されたアルゴックリズムによって生成された補完は、既存のモデルベースのアプローチ（ALR-EM）や非パラメトリックな代替案（幾何平均補完）よりも小さい誤差を示した。本手法は、最大90%の未観測値を持つデータセットのような極端な条件下でも信頼性を示した。

2. 実データへの適用： 本手法は、米国国民健康栄養調査（NHNHANES）のマーキュリー（水銀）形態解析データに適用された。このデータセットには、検出限界と不完全な種同定により、約72%のセルが未観測となっている3,872の観測値が含まれていた。

   • ディリクレモデルは、観測されたデータに対して、多変量ロジスティック・ノーマル・モデル（ALR-EMアプローチで使用される）よりも優れた適合を示した。これは、より高い観測対数尤度、AIC、およびBICの値によって裏付けられている。
   • ワッサースタイン距離の計算により、適合されたディリクレ分布とロジスティック・ノーマル分布がデータを異なる形でモデル化していることが確認され、ディリクレの方がより妥当な表現を提供していることが示された。
   • 本手法は、未知の水銀形態の割合を正常に推定し、競合するアプローチと比較して、観測された組成構造をより良く保持する補完を提供した。

意義と主張
著者らは、本研究が組成データ分析における根本的なギャップ、すなわち、単位単体上の不完全な割合を直接受け入れる尤度ベースの推定手法の欠如に対処していると主張している。データを非制約モデルに適応させるという従来の視点を逆転させることで、提案された手法は、組成データの幾何学的構造と制約を尊重する推定ツールを開発している。

本研究の意義は、未観測値が存在する場合でも、単体上で直接尤度ベースの推論とクラスタリングを可能にする能力にある。著者らは、これがより豊かな混合構造や、より柔軟な推論手続きを含む、単体ベースのモデリングへのさらなる発展への扉を開くと示唆している。本手法は、特に高いレベルの欠測やセンサリングを伴うシナリオにおいて、変換ベースのアプローチによって導入される解釈上の制限や潜在的なバイアスを回避する、堅牢な代替策として提示されている。