Separate Exchangeability as Modeling Principle in Bayesian Nonparametrics

技術要約：ベイズ非パラメトリックにおけるモデリング原理としての分離交換可能性

問題提起
本論文は、2種類の異なる実験単位（例：行と列）を含む矩形配列（行列）として構造化されたデータに対する、ベイズ非パラメトリック（BNP）推論におけるギャップを扱っている。交換可能性（すべての置換に対する不変性）や部分交換可能性（特定のグループ内での置換に対する不変性）は確立された概念であるが、著者らは、分離交換可能性（行と列のインデックスの独立した置換に対する不変性）が、このようなデータ構造にとって自然なモデリング原理であるにもかかわらず、BNPの文献では活用が不十分であると主張している。

核心となる問題は、標準的なBNPモデル、特に依存型離散ランダム測度（Dependent Dirichlet Process, DDP）に基づくモデルが、分離交換可能性ではなく部分交換可能性を誘導してしまう点にある。同じ実験単位（例：特定の遺伝子、タンパク質、またはOTU）が異なるブロック（例：被験者、時点、または条件）にわたって観察されるシナリオにおいて、部分交換可能性は制限的な対称性を課す：これは、グループ間でのクラスターの「分布」に関する情報の共有は可能にするが、クラスターの「具体的な実現（realization）」に関する情報の共有は許容しない。例えば、部分交換可能性の下では、ユニットAとユニットBがグループ1において共にクラスター化されているという観察結果は、ユニットAが他の何らかのユニットとクラスらター化する確率も同時に上昇しない限り、ユニットAとユニットBがグループ2においても共にクラスター化される確率を高めることはない。これは、行列内におけるユニットの構造的な同一性を無視している。

手法
著者らは、分離交換可能性を明示的に強制する、扱いやすいBNPモデルを構築するためのフレームワークを提案している。彼らは主に2つのクラスのモデルを導入している：

1. 分離交換可能な入れ子状分割（Separately Exchangeable Nested Partitions）:

   • 概念: 著者らは、入れ子状分割モデル（Nested Dirichlet Process, NDPなど）を、分離交換性を尊重するように一般化している。NDPのようにグループ間で「分割の事前法則（prior law）」のみを共有するのではなく、提案されたモデルは、グループのクラスター内における「分割の実現（realization）」を共有する。
   • 構成: モデルはまず、交換可能分割確率関数（EPPF）を用いて列（グループ）をクラスター化する。各列のクラスター内において、行（実験単位）が分割される。決定的なのは、特定の列クラスター内のすべての列は、全く同じ行の分割の実現を共有することである。
   • 実装: 彼らは「Separately Exchangeable NDP-CAM」（共通のアトムを持つ入れ子状Dirichlet Process）を提案している。このモデルは、列のクラスター化と入れ子状の行の分割を定義するために潜在インジケータを使用する。これは、分離交換配列に対するアルドウス＝フーバー（Aldous-Hoover）表現定理を満たすことが示されている。
   • 一般化: このフレームワークでは、列の分割と行の分割の両方に対して、標準的なDirichlet Process（DP）事前分布を、より柔軟なギブス型事前分布（例：Pitman-Yor Process、有限混合混合モデル）に置き換えることが可能であり、一般化された中国料理店過程（gCRP）を通じて計算の扱いやすさを維持している。

2. 分離交換可能な非パラメトリック回帰（Separately Exchangeable Nonparametric Regression）:

   • 概念: 著者らは、2組の実験単位（例：タンパク質と被験者）を含む回帰問題のために、依存型Dirichlet Process（DDP）を適応させている。
   • 構成: アトム（原子）に加法的な効果を導入することで、ANOVA DDPを修正している。具体的には、アトムは行の単位に特有の項、列の単位に特有の項、およびグローバルな項を含む線形予測子として定義される。
   • 定式化: モデルは $y_{i,j} \sim F_{(i,j)}$ と仮定し、ランダム測度 $F_{(i,j)}$ は、アトムが $\beta_h + \xi_i + \eta_j$ に中心を持つ。ここで、$\xi_i$ と $\eta_j$ は、行および列のための独立したランダム効果である。この構造により、結合法則は $i$ と $j$ の分離した置換に対して不変となる。
   • 柔軟性: 分割モデルと同様に、回帰係数のクラスター化を許容するために、行および列の効果の事前分布としてギブス型過程を選択できる。

主な貢献

• 理論的明確化: 既存の特定の依存型ランダム分割モデル（Lee et al., 2013; Page et al., 2022など）に対するアドホックな批判を、分離交換性の違反の結果として再定義している。これにより、同じ実験単位が複数のグループに現れる場合に、部分交換可能性が不適切であることへの形式的な確率論的根拠を提供している。
• モデル構築: 幅広く用いられている部分交換的なBNPモデル（特にNDPおよびDDP）に対する、分離交換可能な対応モデルの最初の体系的な導出を行っている。
• 計算の扱いやすさ: 提案されたモデルが解析的および計算的に扱いやすいことを示している。彼らは、導出された交換可能分割確率関数（EPPF）および部分的EPPF（pEPPF）を用い、標準的なマルコフ連鎖モンテカルロ法（MCMC）（具体的には部分的に崩壊したギブスサンプリング）の使用を可能にしている。
• 情報の共有（Borrowing of Strength）: 情報共有の性質を明確にしている。分離交換性は、あるグループにおける特定の単位の共クラスター化に関する学習が、別のグループにおける共クラスター化に情報を与えることを可能にする。これは、標準的な部分交換可能性には欠けている機能である。

結果と応用
著者らは、以下の実世界のデータセットを用いて、提案手法を実証している：

1. マイクロバイオーム・データ（食事置換研究）:

   • データ: 38人の被験者にわたる119個の操作的分類単位（OTU）の頻度。
   • 適用: 被験者のマイクロバイオーム・プロファイルに基づいて被験者をクラスター化すると同時に、被験者クラスター内のOTUをクラスター化する。
   • 結果: モデルは、地理的領域（米国 vs. ルーラル・アフリカ）に対応する被験者クラスターを特定することに成功した。決定的なことに、部分交換可能性モデルとは異なり、OTUの同一性を尊重しながら、被験者クラスター内における特定のOTUの共クラスター化に関する意味のある推論を提供した。

2. タンパク質発現データ（運動失調症研究）:

   • データ: さまざまな年齢で測定された、32人の被験者（16人のコントロール、16人の患者）における約3,990個のタンパク質の存在量。
   • 適用: 年齢に伴うケースとコントロール間のタンパク質の発現軌跡の差を特定するために、非パラメトリック回帰モデルが使用された。
   • 結果: モデルはタンパク質固有のスロープの差（$\gamma_i$）を推定し、その差の大きさによってタンパク質をランク付けした。このアプローチは、疾患に関連するトップランクのタンパク質を特定することに成功し、欠損データを含む複雑で多次元的な実験デザインを扱う上での分離交換性の有用性を実証した。

意義と主張
本論文は、実験単位が異なる条件下でもその同一性を維持する行列構造のデータに対して、分離交換性がより優れたモデリング原理であることを主張している。著者らは以下の通り主張している：

1. 設計への忠実性: 分離交換性は、設計行列の構造的情報をしばず、部分交換性がしばしばそうであるように、実験設定を部分交換性よりも忠実に表現する。
2. 特定の推論の必要性: 特定の単位（例：OTU 1とOTU 2）が複数のグループにおいて共にクラスター化されているかどうかを判断するというような特定の推論目標は、分離交換性を伴わずに一貫して述べることも実行することもできない。
3. 実用的な実現可能性: 提案されたモデルは単なる理論的構成物ではなく、既存のBNPツールに対して柔軟な代替案を提供しつつ、計算可能であり、実務における推論を実行する能力を維持している。

著者らは、実験設定を注意深く検討することは、しばしば「オムニバス」的な交換可能性や標準的な部分交換性を超えて、分離交換性のようなより具体的な対称性の仮定を必要とすることを結論づけている。