論文「Nonparametric Perturbations with Generalized Bayes」の技術的サマリー

1. 概要と問題設定

パラメトリックなベイズモデルは、科学的知識や仮説を確率的機械学習に組み込むための柔軟なツールを提供しますが、モデルが現実を完全に記述できない（モデルの誤指定、misspecification）場合、推論が信頼できなくなるというリスクがあります。特に、真のデータ分布 $p_0$ がパラメトリックモデル族 $M_{pm}$ に含まれていない場合、事後分布は真の値に収束せず、過信された推論をもたらします。

本論文は、**関数推定（functional inference）の文脈において、パラメトリックモデルの誤指定に対処しつつ、データ効率性を維持する新しい手法を提案しています。具体的には、真のデータ分布 $p_0$ に対して、パラメトリックモデルと非パラメトリックな摂動（perturbation）を混合したモデル（NPP: Nonparametric Perturbations of Parametric Models）を構築し、その統計的性質を維持しながら計算コストを削減した一般化ベイズ（Generalized Bayes）アプローチ（gNPP）**を提案します。

2. 提案手法：gNPP (Generalized Nonparametric Perturbations)

2.1 基本構造：NPP モデル

まず、著者らはパラメトリックモデルと非パラメトリックモデルを混合する「非パラメトリック摂動パラメトリック（NPP）」モデルを定義します。
$$\begin{aligned} \theta &\sim \pi(\theta), \\ b &\sim \text{Bernoulli}(\eta), \\ p &= \begin{cases} p_\theta & \text{if } b=1 \quad (\text{パラメトリック}) \\ \sim \pi_{\text{pert}}(p | p_\theta) & \text{if } b=0 \quad (\text{非パラメトリック摂動}) \end{cases} \\ x_{1:n} &\overset{iid}{\sim} p \end{aligned}$$
ここで、混合重み $\eta_n = \Pi(b=1 | x_{1:n})$ はデータに基づいて適応的に決定されます。

• モデルが正しければ: パラメトリックモデルが選ばれ、推論はパラメトリックな収束速度（$O(n^{-1/2})$）で真の値に収束します（効率性）。
• モデルが誤っていれば: 非パラメトリック成分が選ばれ、真の関数値に収束します（頑健性）。

2.2 課題と解決策：一般化ベイズアプローチ

従来の NPP モデルは、非パラメトリックモデルの周辺尤度（Marginal Likelihood）やベイズ因子（Bayes Factor）を計算する必要があり、大規模な機械学習設定では計算が困難です。これを解決するため、著者らは**一般化ベイズ因子（Generalized Bayes Factor, gBF）**を用いた近似手法 gNPP を提案します。

gNPP の核心は以下の 2 点です：

1. 混合重みの計算: 従来のベイズ因子の代わりに、モデルとデータの不一致を測る**発散（Divergence）**に基づいた一般化ベイズ因子 $\text{gbf}_n$ を使用します。
   $$\text{gbf}_n := \Xi\left( \frac{E[\text{prior divergence}]}{E[\text{posterior divergence}] (n+1)^{-r}} \right) \frac{\eta}{1-\eta}$$
   ここで、発散には Wasserstein 距離、最大平均不一致（MMD）、カーネル化 Stein 不一致（KSD）などが利用可能です。これにより、非パラメトリックモデルの周辺尤度を計算する必要がなくなります。
2. 非パラメトリック成分の簡略化: 完全な非パラメトリックモデルの事後分布の代わりに、目的の関数（例：因果効果）を一貫して推定できるセミパラメトリックモデル（例：BART: Bayesian Additive Regression Trees）を使用します。

最終的な gNPP 事後分布は以下のようになります：
$$\hat{\Pi}(\psi(p) | x_{1:n}) = \hat{\eta}_n \Pi_{pm}(\psi(p_\theta) | x_{1:n}) + (1-\hat{\eta}_n) \hat{\Pi}_{pert}(\psi(p) | x_{1:n})$$

3. 理論的性質

著者らは、gNPP が以下の 2 つの重要な性質を持つことを理論的に証明しました。

1. 頑健性（Robustness）:
   真の分布 $p_0$ がパラメトリックモデルに含まれていない場合（$p_0 \notin M_{pm}$）、混合重み $\hat{\eta}_n$ は漸近的に 0 に収束します。その結果、事後分布は非パラメトリック成分を通じて真の関数値 $\psi(p_0)$ に収束します。
2. 効率性（Efficiency）:
   真の分布がパラメトリックモデルに含まれている場合（$p_0 \in M_{pm}$）、混合重み $\hat{\eta}_n$ は 1 に収束します。このとき、事後分布はパラメトリックモデルの事後分布と同等の収束速度（$O(n^{-1/2})$）を持ち、Bernstein-von Mises 定理を満たします。

また、使用する発散（MMD, KSD, Wasserstein）の収束速度に基づき、ハイパーパラメータ $r$ の適切な設定範囲（例：MMD/KSD では $0 < r < 1/2$）も示されています。

4. 実験結果

4.1 合成データ実験

• 設定: 正規分布（パラメトリック）と歪んだ正規分布（誤指定）のシミュレーション。
• 結果:
  • モデル選択: gNPP はモデルが正しい場合はパラメトリックモデルを、誤っている場合は非パラメトリックモデルを適切に選択しました。
  • 推定精度: 誤指定の場合でも真の中央値に収束し、モデルが正しい場合はパラメトリックモデルと同様の高速収束を示しました。
  • 較正（Calibration）: 誤指定の場合、パラメトリックモデルは信頼区間の被覆率が低下しましたが、gNPP は非パラメトリックモデルと同様に良好な被覆率を維持しました。

4.2 実データ応用：単一細胞 RNA シーケンシング（scRNA-seq）

• 課題: 卵巣がん患者の単一細胞データを用いて、転写因子 FOXP3 の発現量変化が、細胞の攻撃性に関わる遺伝子（GZMH, GZMK, NKG7）に与える因果効果（ATE）を推定する。
• モデル:
  • パラメトリック: 健康な細胞のアトラスデータから学習した低次元表現を用いた線形モデル。
  • gNPP: 上記パラメトリックモデルと、BART を用いた非パラメトリックモデルを混合。MMD を発散として使用。
• 結果:
  • GZMH: パラメトリックモデルと gNPP の両方で「FOXP3 抑制は GZMH 増加につながる」という結論が得られ、頑健性が確認されました。
  • GZMK: パラメトリックモデルでは不確実性が高かったが、gNPP はパラメトリックモデルに重みを置きつつ、より明確な結論（FOXP3 抑制は GZMK 増加）を示しました。
  • NKG7: パラメトリックモデルは「FOXP3 抑制は NKG7 減少」という生物学的に不自然な結論を出しましたが、gNPP はモデルの誤指定を検知し（混合重みが低い）、不確実性を増大させることでこの誤った結論を修正しました。

5. 主要な貢献と意義

1. 計算効率性と頑健性の両立: 従来の非パラメトリック摂動モデルは計算が困難でしたが、gNPP は一般化ベイズ因子を用いることで、非パラメトリックモデルの周辺尤度を計算することなく、同様の統計的性質（頑健性と効率性）を実現しました。
2. 汎用性: 因果推論に限定されず、任意の関数推定（平均、分散、損失最小化点など）に適用可能です。また、インフルエンシャル関数などの既存の半パラメトリック手法と矛盾せず、組み合わせ可能です。
3. 実用的なアプローチ: パラメトリックモデルの科学的知見（データ効率性）を維持しつつ、モデル誤指定に対する防御機構を備えた実用的なベイズ推論フレームワークを提供しました。
4. 理論的保証: 発散に基づく一般化ベイズ因子がモデル選択の一貫性を保つこと、および gNPP 事後分布が漸近的に最適な収束速度を持つことを厳密に証明しました。

6. 結論

本論文は、パラメトリックモデルの限界を克服しつつ、その利点（データ効率性、解釈性）を維持するための新しいベイズ推論フレームワークを提案しました。gNPP は、モデルが正しい場合は高速に収束し、誤っている場合は自動的に柔軟なモデルへ切り替わるため、特に医療や生命科学など、モデルの誤指定リスクが高い分野での信頼性の高い推論に貢献する可能性があります。