Robust Simulation Based Inference Through Robust Optimal Transport

技術的概要：ロバスト最適輸送に基づくロバストなシミュレーション推論

問題定義
シミュレーション推論（SBI）は、パラメトリックモデル $\{P_\theta : \theta \in \Theta\}$ の尤度関数が解析的に扱いにくい場合の統計的推論の枠組みであり、ただしモデルからのシミュレーションは可能である。標準的な SBI 手法は、しばしばデータ生成分布 $P$ がモデルの正確なメンバー（$P = P_{\theta^*}$）であると仮定する。しかし、実際にはモデルは完全ではなく、データは汚染を受ける可能性がある。既存のロバスト手法は、通常、「Huber 汚染」（データの割合 $\epsilon$ が任意のノイズに置き換えられる質量汚染）または幾何学的摂動（データ点が微小距離だけシフトする）のいずれかを扱っている。尤度が利用できない SBI の設定において、両方のタイプの汚染を同時に処理できる手法には大きなギャップが存在する。さらに、多くのロバストな SBI 手法は、ハイパーパラメータ選択（例えばカーネルバンド幅）に対する感度が高い、あるいは質量汚染に対するロバスト性が欠如している、それぞれが課題である最大平均不一致（MMD）や Wasserstein 距離に依存している。

手法
著者は、新しい発散測度と不確実性定量化のための通常のブートストラップを統合するフレームワーク、**ブートストラップ最小ロバスト半拘束 Wasserstein-2（B-MRSW）**を提案する。

1. 発散（$\ell_\lambda$）: 手法の中核は、$\lambda$-ロバスト半拘束 Wasserstein-2（$\lambda$-RSW）発散である。確率測度 $P_1, P_2$ に対して、以下のように定義される：
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   ここで、$KL$はカルバック・ライブラー発散、$W_2$ は Wasserstein-2 距離である。この定式化は、KL によってペナルティ化されたコストで $Q$ による再重み付けを可能にすることで、標準的最適輸送の硬い周辺制約を緩和する。これは分布制約付き経験尤度に動機づけられている。

   • ロバスト性: 著者は、中間的な $\lambda$ の値（例：$\lambda=1$）において、$\ell_\lambda(P, P_\theta)$ を最小化することが、$P = (1-\epsilon)Q + \epsilon F$ かつ $W_2(Q, P_{\theta^*}) \le \rho$ である幾何的＋Huber（G+H）汚染モデルに対してロバストなパラメータ推定量をもたらすことを証明する。
   • 極限: $\lambda \to 0$ において、$\ell_\lambda$ は $W_2^2$ に収束する（Huber 汚染に対して感度が高い）。$\lambda \to \infty$ において、それは平均最近傍距離に収束する（分散推定に対して無情報である）。

2. 半離散近似のアルゴリズム:
   $P_n$（経験データ）は離散的であり、$P_\theta$ はしばしば連続であるため、この問題は半離散的である。著者は、定理 3.1 において双対定式化を導出し、min-min 問題をベクトル $g \in \mathbb{R}^n$ 上の凹最大化問題に変換する：
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   彼らは、この値を近似するための確率的部分勾配上昇（SGA）アルゴリズムであるアルゴリズム 1を提案し、$O(n^2/\epsilon^2)$ の時間で $O(\epsilon)$ の期待絶対誤差の収束保証を提供する。

3. 推論パイプライン:

   • $\lambda$ の選択: 適合したモデルと再重み付けされた経験測度との間の Wasserstein-2 距離を、$\lambda$ の値の範囲にわたってプロットした際の「肘」を観察することにより、データ駆動型のヒューリスティックが $\lambda$ を選択する。
   • パラメータ推定: 最小発散推定量 $\hat{\theta}_\lambda$ は、アルゴリズム 1 を通じて評価される非凸目的関数 $\ell_\lambda(P_n, P_\theta)$ を最適化するために、共分散行列適応進化戦略（CMA-ES）を用いて見出される。
   • 不確実性定量化: 通常のブートストラップが最小 $\lambda$-RSW 推定量の上に適用される。$M$ 個のブートストラップデータセットが生成され、それぞれに対して CMA-ES/SGA パイプラインを実行して推定量の分布を生成し、信頼区間を形成する。

主な貢献

1. 理論的ロバスト性: 本論文は、$\lambda$-RSW 発散が、SBI において単一の統合された手法によって以前に扱われていなかった、結合された幾何的＋Huber 汚染モデル下で理論的ロバスト性を提供することを確立する。
2. アルゴリズム開発: 著者は、確率的部分勾配上昇アプローチを利用する、半離散ロバスト半拘束最適輸送の計算に対して収束保証を持つ最初のアルゴリズムを提供する。
3. データ駆動型チューニング: 任意のユーザー指定を不要にする、ロバスト性パラメータ $\lambda$ を選択するための原理的かつデータ駆動型のヒューリスティックが導入される。
4. 不確実性定量化: このフレームワークは、ロバストなベイズおよび頻度論的推論における一般的な失敗モードに対処し、適切な漸近カバレッジを持つ信頼集合を提供するために、通常のブートストラップを統合する。

結果
この手法は 2 つのベンチマークで評価された：

1. 一変量正規分布: G+H 汚染下（Student の $t$ 分布または離散化された正規分布を Dirac 質量と混合）において、B-MRSW は平均と分散を正常に回復する。対照的に、標準的な最小 Wasserstein-2 推定は Huber 汚染下で失敗する。
2. G-and-K 分布: 標準的な SBI ベンチマークとして使用される複雑な 4 パラメータ分布。著者は、B-MRSW を NPL-MMD 手法（Dellaporta ら、2022）と比較する。
   • 感度: NPL-MMD の性能はガウスカーネルのバンド幅に非常に敏感であり、わずかな変化が歪度推定における巨大な誤差と低いカバレッジをもたらす。
   • ロバスト性: B-MRSW は、ヒューリスティックによって選択された広範な $\lambda$ の値にわたって、低い平均二乗誤差（MSE）と高いカバレッジ率を維持する。
   • 効率性: B-MRSW は、大域的最適化のための CMA-ES の使用（NPL-MMD の局所勾配降下に対する）により、NPL-MMD よりも多くのシミュレーター呼び出しを必要とするが、著者は局所極小値を回避しロバスト性を確保するためにこれが不可欠であると主張する。

意義と主張
本論文は、モデルが誤指定されており、データが幾何学的および質量の両方の汚染を含むシナリオにおいて、B-MRSW が SBI に対するロバストな代替案を提供すると主張する。著者は、既存の手法が（MMD におけるカーネルバンド幅のような）慎重かつしばしば調整が困難なハイパーパラメータに依存するのに対し、彼らのアプローチはロバスト性パラメータに対してデータ駆動型の戦略を使用することを強調する。彼らは、ブートストラップと大域的最適化の要件により計算集約的であるが並列化可能であると指摘する。この研究はすべての SBI 問題を解決すると主張するものではなく、特に尤度フリー設定における幾何学的ロバスト性と Huber ロバスト性の間のギャップを標的とし、真のパラメータ（識別可能性の範囲内で）を標的としつつ有効な信頼集合を提供するツールを提供する。将来の研究としては、計算コストを削減するためにシミュレーターの非パラメトリックな代理モデルを学習することが提案されている。