Information-Preserving Domain Transfer with Unlabeled Data in Misspecified Simulation-Based Inference

技術的概要：誤指定シミュレーションベース推論におけるラベルなしデータを用いた情報保持ドメイン転送

問題定義
シミュレーションベース推論（SBI）は、明示的な尤度評価を必要とせず、シミュレータ生成データからのアモルタイズドベイズパラメータ推論を可能にする。しかし、Neural Posterior Estimation（NPE）などのニューラル SBI 手法の信頼性は、モデルの誤指定（現実世界の観測が学習に用いられたシミュレータによって十分に表現されていない状況）下で低下する。そのような場合、現実世界のデータに対する直接推論は、偏ったまたは過剰に自信を持った事後分布をもたらす可能性がある。

誤指定を緩和するための既存のアプローチは、しばしばラベルなしの現実世界データを用いて、シミュレーション観測と現実観測の周辺分布を整合させる（例：最大平均不一致やドメイン敵対的トレーニングによる）。しかし、著者らは、周辺分布の整合だけでは不十分であると主張する。それは、観測とタスク変数（パラメータ）との間の条件付き構造の保持を保証するものではなく、事後推論に不可欠な情報を失う可能性がある。さらに、多くの既存手法は、既知のパラメータを持つ現実世界データの小さな較正セットを必要とするが、これはしばしば利用できない。

手法：SPIN
本論文は、ラベルなしかつ非対の現実世界観測のみを用いたモデル誤指定下での NPE 向けフレームワークであるSPIN（Simulation-based inference with Parameter-relevant Information-preserving domain transfer：パラメータ関連情報保持ドメイン転送を伴うシミュレーションベース推論）を提案する。

• 中核メカニズム: SPIN は、シミュレータドメイン（$X_s$）と現実世界ドメイン（$X_r$）間の双方向輸送マップを学習する。$G_{sr}: X_s \to X_r$ がシミュレータ観測を現実世界ドメインにマッピングし、$G_{rs}: X_r \to X_s$ が現実世界観測をシミュレータドメインに戻すようにマッピングする。
• 推論プロトコル: テスト時に、現実世界の観測 $x_r$ が $x_{rs} = G_{rs}(x_r)$ を通じてシミュレータドメインにマッピングされる。その後、シミュレータで訓練された NPE モデルを用いて事後分布を推定する：$\hat{p}(\theta | x_r) = q_\psi(\theta | x_{rs})$。
• 情報保持目的関数: 中核的な革新は、輸送がパラメータ関連情報を保持することを保証する訓練目的関数である。現実世界のパラメータラベルは利用できないため、SPIN は訓練中にシミュレータラベルを利用する。
  1. ラベル付きシミュレータペア $(\theta, x_s)$ を現実世界ドメインに翻訳し（$x_{sr} = G_{sr}(x_s)$）、その後シミュレータドメインに戻す（$x_{srs} = G_{rs}(x_{sr})$）。
  2. $x_{srs}$ はラベル付きサンプルに由来するため、元のパラメータ $\theta$ が既知である。
  3. SPIN は、パラメータ $\theta$ と輸送された観測 $x_{srs}$ の間の相互情報量（MI）の変分下限を最適化する。これは、輸送された観測を与えられた元のパラメータの負の対数尤度を最小化することで達成される：
     $$\mathcal{L}_{info}(q) = \mathbb{E}_{(\theta, x_s) \sim p_s} [-\log q(\theta | G_{rs}(G_{sr}(x_s)))]$$
  4. この損失関数は、単に周辺分布を一致させるのではなく、輸送マップがパラメータに関する情報を保持することを促す。
• 訓練手順: このフレームワークは、輸送ネットワーク（$G_{sr}, G_{rs}$）、敵対的ドメイン整合のための識別子、および事後推定量（$q_\psi$）を共同で訓練する。総生成器損失は、敵対的翻訳、サイクル整合性、アイデンティティ正則化、および情報保持項（$\mathcal{L}_{info}$）を組み合わせる。

主要な貢献

1. 情報保持ドメイン転送: 周辺分布の一致に焦点を当てた以前のドメイン整合手法とは異なり、SPIN は、関心のあるパラメータと輸送された観測との間の相互情報を保持するようにドメイン転送を明示的に制約する。
2. ラベルなし・非対適応: SPIN は訓練にシミュレータラベルのみを必要とする。既知のパラメータを持つ現実世界データの較正セットを必要とせず、ラベルなしかつ非対の現実世界観測を用いて NPE を適応させる。
3. 理論的正当性: 著者は、学習された輸送がパラメータ保持結合輸送条件を満たす場合、現実世界のテスト時リスクは $\mathcal{L}_{info}$ によって最小化されるシミュレータラベル付き輸送リスクに等しくなることを示す集団恒等式を提供する。

実験結果
著者は SPIN を 4 つのベンチマークで評価した：

• SIR: 遅延報告を伴う流行モデルに基づく、弱く誤指定された合成ベンチマーク。
• Pendulum: 摩擦なし振り子モデルに減衰を導入した合成ベンチマーク。
• Wind Tunnel: 機械的モデルが実際のチャンバー応答を近似する風洞システムを用いた制御物理ベンチマーク。
• Light Tunnel: 光トンネル応答の簡略化されたモデルを用いた光学イメージングシステムによる制御物理ベンチマーク。

知見:

• 性能: 合成および物理ベンチマーク全体において、SPIN は標準的な NPE および周辺分布整合ベースライン（NPE-MMD、NPE-DANN）と比較して、主要な推論品質指標（二乗平均平方根誤差、対数事後確率、ACAUC）を一貫して改善した。
• 誤指定の影響: SPIN の改善度は、モデル誤指定の度合いが増大するにつれて顕著になった。例えば、Pendulum ベンチマークでは、減衰係数（誤指定の強さ）が増大するにつれ、SPIN はベースラインと比較して優れた事後密度と精度を維持した。
• アブレーション: 情報保持項（$\mathcal{L}_{info}$）を除去すると、特にシミュレータと現実のギャップが大きいタスクにおいて性能が低下した。これは、利益が単なるドメイン整合ではなく、パラメータ関連情報の保持によって駆動されていることを確認する。
• データ効率: SPIN の性能はラベルなし現実世界データの量（$N_r$）に依存し、より大きなデータセットはより安定した輸送学習を提供するが、中程度のデータサイズでも利益が観察された。

意義と主張
本論文は、誤指定された SBI において、シミュレーションデータと現実データ間の周辺不一致を減少させることは必要だが不十分であると主張する。著者らは、ドメイン輸送は関心のあるパラメータに関連する情報を明示的に保持しなければならないと論じる。SPIN は、ラベルなしの現実世界データの輸送中に情報保持を強制するためにシミュレータラベルを活用することで、より頑健で正確な事後推論を達成できることを示している。この手法は、シミュレータと現実のギャップが顕著な場合に特に効果的であり、現実世界のパラメータラベルが利用できない設定に対する実用的な解決策を提供する。