技術的概要：複数のデータソースを用いたベイズ型サロゲートモデルの訓練

問題定義

サロゲートモデルは、不確実性の定量化、感度分析、逆問題の解決などのタスクにおいて、複雑で計算コストの高いシミュレーションモデルを近似するために広く用いられている。しかし、根本的な限界が存在する。すなわち、サロゲートモデルは通常、シミュレーションデータのみで訓練されることである。基礎となるシミュレーションモデルは、現実世界のシステムの不完全な簡略化（プロセスの欠落、誤った仕様、または不正確な境界条件など）であることが多く、サロゲートモデルはこれらの不正確さを継承してしまう。一方、現実世界の測定データは真のシステムに関する貴重な情報を含んでいるが、しばしば希少でノイズが多く、シミュレーションモデルに必要な入力パラメータ（例えば、未知の強制変数など）の完全な知識を欠いている。

これらのデータソースを統合する既存の手法は、いくつかの課題に直面している：

1. 非対称性： シミュレーションデータは完全に指定された入力を持つが、現実世界のデータはしばしば未知の入力を持つ。
2. 均質性の仮定： 多くのアプローチは、均質なデータソースを仮定するか、または単純化された仮定を伴う特定のサロゲート族（例えば、ガウス過程）に依存している。
3. 重み付け戦略の欠如： 訓練中に、異なる信頼度や信頼性を反映させるために、異質なデータソースをどのように適切に重み付けするかに関する文献は限られている。
4. 間接的な統合： 一部の手法は、サロゲート訓練に直接現実世界のデータを使用するのではなく、事後の較正や不一致モデリングのために使用する。

本論文は、選択されたサロゲート族に依存しない新規の重み付け戦略を用いて、シミュレーションと現実世界の複数のデータソース上でベイズ型サロゲートモデルを訓練することにより、これらの課題に対処する一般的な枠組みを提案する。

手法

著者は、2 つの異なるデータソースを組み合わせる枠組みを提案する：

• シミュレーションデータ ($D_S$)： 既知の入力 $x_S$ と不確実なパラメータ $\omega_S$ を持つ物理ベースのモデル $M$ から生成される。
• 現実世界のデータ ($D_R$)： 既知の入力 $x_R$ を持つが、未知のパラメータ $\omega_R$ と測定ノイズを伴う未知のプロセス $G$ から生成される。

この枠組みは、重み付け係数 $\beta \in [0, 1]$ によって制御される、重み付け統合のための 2 つの確率的アプローチを導入する：

1. 事後予測重み付け (PW)

この手法は、2 つの独立したサロゲートモデルを個別に訓練する：

• $D_S$ で訓練され、$D_R$ から未知のパラメータを推論するために使用されるシミュレーションベースのサロゲート ($f_{M_S}$)。
• $D_R$ のみで訓練されるデータ駆動型のサロゲート ($f_{M_R}$)。

最終的な予測は、それらの事後予測分布の重み付き和である：
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
ここで、$\beta$ はシミュレーションベースのモデルの相対的な影響力を制御する。このアプローチにより、2 つのソース間の不一致を、それらの予測分布の重ね合わせを観察することで可視化することが可能となる。

2. 尤度のパワースケーリング (PS)

この手法は、尤度関数への両データソースの直接統合をパワースケーリングを通じて行い、単一のサロゲートモデルを訓練する。結合事後分布は以下のように定義される：
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
スケーリング係数 $\alpha_R$ と $\alpha_S$ は $\beta$ から導出され、$\beta$ が 0 または 1 に近づくにつれて、一方のデータソースの影響が減少し、他方が完全に利用されるようにする。この手法は 2 段階の MCMC 手順を採用する：

1. 結合訓練： パワースケーリングされた尤度を用いて、サロゲート係数 $c$ と中間パラメータを推定する。
2. 精緻化推論： ステップ 1 からの $c$ の事後分布に条件付け、現実世界のデータ $D_R$ の完全な尤度のみを使用して、未知の現実世界パラメータ $(\omega_R, \sigma_R)$ を再推定する。これにより、現実データへの「二重利用」を避け、パラメータが現実世界の証拠に基づいて推論されることを保証する。

実装

この枠組みはサロゲート非依存に設計されており、Stan や PyMC などの確率的プログラミング言語で実装可能な任意の確率的サロゲート（例えば、多項式チャオス展開、ガウス過程、ニューラルネットワーク）に適用可能である。著者はサンプリングにハミルトニアンモンテカルロ (HMC) を利用している。

主な貢献

1. 新規の重み付け戦略： サロゲート訓練中に異質なデータソースを組み合わせるための 2 つの異なる手法（PW と PS）の導入。これにより、純粋なデータ駆動型モデルと純粋なシミュレーションベースモデルの間の連続体を提供する。
2. 非対称性の処理： PS 手法は、係数訓練とパラメータ精緻化を分離する 2 段階の推論手順を通じて、データソースの非対称性（既知対未知の入力）に特に対処する。
3. サロゲート非依存性： 提案された重み付け戦略は特定のサロゲート族に依存しないため、異なるモデリング文脈全体で広範に適用可能である。
4. 診断機能： この枠組みは、シミュレーションと現実世界のデータからの競合する情報を可視化することにより、シミュレーションモデルの構造的限界を診断するメカニズムを提供する。

結果

著者は 2 つのケーススタディを用いて手法を評価する：

ケーススタディ 1：合成例

• 設定： シミュレーションモデルは全体的な傾向を捉えるが、「現実」のデータにはシミュレーションには存在しない追加の周期的項が含まれている。
• 知見：
  • Out-of-Sample (OOS)： 局所データに完全に適合するデータ駆動型サロゲート ($\beta=0$) が最良の性能を示す。
  • Out-of-Distribution (OOD)： 物理法則に基づいて外挿する能力を持つシミュレーションベースのサロゲート ($\beta=1$) が最良の性能を示す。
  • ハイブリッド性能： 中間の $\beta$ において、パワースケーリング (PS) 手法は一般的に低い RMSE（合成真値に近い）を達成し、事後予測重み付け (PW) はより良い ELPD（より良い不確実性モデリング）を提供した。
  • KOH との比較： PS 手法は、特定の $\beta$ 値において標準的なケネディ・オ・ハガン (KOH) 較正枠組みよりも平均関数の回復において優れていたが、KOH は不確実性の定量化において優れていた。

ケーススタディ 2：疫学モデリング (SIR モデル)

• 合成設定： 誤った仕様を持つ SIR モデル（固定された回復率）対、異なる回復率を持つ現実データ。
  • 結果： PS は、データ駆動型モデルからの極端な予測を防ぐためにシミュレーションデータを正則化として利用することで、OOD 領域で優れた性能を示した。PW は、競合する傾向（データにおけるより急激な減少対、シミュレーションにおけるより緩やかな減少）の視覚的な重ね合わせを提供した。
• 現実世界の設定： イタリアの COVID-19 データ（第 1 波）。
  • 結果： データ駆動型モデルは外挿に失敗し（感染増加を予測）、シミュレーションベースモデルは高い不確実性を示し、過度に強い減少を予測した。パワースケーリングアプローチは、$\beta \approx 0.45$ で最適な ELPD を達成し、2 つのソースをバランスさせた。PW 手法は $\beta$ に対して単調な改善を示したが、PS のピーク性能には達しなかった。

意義と主張

本論文は、これらのハイブリッドモデリングアプローチが、単一ソースの訓練が失敗する困難な分布外領域において、予測精度とカバレッジを向上させる柔軟な方法を提供すると主張している。

• 診断的洞察： 著者は、事後予測分布（特に PW 経由）の可視化が診断ツールとして機能することを強調している。これにより、シミュレーションと現実データが分岐する地点を観察することで、シミュレーションモデルにおける欠落プロセスや誤った仕様を特定することが可能となる。
• トレードオフ： 本論文は控えめに、最適な手法と重み付け係数は特定のシナリオと評価指標に依存すると述べている。
  • パワースケーリングは、訓練中にシミュレーションデータを正則化として利用するため、真の値の回復と堅牢な平均予測の達成に推奨される。
  • 事後予測重み付けは、診断目的と競合する情報ソースの直感的な解釈に推奨されるが、データ駆動型コンポーネントが十分に制約されていない場合、堅牢性が低下する可能性がある。
• 将来の方向性： 著者は、2 つのソースに焦点を当てたが、この枠組みは複数のソースに拡張可能であると示唆している。また、PS における最適 $\beta$ の線形探索による発見は計算コストが高くなる可能性があるため、再適合コストを削減するための重要度サンプリングやモーメントマッチングに関する将来の研究を提案している。

要約すると、本論文は、サロゲートモデリングを単なる高コストなシミュレーションの「代替」から、機械的知識と経験的証拠の両方を活用できるハイブリッドモデリングのための診断ツールの一部へと移行させる枠組みを提示している。