Active Learning with Adaptive Non-Stationary Kernel for Continuous-Fidelity Surrogate Models

技術要約：連続的な忠実度を持つサロゲートモデルのための適応型非定常カーネルを用いた能動学習

問題提起
複雑な物理過程、特に有限要素法（FEM）を利用するコンピュータシミュレーションは、計算コストが極めて高くなることが多い。高忠実度（high-fidelity）シミュレーションは精度は高いが膨大なリソースを必要とし、低忠実度（low-fidelity）シミュレーションは安価だが精度が低い。従来のマルチフィデリティ・サロゲートモデリングは、離散的な忠実度レベルや定常ガウス過程（GP）の仮定に依存することが多い。しかし、多くのFEMアプリケーションにおいて、忠実度は数値的な精度を制御するパラメータ（例：メッシュ密度やタイムステップサイズ）によって決定される連続的なものである。既存の手法は、数値誤差が忠実度パラメータがゼロに近づくにつれて消失するという特定の収束挙動や、忠実度空間全体における増分（increments）の相関構造の変化を、統計的枠組みの中に効率的に統合することに苦慮している。さらに、静的な「ワンショット（one-shot）」実験計画は、逐次的な戦略と比較して、情報獲得量と計算コストのトレードオフを最適化することができない。

手法
著者らは、新しいサロゲートモデルと能動学習（逐次的設計）戦略を組み合わせたフレームワークを提案している。

1. 非定常GPサロゲートモデル:
   本フレームワークは、コンピュータの出力を、厳密解 $\phi(x)$ と誤差関数 $\delta(x, t)$ の和としてモデル化する。ここで、$x$ は物理的な入力パラメータを、$t$ は連続的な忠実度パラメータベクトルを表す。両方の成分はガウス過程（GP）としてモデル化される。

• 適応型カーネル: コアとなる革新は、分数ブラウン運動およびリフテッド・ブラウン（Lifted Brownian; LB）クリギングモデルに着想を得た、新しい適応型非定常カーネル関数 $K_\gamma(t_1, t_2)$ である。このカーネルは、$t \to 0$ のときの誤差関数の収束率を捉えるように設計されている。これは、忠実度パラメータ空間に沿った短距離の挙動と相関を制御するために、パラメータ $\gamma \in (0, 1)$ を導入している。これにより、モデルは様々なFEMシミュレーションで見られる多様なサンプルパスの挙動（例：正の相関、負の相関、または無相関の増分）に適応することが可能となる。
• 推論: ハイパーパラメータは、プラグイン法を用いた最大尤度推定（MLE）を用いて推定される。これは、完全なベイズ的手法に代わる計算効率の高い選択肢を提供する。本モデルは、$t=0$ における厳密解への外挿をサポートしている。

2. 能動学習戦略:
   著者らは、積分平均二乗予測誤差（IMSPE）に基づく逐次的設計戦略を開発した。

• コスト調整済み基準: 計算予算を管理するため、次の設計点 $(x_{n+1}, t_{n+1})$ の選択において、IMSPEの減少量と計算コスト $C(t)$ の比を最大化する。
• 閉形式による最適化: 主要な技術的貢献は、IMSPEの減少量とその導関数の閉形式（closed-form）の式の導出である。これにより、高価なモンテカルロ近似や、従来の研究で使用されていた離散的なグリッドを必要とせず、連続的な忠実度空間における効率的な数値最適化（マルチスタートを用いた勾配降下法）が可能となる。
• 初期設計: 初期設計（例：MaxPro、Multi-Mesh Experimental Design）が、ハイパーパラメータの推定およびその後の能動学習の性能に与える影響について調査している。

主な貢献

• 新しいカーネル関数: 以前のモデル（Tuoら, 2014によるモデルを含む）を一般化し、数値解析の収束率と一致するように設計された、適応型非定常カーネルの導入。これは、増分の様々な相関構造を適切に扱うことができる。
• 効率的な逐次設計: 閉形式のIMSPE基準を利用した能動学習フレームワークの開発。これにより、既存のバッチ処理型または離散レベルの能動学習手法にはない、連続的な忠実度ドメインにおける設計点の最適化が可能となる。
• 包括的な評価: 本手法は、数値実験および3つの実世界のFEMケーススタディ（ポアソン方程式、ジェットエンジン・タービンブレードの応力解析、および時間依存の波動方程式）を通じて検証されている。

結果

• 数値研究: 提案されたリフテッド・ブラウン（LBM）カーネルを用いた能動学習（AL）法は、様々なパラメータ設定において、単一忠実度モデルおよびワンショット（OS）設計を一貫して上回った。LBMカーネルは、増分が正の相関を持つ場合（$\gamma = 0.95$）に特に優れた性能を示した。
• ケーススタディ:
  • ポアソン方程式: LBMカーネルは、「平均（Average）」応答（増分が正の相関を持つ場合）において他の手法を大幅に上回り、「最大（Maximum）」応答においても非常に競争力のある性能を維持した。AL手法は、一貫してワンショット設計よりも低い平方根平均二乗誤差（RMSE）を示した。
  • ジェットエンジン・タービンブレード: ALとLBMカーネルを用いたマルチフィデリティ・アプローチは、単一の（潜在的に最適ではない）細密メッシュサイズを選択する必要なく、堅牢な予測性能を提供した。これは、単一忠実度モデルおよびスタッキング設計手法の両方を上回った。
  • 波動方程式: AL法は、予測改善を最大化する低コストの忠実度点を戦略的に選択することで、ワンショット設計に対して顕著な優位性を示し、同じ計算予算内でより低いRMSEを達成した。
• 初期設計の感度: 初期設計の選択はハイパーパラメータ推定の堅牢性に影響を与えるものの、適切な予算が割り当てられていれば、能動学習法の最終的な予測性能は特定の初期設計の選択に対して比較的鈍感であることが判明した。

意義
本論文は、このフレームワークが連続的な忠実度パラメータを持つマルチフィデリティ実験設計における重要なギャップに対処していると主張している。数値解析の収束率に適合する適応型カーネルと、効率的な能動学習基準を統合することで、コストのかかるFEMシミュレーションに代わる計算コストの低い選択肢を提供している。厳密解（$t=0$）への外挿が可能であり、かつ不確実性定量化を提供する点は、自己回帰型マルチフィデリティモデルと一線を画している。著者らは、本手法を複雑なシミュレーションにおける不確実性定量化をより効率的にするためのステップとして位置づけている。なお、予測性能は向上するものの、多次元出力への対応やメッシュ構成間の遷移コストに関する課題が残っており、今後の課題としている。再現性を促進するため、本手法を実装したRパッケージ（MuFiMeshGP）が提供されている。