技術要約：定量的および定性的入力を伴う大規模コンピュータ実験のためのエミュレータ

問題提起

燃焼、システム生物学、構造工学などの分野において、定量的変数と定性的因子の両方を含む混合入力を用いるコンピュータ実験は、ますます一般的になっています。ガウス過程（GP）のような統計的サロゲートモデル（エミュレータ）は、これらの実験における標準的なツールですが、大規模なスケールで正確かつ計算効率の高いエミュレータを構築することは、依然として大きな課題となっています。

主に2つの障壁が存在します：

1. 混合入力の処理： EzGP（Easy-to-Interpret GPs）やLvGP（Latent Variable GPs）といった混合入力のための既存手法は、定性的変数に対してメトリック空間を必要とする場合があります。定性的因子の数やそのレベル数が増加すると、共分散パラメータの数が急速に増加し、過剰適合（オーバーパラメトリゼーション）と計算上の困難を招きます。
2. スケーラビリティ： 従来のGPベースのアプローチは、計算量は$O(n^3)$、メモリ量は$O(n^2)$のスケーリングとなり、$n$が大きいデータセットでは実行不可能です。Vecchia近似や局所的GP（laGP、TwinGPなど）のようなスケーラブルな近似手法は定量的入力に対しては存在しますが、モデルの柔軟性や精度を犠牲にすることなく、混合入力を扱うために効果的に拡張されてはいません。

手法

著者らは、混合入力を効率的に扱うために、新しい共分散関数をVecchia近似と統合した、**SVA（Scaled Vecchia Approximation）**と呼ばれる新しいスケーラブルなフレームワークを提案しています。

1. 新しい共分散関数 (SEzGP)

提案手法の核となるのは、EzGPフレームワークを拡張した修正共分散関数であるSEzGPです。

• 構造： このモデルは、出力 $Y(x, z)$ が、定量的入力を持つグローバルなGPと、定性的レベルごとに条件付けられたローカルなGPの和であるという加法的な構造を仮定しています。
• 革新性： すべての定量的因子の組み合わせと定性的レベルに対して個別の相関パラメータを割り当てる標準的なEzGPやEEzGPとは異なり、SEzGPモデルは、定量的入力に対する相関パラメータが定性的変数に対して**不変（invariant）**であると仮定します。
• 定式化：
  $$K(w_i, w_j) = \sigma^2_0 \exp\left\{-\sum_{k=1}^p \theta^{(0)}_k (x_{ik} - x_{jk})^2\right\} + \sum_{h=1}^q \sum_{l_h=1}^{m_h} \mathbb{1}(z_{ih} = z_{jh} \equiv l_h) \sigma^2_h \exp\left\{-\sum_{k=1}^p \theta_k (x_{ik} - x_{jk})^2\right\}$$
  ここで、定量的入力に対する相関パラメータ $\theta_k$ はすべての定性的レベル間で共有されるため、パラメータ数が $2 + 2p + q$ に大幅に削減されます。

2. Scaled Vecchia Approximation (SVA)

スケーラビリティを実現するために、著者らはSEzGPモデルに対してscaled Vecchia approximation（Katzfuss et al., 2022）を適応させています。

• スケーリング： 定量的入力は、その相関パラメータの平方根（$\sqrt{\theta_k}$）によってスケーリングされ、各次元の重要性を考慮して入力空間が実質的に変換されます。
• 近似： 結合尤度は、慎重に選択された条件付け集合（スケーリングされた空間における最近傍点）を用いた、低次元の条件付き分布の積によって近似されます。これにより、計算複雑性は $O(n^3)$ から、おおよそ $O(nm^2)$ （ここで $m \ll n$）へと減少します。
• 推定： パラメータは、Vecchia尤度を最大化するためにフィッシャー・スコアリング・アルゴリズムを用いて推定されます。

3. ベンチマーク手法の拡張

包括的な比較を行うために、著者らは2つの著名な大規模GP手法を、SEzGP共分散を用いて混合入力を扱えるように拡張しました。

• La (拡張 laGP)： 混合入力に対して、能動学習のCohn (ALC) 基準を適応させ、局所的なデザインポイントを逐次的に選択します。
• Twin (拡張 TwinGP)： 「Twinning」アプローチを適応させ、予測位置とは独立したグローバルな点と、最近傍によるローカルな点を選択します。点選択時には定性的変数のためのワンホットエンコーディングを利用します。

主な貢献

1. 新しい共分散構造： 定性的レベル間で定量的相関パラメータを共有することで、モデルの柔軟性とパラメータの簡潔性のバランスをとった、SEzGP共分散関数の導入。
2. スケーラブルなフレームワーク： 混合入力を持つ大規模なデータセットに対して、効率的な予測と完全な不確実性定量化を可能にする、SEzGPとscaled Vecchia近似の統合。
3. ベンチマークの拡張： 厳格な比較のベースラインとして機能する、混合入力版のlaGPおよびTwinGPの実装。
4. 実証的検証： 提案手法の優位性を示す、包括的な数値研究および実世界への適用。

結果

論文では、提案されたSVA手法を、4つの数値例と1つの実世界アプリケーションにおいて、競合手法（Twin, La, LEzGP, VA, NN）と比較評価しています。

数値実験

2つのシナリオがテストされました：

• シナリオ1： 定性的レベルの組み合わせごとに十分なデータポイントが存在する場合。
• シナリオ2： レベルの組み合わせが多く、各組み合わせのデータが疎（スパース）である場合。

結果：

• 精度： SVAはほとんどのシナリオにおいて一貫して最も低い平方根平均二乗誤差（RMSE）を達成し、非スケーリングのVecchia（VA）や局所的手法（La, LE）、および最近傍法（NN）と比較して優れた予測精度を示しました。
• 効率性： 最近傍法（NN）が最も高速でしたが、精度は著しく低いものでした。SVAは、競争力のある計算時間（多くの場合NNと同等）を維持しながら、大幅に優れた予測性能を提供し、優れたトレードオフを実現しました。
• スケーラビリティ： データの疎なシナリオ（シナリオ2）において、SVAは他の手法が精度または計算コストのいずれかで苦戦する中で、堅牢な性能を維持しました。

実世界への適用

構造工学における**梁のたわみ（beam deflection）**のケーススタディが、アメリカ鉄鋼学会（AISC）のデータベースから合成されたデータを用いて行われました。

• 設定： モデルは、連続入力（梁の深さ、断面積、スパン、荷重位置）と定性的入力（材料の種類、断面形状）に基づいて、最大たわみを予測します。
• 結果： SVAは、予測精度（log-RMSE）と計算効率の両面において、すべての競合手法（La, Twin, NN, VA）を上回り、複雑な物理ベースの工学問題における有用性を証明しました。

意義と主張

本論文は、提案されたSVAフレームワークが、スケーラブルな近似技術と混合入力のコンピュータ実験モデリングとの間の溝を効果的に埋めるものであると主張しています。SEzGP共分散関数を導入することで、定性的効果を無視することなくパラメータの複雑さを軽減し、それをVecchia近似と組み合わせることで、以下のことを実証しました：

1. 大規模な混合入力コンピュータ実験は、高い精度と計算可能性を持ってエミュレートできること。
2. SVAに備わっているスケーリングメカニズムは、定量的および定性的因子の影響を効果的に捉えるために極めて重要であること。
3. 本手法は、従来のGPがメモリや時間の制約により失敗する大規模な設定において、不確実性定量化のための実用的な解決策を提供すること。

著者らは、拡張されたlaGPおよびTwinGPが、これらの特定の混合入力の設定においてSVAの性能に達しなかったことは認めつつも、さらなる高度な拡張によって潜在的な可能性が明らかになる可能性があるとしています。また、提案された共分散関数をグローバル最適化や等高線推定のタスクに適用することなど、将来の研究方向についても言及しています。