Sequential Experimental Designs for Kriging Model

技術要約：クリギングモデルのための逐次実験計画法

問題提起
コンピュータ実験では、複雑な物理的・工学的システムを近似するためのサロゲートモデルとして、クリギング（ガウス過程）モデルが頻繁に利用される。主な目的は、実験領域全体におけるサロゲートモデルと真のモデルとの間の不一致を最小化することである。単一段階の空間充填設計（space-filling designs）が一般的であるが、これらは事前の仮定に依存しており、重要な領域のカバーに失敗してリソースを無駄にする可能性がある。逐次設計（sequential designs）は、蓄積されたデータに基づいて反復的に点を追加することで、動的な代替案を提供する。しかし、既存の逐次手法には、主に2つの重大な限界がある。

1. 観測ベースのバッチ逐次設計の研究不足： 多くの実用的なシナリオ（例：高忠実度航空宇宙シミュレーション）において、実験の設定（キャリブレーション、初期化）にかかる固定コストは高い一方で、単一のラウンド内で複数の点を追加する際の限界コストは無視できるほど低い。現在の手法は、この「バッチ」シナリオに効果的に対処している例が少ない。
2. 一点逐次設計の非効率性： 従来の単一点アプローチでは、十分なデータを蓄積するために多数の反復ラウンドを必要とし、実験サイクルが長期化し、リソース利用の効率が低下する。さらに、単純なバッチ選択を行うと、点が単一の最適位置付近に密集してしまい、設計空間を効果的に探索できなくなる。

手法
本論文は、これら2つのギャップを埋めるための包括的なフレームワークを提案しており、それは2つの新しい選択基準と、一般的なバッチ逐次設計アルゴリズムで構成されている。

1. 新しい選択基準：

   • 勾配ベースの基準 ($\phi_{gra}$): 勾配の大きさが大きい領域では、適合誤差を減らすために密なサンプリングが必要になるという観察に基づいている。この基準は、既存の点からの距離を維持しつつ、真の関数の勾配の大きさ $\|\nabla f(x)\|$ を最大化する点を選択する。また、関数が実際に変化している場所で点が選択されるように、局所的な応答の変動性 ($|\hat{y}_X(x) - f(x^*)|$) を組み込んでいる。理論的には、この基準は予測誤差の上界を近似するものである。
   • 分散ベースの基準 ($\phi_{var}$): この基準は、予測分散と勾配推定値の分散から導出された関数を最大化する点を選択することで、最大適合誤差を最小化することを目指す。これは、推定誤差が予測分散と勾配分散の両方によって制御されるという理論的境界に基づいている。

2. クラスターベースのTop-$b$逐次設計フレームワーク：
   任意の一点逐次基準をバッチ設定（$b > 1$ 個の点を1回のイテレーションで追加する場合）に拡張するため、著者らはクラスタリングアルゴリズム（Algorithm 2）を提案している。

   • メカニズム： 単に基準 $\phi(x)$ を最大化する上位 $b$ 個の点を選択する（これでは単一のグローバルな極大値付近に点が密集してしまう）のではなく、アルゴリズムは設計空間を離散化し、候補点をその $\phi$ 値によってソートする。
   • クラスタリングの論理： 点は、空間的な近接性と密度ルール（パラメータ $\alpha$ および $\beta$ によって制御される）に基づいてクラスターに割り当てられる。アルゴリズムは、明確な局所極大（クラスター）を特定し、上位 $b$ 個のクラスターから代表点を選択する。
   • 目的： このアプローチは、点の密集を防ぎ、高価値な領域における多様な探索を保証し、既存の一点基準をバッチシナリオへ適応させることを可能にする。

主な貢献

• 2つの新しい基準： 勾配ベースおよび分散ベースの基準の導入。これらは、最小化すべき対象（平均誤差 vs 最大誤差）に関して異なる理論的視点を提供する。
• 一般的なバッチフレームワーク： 単純なバッチ選択における固有の点密集問題を解決する、新しい「クラスターベースのTop-$b$」フレームワーク。これにより、あらゆる既存の逐次基準をバッチシナリオへ効率的に拡張することが可能となる。
• 理論的正当化： 提案された基準が、予測誤差および勾配分散の上界に関連していることを示す補題と定理を提供し、選択戦略の理論的根拠を提示している。

結果
著者らは、7つのテスト関数（Bran分、Hartman、Ackley、Zakharov、Rosenbrockなど）を用い、次元数を変えて、提案手法を既存の基準（Expected Improvementのバリアント、分散最小化、混合不一致を含む）と比較評価した。

• 一点の性能： 二乗平均平方根誤差（RMSE）の観点では、勾配ベースの基準が一般に既存の手法を上回った。最大絶対誤差（MAE）については、分散ベースの基準が優れた性能を示した。
• バッチの性能： 新しい基準を用いて生成されたクラスターベースのTop-$b$設計は、既存の基準に基づくバッチ設計やベンチマークとなる逐次一様設計を一貫して上回った。
• 効率性： バッチ設計は、一点の対応物と同等、あるいは場合によってはそれ以上の性能を達成しながら、実験ラウンド（イテレーション）の数を大幅に削減した。

意義と主張
本論文は、提案された手法が、現在の逐次設計の文献における決定的な限界、具体的には効果的な観測ベースのバッチ設計の欠如と、一点アプローチの非効率性を解決することを主張している。勾配ベースの基準が平均誤差を最小化し、分散ベースの基準が最大誤差を最小化することを実証することで、著者らは実務家に対して特定の最適化目標に向けたターゲットツールを提供している。さらに、提案されたバッチフレームワークは、適合精度を損なうことなく実験ラウンドを減らすことでリソース効率を高める汎用的なソリューションとして提示されており、これはリソース集約的なコンピュータ実験に特に適している。著者らは、提案された基準とフレームワークが、適合精度の面で既存のアプローチを概して上回ると結論付けている。