When is multivariate kriging worthwhile? A design-geometry analysis of heterotopic multi-output Gaussian processes

問題提起
オペレーションズ・リサーチ、マルチフィデリティ・モデリング、および環境モニタリングにおいて、システムはしばしば異なる入力位置で観測された、互いに関連する複数の出力を生成する。これは「ヘテロトピック（異所的）」と呼ばれるサンプリングパターンである。中心的な問いとして、「結合多変量クリギング（マルチアウトプット・ガウス過程）メタモデルは、個別の単変量メタモデルよりも優れた予測を行うのか？」という未解決の課題がある。既存の文献における実証研究では、相反する証拠が示されている。一般的な（アイソトピックな）設計を用いた注意深いシミュレーション研究では、多変量クリギングのメリットはほとんど、あるいは全くないと報告されており、単純な単変量モデルで十分であることが示唆されている。一方で、マルチフィデリティやジオスタティスティクス（地質統計学）の文献では、補助的な出力が予測を改善するという前提で運用されている。本論文は、これらの知見が矛盾しているのではなく、出力固有の設計の「幾何学的構造（ジオメトリ）」によって支配されていると主張する。具体的には、いつヘテロトピックなサンプリングが「強度の借用（borrowing strength）」を可能にし、いつ出力間の相関関係を推定するためのコストが予測上の利得を上回るのかについて調査する。

手法および理論的枠組み
本論文は、共分散構造が空間カーネル $k(x, x')$ とコアリージョナライゼーション行列 $\Lambda$ によって定義される、分離可能なマルチアウトプット・ガウス過程（MGP）のための理論的枠組みを開発する。著者らは、アイソトピックなサンプリング（すべての出力が同じ位置にある）と、ヘテロトピックなサンプリング（出力が異なる位置にある）を区別する。

1. モデルフリーの幾何学的診断法:
   著者らは、モデル適合の前に計算可能な、設計の相対的な幾何学的構造を特徴付ける診断指標を導入する：

• 方向性カバレッジ ($DC_{p \to q}$): 設計 $X_p$ のうち、距離 $r$ 以内に設計 $X_q$ が存在する位置の割合。
• 方向性近接度 ($\pi_{p \to q}$): $X_p$ から $X_q$ への平均最近隣距離を、$X_q$ の内部間隔によって正規化した無次元の指標。
• 借用ポテンシャル指数 (BPI): 局所的なインデックス $b_j(x^*)$ であり、補助的な設計がターゲットとなる設計自体よりも予測点 $x^*$ に近いかどうかを測定し、これをグローバルなインデックス $B_j$ へと集約したもの。

2. オラクル予測利得:
   既知の共分散パラメータを仮定した（オラクル設定）条件下で、著者らは結合モデリングによる予測利得 $\Delta_j(x^*)$ に関する厳密な恒等式を導出する。彼らは、この利得が純粋に「残留補助チャネル（residual auxiliary channel）」、すなわちターゲットのデータによって既に説明されている部分とは異なる補助信号を通じて生成されることを証明する。彼らは、この利得が局所的な幾何学的ギャップによって制限されることを確立した。具体的には、ターゲットの設計が既に予測点に近い場合、補助データはノイズ除去以上の利益をもたらさない。

3. 出力間依存性の推定可能性:
   本論文は、$\Lambda$ の非対角要素（出力間の相関関係）を推定するために必要なフィッシャー情報量を分析する。著者らは、カーネル重み付きクロス設計相互作用質量 ($W_{pq}$) を導入する。これは、設計 $X_p$ と $X_q$ の間のカーネル行列のフロベニウスノルムの二乗として定義される。

• 定理 5.2 は、独立性の点において、依存性を推定するための効率的な情報は、まさに「ホワイトニング（白濁化）」された相互作用質量に等しいことを確立している。
• 著者らは、完全な重複（ゼロ・オーバーラップ）が情報の欠如を意味しないことを証明している。設計には、「インターリーブ（交互配置）」されたもの（重複はないが最近隣距離が小さい）と、「セパレーテッド（分離）」されたもの（重複がなく、かつ距離が大きい）がある。インターリーブされた設計のみが、依存関係を学習するための十分な相互作用質量を提供する。

4. 純利益基準:
   オラクル利得と、デルタ法および効率的な情報量から導出された一次推定ペナルティを組み合わせることで、著者らは局所的な純利益基準を定式化する。結合モデリングが価値を持つのは、オラクル予測利得が、相関関係パラメータの学習によって誘発される過剰な推定コストを上回る場合に限られる。

主な結果

• 文献の再構築: 本論文は、なぜ多変量クリギングがアイソトピックな設計において失敗するのか（オートクリギビリティ：ノイズのないアイソトピックな設定では、結合予測は単変量予測へと崩壊する）を説明すると同時に、ターゲット設計の局所的なギャップを補助設計が埋めるヘテロトピックな設定では、なぜ成功するのかを説明する。
• 重複よりも幾何学: 標準的な「重複指数（一致する点の割合）」は不十分である。二つの設計は、ゼロ・オーバーラップであっても、正反対の推論レジームをもたらし得る。すなわち、「インターリーブ」された設計（高い借用ポテンシャル、推定可能な依存関係）と、「セパレーテッド」された設計（借用不能、推定不可能な依存関係）である。
• 相互作用質量: 出力間の依存性の推定可能性は、厳密に $W_{pq}$ によって制御される。設計が数個のカーネル長スケール以上に離れている場合、$W_{pq}$ は崩壊し、サンプルサイズに関わらず依存関係パラメータは識別不能となる。
• スクリーニング手順: 著者らは、以下の5段階の運用的なスクリーニング手順を提案する：
  1. 予測ターゲットとカーネルスケールを固定する。
  2. クロス出力の幾何学的構造（近接度とカバレッジ）をマッピングする。
  3. 高い借用ポテンシャル指数 ($B_j$) を持つ出力を優先する。
  4. 相互作用質量 ($W_{pq}$) を通じて推定可能性を確認する。
  5. 選択的にモデルを適合させ、純利益を検証する。

実験的検証
理論は以下を通じて検証される：

• 合成実験: 制御された研究により、インターリーブされたゼロ・オーバーラップ設計は有意なオラクル利得と推定可能な依存関係をもたらすが、分離されたゼロ・オーバーラップ設計はどちらももたらさないことが示された。
• M/M/1 待ち行列シミュレーション: 診断指標と運用的なメタモデルを結びつける例証。
• 多成分汚染物質モニタリングネットワーク: 実世界のヘテロトピックなデータにこれらの基準を適用し、結合モデリングが有益となる箇所を特定するケーススタディ。

意義と主張
本論文は、ヘテロトピックな設計の幾何学的構造と、「借用」の予測的価値、およびその借用に必要な「依存関係の推定可能性」を同時に結びつける、初の理論的枠組みを提供すると主張している。これは、定性的なヒューリスティックを超えた、定量的なスクリーニングツールとしての「一次純利益基準」を提供するものである。著者らは、多変量モデルの適合コストが、利用可能なデータの幾何学的配置によって正当化されるかどうかを、事前の段階で判断できる診断指標を提供することで、文献における明白な対立を解消できると断言している。