論文要約：大規模データに対するコンパクトサポート非定常カーネルを用いた正確なガウス過程の計算

1. 背景と課題

ガウス過程（GP）は、環境科学における非線形プロセスの時空間データ解析など、大規模データセットの分析に広く用いられている強力な確率論的枠組みです。しかし、従来の GP 実装には以下の 2 つの主要な限界があり、現代のビッグデータ（数百万〜数十億点）への適用を妨げています。

1. 定常性（Stationarity）の仮定: 従来のカーネル関数は、入力間の距離のみに依存する「定常性」を仮定しており、現実世界の複雑な非定常な依存構造を柔軟にモデル化できません。
2. スケーラビリティ（計算量）: 正確な GP 推論には、$N$ 個のデータ点に対して $O(N^2)$ のメモリと $O(N^3)$ の計算量が必要です。このため、データ点が 1 万を超えると計算が非現実的となり、ユーザーはニューラルネットワークなどの近似手法や、尤度を近似する「近似 GP 法（Vecchia 近似など）」に頼らざるを得なくなっています。

これらの近似手法は、主観的な選択（近傍点の数や順序など）を必要とし、理論的性質が定常カーネルに限定されている場合が多く、精度の低下や不確実性の過小評価を招く可能性があります。また、既存のカーネルは、距離が増加しても理論的にゼロにはならないため、共分散行列が常に密（dense）になります。

2. 提案手法：スパース性発見型非定常カーネル

本研究では、「スパース性（疎性）」と「非定常性」の両方を発見・符号化できる、コンパクトサポートを持つ新しいカーネルを提案し、これを完全ベイズ的な GP モデルに組み込むことで、大規模データに対する正確な（近似なしの）GP 推論を実現しました。

2.1 カーネルの構造

提案するカーネル $C_y(x, x')$ は、以下の積として定義されます。
$$C_y(x, x'; \theta_y) = C_{\text{core}}(x, x'; \theta_{\text{core}}) \times C_{\text{sparse}}(x, x'; \theta_{\text{sparse}})$$

• $C_{\text{core}}$（コアカーネル）: 任意の正定値カーネル（定常または非定常）を使用可能。データの基本的な構造を捉えます。
• C_{\text{sparse}（スパース誘導カーネル）: データ駆動型のスパース性を導入する部分。
  • 「バンプ関数（bump functions）」と呼ばれる、特定の半径 $r$ 以内で正の値を持ち、それ以外で厳密にゼロになる滑らかな関数の和と積で構成されます。
  • これにより、距離が離れていても相関を持つ領域（非定常な相関）と、相関が厳密にゼロになる領域を同時にモデル化できます。
  • 加えて、対角成分がゼロにならないよう、コンパクトサポートを持つ定常カーネル（Wendland 多項式など）を加算項として含みます。

2.2 学習と正則化

• ベイズ的枠組み: 未知のハイパーパラメータ（バンプ関数の位置、半径、振幅など）に対して事前分布を定義し、マルコフ連鎖モンテカルロ（MCMC）法を用いて事後分布を推論します。
• スパース性の自動発見: バンプ関数の振幅をベルヌーイ分布に従う確率変数とみなす正則化を適用することで、不要なバンプ関数を自動的に「オフ（振幅ゼロ）」にします。これにより、過学習を防ぎつつ、データが持つ真のスパース構造を学習できます。
• 非定常性の表現: バンプ関数の中心位置や半径がデータに応じて学習されるため、距離に依存しない相関構造（非定常性）を自動的に捉えることができます。

3. 計算効率化と HPC 活用

正確な GP 計算のボトルネックである共分散行列の計算と逆行列の求解を、高性能計算（HPC）リソースを活用して克服しました。

• バッチ処理と疎行列化: 巨大な共分散行列を単一ノードで計算するのではなく、並列計算可能な「バッチ」単位で密行列として計算し、その後、ゼロ要素を除外して疎行列（sparse format）に変換します。
• 線形代数ソルバー:
  • 対数行列式（Log-determinant）の計算には、ランチョス法（Lanczos method）を使用。
  • 線形方程式系（$C^{-1}z$）の求解には、共役勾配法（CG）ではなく、固有値のばらつきに強い MINRES 法を使用。
• 結果: これらの手法により、100 万点以上のデータセットに対しても、数秒〜数分の時間で尤度評価が可能となり、完全ベイズ推論が実行可能になりました。

4. 実験結果

4.1 合成データによる検証

• バンプ関数の数の誤指定: 過剰なバンプ関数を設定しても、正則化により不要なものが自動的にゼロになり、適切な推論が得られることを確認しました。
• 競合手法との比較: 定常・非定常、密・疎の 4 つのシナリオで、Vecchia 近似、予測過程法、共分散テーパリングなどの既存手法と比較しました。
  • 提案手法（M5, M6）は、特に非定常かつ疎なデータにおいて、RMSE（平均二乗誤差）や CRPS（連続ランク確率スコア）で既存の近似手法や定常 GP を上回る性能を示しました。
  • 信号対雑音比（SNR）が低い（ノイズが多い）場合でも、提案手法は真の構造を捉えることができました。

4.2 実データ応用：米国全域の最高気温の時空間予測

• データ: GHCN-D データベースから、2001-2005 年の米国本土における 1174 観測点の最高気温データ（約 100 万点）を使用。
• 比較対象: 逆距離加重法（L15 製品）および他の GP 近似手法。
• 結果:
  • 提案手法は、L15 製品や他の GP 手法と比較して、テストデータの RMSE を約 12.6% 改善し、CRPS も最も良好でした。
  • 山岳地域など地形の影響が大きい領域でも、非定常性を考慮した補間により、従来の手法が失敗していた詳細な温度分布を再現できました。
  • 不確実性の推定も地域によって異なり、平坦な地域と複雑な地形の地域で適切な不確実性の幅を示しました。
  • 時空間相関分析では、特定の地域間でのみ相関が存在し、距離が離れると厳密にゼロになるという「スパースな相関構造」をデータから発見できました。

5. 主要な貢献と意義

1. 正確な GP の大規模化: 近似を一切行わず、100 万点以上のデータに対して正確なガウス過程推論を可能にしました。
2. 柔軟なカーネル設計: 「スパース性」と「非定常性」を同時に学習できる新しいカーネルを提案し、現実世界の複雑な依存構造をより忠実にモデル化しました。
3. 主観性の排除: 既存の近似手法（Vecchia 近似など）で必要とされる「近傍点の数」や「点の順序」といった主観的な選択を不要にしました。
4. 地球科学への応用: 気象・気候データの解析において、既存の最良の手法（L15 など）を上回る予測精度と不確実性定量化を実現し、GP が機械学習の他の手法と競合し得ることを示しました。

6. 結論

本研究は、コンパクトサポート非定常カーネルと高性能計算を組み合わせることで、ガウス過程の「定常性の限界」と「スケーラビリティの壁」の両方を突破しました。これにより、大規模な時空間データに対して、不確実性を伴う正確な予測と構造発見が可能となり、環境科学や機械学習の分野において新たな可能性を開拓しました。将来的には、さらに大規模なデータ（1 億点規模）への展開も視野に入れています。