Accelerated training of Gaussian processes using banded square exponential covariances

技術要約：帯状の二乗指数共分散を用いたガウス過程の学習の加速化

問題提起
標準的なガウス過程（GP）回帰は、学習および推論の際に共分散行列 $K_{f,f} + \sigma_n^2 I$ の逆行列を計算するために必要な $O(n^3)$ の計算量というボトルネックに直面している。変分自由エネルギー（VFE）や完全独立訓練条件付き（FITC）などの疎なGP手法は、$m \ll n$ 個の誘導変数（inducing variables）を導入することで、この計算量を $O(nm^2)$ に削減できる。しかし、長い時系列を正確にモデル化するためには、多くの誘導変数が必要となる場合が多い。この要件は、グローバルな誘導変数が複雑な構造を効率的に捉えきれない場合、計算上の利点を打ち消してしまう可能性がある。

手法：帯状学習共分散（Banded Training Covariance: BTC）
著者らは、二乗指数（Square Exponential: SE）カーネルの固有の近似的な疎性を利用した、**帯状学習共分散（BTC）**と呼ばれる新しいアプローチを提案している。1次元の設定におけるSEカーネルでは、ペアワイズの共分散は距離が離れるにつれて指数関数的にゼロへと減衰する。

1. 帯状近似（Banded Approximation）: BTCは、誘導変数を使用する代わりに、フル共分散行列 $K_{f,f}$ を $k$-帯状近似 $L_k(K_{f,f})$ に置き換える。演算子 $L_k$ は、$|i-j| > k$ であるすべての成分 $A_{ij}$ をゼロに設定し、観測値間の相関が特定の帯域幅 $k$ を超えると仮定する。
2. 計算効率: この帯状構造を強制することにより、負の対数尤度（NLL）に必要な逆行列および対数行列式を、LU分解またはコレスキー分解を用いて低コスト $O(nk^2)$ で計算できる。これにより、変分パラメータの導入を回避できる。
3. 理論的保証: 本論文では、以下の事項を保証する最適な帯域幅 $k$ を決定するための厳密な理論的枠組みを提供している。
   • 正定値性: 近似された行列 $L_k(K_{f,f}) + \sigma_n^2 I$ が、妥当な確率的モデリングと数値的安定性の前提条件である対称正定値性を維持すること。
   • 妥当な予測分布: 得られる事後予測共分散が正定値であり続けること。
   • サンプルサイズへの独立性: 決定的なことに、導出された $k$ の境界は、カーネルのハイパーパラメータ（信号分散 $\sigma^2$、長さスケール $\ell$）およびノイズ分散 $\sigma_n^2$ には依存するが、観測数 $n$ には依存しない。これにより、本手法は帯域幅を $n$ に比例して増やすことなく、長い時系列へのスケーリングが可能となる。

主な貢献

• 新しい疎な定式化: 誘導変数に頼るのではなく、SEカーネルの構造的な疎性に依拠することで、疎なGPの効率性を実現する手法であるBTCを導入した。
• 理論的境界: Lemma 3.1 および Theorem 3.2 を導出し、ノイズを含むSEカーネルに対して正定値性を保証するための明示的な条件と、式（Corollary 3.3）による $k$ の選択方法を提供した。
• 実証的検証: 実世界のデータセットにおいて、BTCがフルGPの精度に匹敵しながら、標準的な疎な手法（VFE および FITC）よりも実行時間および予測性能の両面で優れていることを示す包括的な実験を行った。

実験結果
著者らは、2つの実世界のデータセット（月間太陽黒点データセット：3,315点、およびヘルシンキ新生児脳波データセット：4,000点）を用いてBTCを評価した。

• 性能 vs 実行時間: 正規化平均二乗誤差（NMSE）および負の対数予測密度（NLPD）において、BTCは厳密なフルGPとほぼ同一の結果を達成した。
• ベンチマークとの比較: BTCは、すべてのテストされた構成（誘導変数 $m$ および帯域幅 $k$）において、VFE および FITC の両方を一貫して上回った。
• $k$ に対する堅牢性: 本手法は、広範な有効な帯域幅 $k$ に対して堅牢な性能を示した。Corollary 3.3 から導出された理論的な $k$ の選択は、正定値性を維持するのに十分であることが示され、この理論的境界を超えて $k$ を増やしても、計算量の増加というコストに見合うほどの精度向上は得られないことが確認された。
• 理論の検証: 合成データを用いた実験により、ハイパーパラメータが変化した場合でも、理論的に導出された $k$ の値が正定値性を維持することを確認した。

意義と主張
本論文は、BTCが、SEカーネルを用いた1次元GP回帰のための、原理に基づいたパラメータフリーの代替案を提供すると主張している。カーネルの指数関数的な減衰を利用することで、BTCは（誘導変数を用いる）疎な手法の計算効率（$O(nk^2)$）を達成しつつ、フルGPの精度を維持する。著者らは、本アプローチが変分パラメータ（誘導点）の最適化を不要にし、データサイズに依存せずにスケーリングする、理論的に裏付けられた帯域幅選択ルールを提供することを強調している。

著者らは、現在の手法がSEカーネルに限定されており、最適化中に固定された帯域幅を想定していることを指摘している。また、本手法の実用的な適用範囲を広げるための重要な今後の課題として、高次元および他のカーネルへの拡張を挙げている。