Adaptive Resolution for Finite-Rank Gaussian Processes

技術要約：有限ランク・ガウス過程における適応的解像度

問題設定
ガウス過程（GP）回帰は、ベイズ非パラメトリック学習における標準的なツールであるが、その厳密な実装には $O(n^2)$ のメモリと $O(n^3)$ の計算量が必要となり、中規模以上のサンプルサイズ $n$ に対しては実行不可能となる。スケーラブルな近似手法（スパース、低ランク、および分散型手法）は開発されてきたが、これらの近似が対応する「親」GP事前分布の統計的保証（具体的には事後収束率）をいつ保持できるかについては、理論的な理解が限られている。有限ランク近似においては、展開の次元を決定する解像度パラメータ $N$ が固定されていることが多く、ここに重要なギャップが存在する。$N$ が小さすぎると、事前分布のサポートに真の関数が含まれない可能性があり、$N$ が大きすぎると計算コストが膨大になる。本論文は、親GPの最適な事後収束率を維持しながら、解像度 $N$ を適応的に学習できる有限ランクGP事前分布をどのように構築するかという問題に取り組む。

手法
著者らは、局所的な支持を持つ基底関数と依存的なガウス係数を用いた基底展開によって定義される、d-frGPloc と呼ばれる一般化された有限ランクGP事前分布のクラスを提案している。
$$f_N(x) = \sum_{j \in J_N} w_j \psi_j(x),$$
ここで、係数ベクトル $w_N$ は依存的なガウス事前分布 $w_N | N, \theta \sim N(0, \Sigma_{N,\theta})$ に従う。共分散行列 $\Sigma_{N,\theta}$ は、親GP $f \sim \text{GP}(0, K_\theta)$ から誘導される。

本論文では、このフレームワークにおける2つの具体的な構成を研究している：

1. SPDEに基づく有限要素近似： Matérn GPの確率偏微分方程式（SPDE）表現（Lindgren et al., 2011）に基づく。係数はSPDEの有限要素離散化から導かれ、結果として疎な精度行列構造をもたらす。帯域幅パラメータ $\kappa$ は、親Matérn理論から継承された、サンプルサイズと滑らかさに依存する決定論的なシーケンス $\kappa_n$ として扱われる。
2. 格子ベースのGP補間（GPI）： 親である平方指数（SE）GPから誘導されたガウス事前分布を格子上の係数に割り当てる、正則グリッド補間アプローチ。ここでは、帯域幅 $\kappa$ と解像度 $N$ の両方に階層的事前分布が割り当てられる。

主要な貢献
主な理論的貢献は、適応的解像度（adaptive-resolution）の結果の確立である。著者らは、解像度パラメータ $N$ に対して適切な事前分布を置くことで、有限ランク近似が親GPの事後収束率を継承できることを示している。

• 理論的結果：

  • SPDE構成（定理 3.3）： 親Matérn理論（Fang and Bhadra, 2025）から導かれた帯域幅スケーリング $\kappa_n$ の下で、緩やかな下裾条件（例：多項分布または対数正規分布）を満たす $N$ への事前分布を置くことにより、有限ランクSPDE事前分布が、滑らかさ $\alpha$ を持つ真の関数に対して、ミニマックス事後収束率 $n^{-\alpha/(2\alpha+d)}$（対数因子を除く）を達成することを保証する。証明は、連続的なノイマン演算子とその質量集約（mass-lumped）有限要素離散化の間のスペクトル比較に依拠しており、十分大きな $N$ に対してRKHSノルムと小ボール確率が定数倍の範囲内で一致することを示している。
  • GPI構成（定理 3.4）： 平方指数親GPに対して、$\kappa$ と $N$ の両方に階層的事前分布を置くことで、対数因子を除いたミニマックス最適な事後収束率が得られる。証明は、親SE GPの最適な事前分布集中度と補間誤差の境界を組み合わせたものであり、 $N$ が $\kappa$ に対して十分に大きい場合に近似誤差が無視できることを示している。

• 計算戦略：
  次元 $N$ の変化に伴う計算上の課題に対処するため、著者らは可逆ジャンプ更新（reversible-jump updates）を回避する事後サンプラーを開発した。このアルゴロリズムは、係数ベクトル $w_N$ を積分消去して $(N, \kappa)$ を周辺事後分布からサンプリングし、その後 $w_N$ をガウス事後分布から条件付きでサンプリングする。

  • GPI 手法の場合、これはToeplitz構造またはブロックToeplitz構造を利用する。
  • SPDE 手法の場合、精度行列の疎性が効率的な疎なCholesky分解を可能にする。
    各反復の計算コストは、局所的な支持によりサンプルサイズ $n$ に対して線形にスケールし、係数の次元 $|J_N|$ に対しては3乗（1次元SPDEの場合はバンド行列の性質により線形）でスケールする。

結果
1次元および2次元における数値研究により、理論的知見が検証された：

• パフォーマンス追跡： 1次元において、適応的有限ランク手順（SPDEおよびGPIの両方）は、異なる滑らかさのレジームにおいて、対応する厳密な親GPベースラインの予測性能（平均二乗誤差で測定）を密接に追跡している。
• 適応性： 厳密な親GPの計算が困難な2次元において、適応的手順は固定 $N$ のベースラインを上回る性能を示した。固定解像度は、選択されたグリッドサイズに対して高い感度を示し（小さすぎるとアンダーフィッティング、大きすぎるとオーバーフィッティングや計算コスト増）、一方で適応的手法は、手動のチューニングなしにデータの複雑さを自動的に調整する。
• 事後挙動： $N$ と $\kappa$ の事後分布は正しく適応する：真の関数がより粗い場合は $N$ が増加し、より滑らかな場合は減少する。また、$\kappa$ はデータのスケールに従ってシフトする。
• スケーラビリティ： 適応的有限ランク手法は、厳密なGP推論の $O(n^3)$ のボトルネックを回避しながら、同等の精度を維持しつつ、$n$ が増加しても計算効率を維持している。

意義と主張
本論文は、解像度を適応的に扱うならば、有限ランク近似は計算の容易性のために統計的な最適性を犠牲にする必要はないと主張している。

• 視点の統合： SPDEの結果は、数値近似の視点（Sanz-Alonso and Yang, 2022）と統計的収束理論（Fang and Bhadra, 2025）を結びつけ、適切な解像度への事前分布の下で、有限要素離散化が親GPの収束率を保持できることを示している。
• 適応的階層： 本研究は、有限次元近似の次元 $|J_N| = (N+1)^d$ が固定されるのではなく、データから学習可能であることを示しており、局所支持基底の計算上の利点を保持しながら、親GPの収束率を維持できることを実証している。
• 謙虚な姿勢： 著者らは、適応的解像度階層は理論的に魅力的である一方、特定の積分戦略によって対処される計算上の課題を伴うことを述べている。また、高次元（$d \ge 5$）への拡張は $O(N^{3d})$ のコストにより依然として困難であることを認め、構造化加法モデル（structured additive models）を将来の研究方向として示唆している。また、SPDE構成における滑らかさパラメータへの完全な適応は依然として未解決の問題であるとしている。