Modeling nonstationary spatial processes with normalizing flows

技術的概要：正規化フローを用いた非定常空間過程のモデル化

問題定義
統計的性質が空間的に変化する非定常空間過程は、環境科学、空間統計学、リモートセンシングなどの分野で広く見られます。従来のモデル化手法は、固定された共分散関数を持つ定常ガウス過程（GP）に依存することが多く、これは実世界のデータセットに見られる複雑な空間依存性を捉えきれず、偏った推論や不正確な予測につながる可能性があります。非定常性をモデル化するための既存の方法には、空間的に変化するパラメータ、非定常な Matérn 共分散関数、および確率偏微分方程式が含まれますが、これらはしばしば制限的なモデル仮定や、特定の課題に特化した構築を必要とします。

注目すべき代替手法として、Sampson と Guttorp（1992）によって提案されたドメイン・ワーピングアプローチがあります。これは、単射写像 $f: D \to D_1$ を介して、領域 $D$ 上の非定常過程を、変形された領域 $D_1$ 上の定常過程に変換するものです。しかし、適切なワーピング関数を選択することは困難です。Zammit-Mangion ら（2022）による深層コンポジショナル空間モデルなどの、深層学習に基づく先行手法は、ユーザーが選択したワーピング単位（例えば、ラジアル基底関数、メビウス変換）に依存しています。これらの手法は、利用可能な単位の有限な集合によって制限されており、現在、1 次元および 2 次元の空間領域に限定されており、高次元データへの応用を妨げています。

手法
著者らは、**Neural Autoregressive Flows（NAF）**を用いて非定常空間過程をモデル化する新しいフレームワーク、GPNAFを提案します。中核となるアイデアは、複雑で高次元の変換を生成できる可逆ニューラルネットワークのクラスを用いて、単射ワーピング関数 $f(\cdot)$（論文では $T(\cdot)$ と表記）を学習することです。

1. Neural Autoregressive Flows（NAF）: フレームワークは、Deep Dense Sigmoidal Flow（DDSF）アーキテクチャである NAF を利用します。NAF は、三角写像 $T(s; \vartheta)$ の列として構成され、出力の各成分は入力の前成分のみに依存します。この自己回帰構造により、写像が可逆かつ単射であることが保証され、空間の折りたたみ問題が防止されます。
2. アーキテクチャ: ワーピング関数はニューラルネットワークによってパラメータ化され、各段階の変換パラメータは「コンディショナー」ネットワークの出力となります。自己回帰性（$k$ 番目の出力が入力 $s_1, \dots, s_{k-1}$ のみに依存すること）を強制するために、著者らはバイナリ・マスキング技術（Germain ら、2015）を採用しています。
3. モデル定式化: 潜在過程 $Y(\cdot)$ は、変形された領域 $\tilde{D}$ 上の平均ゼロのガウス過程としてモデル化され、定常かつ等方性の共分散関数 $\tilde{C}_\phi$ を持ちます。観測データ $Z$ は $Y$ のノイズを含む測定値です。
4. 推定: モデルパラメータ（ワーピングパラメータ $\vartheta$ と定常共分散パラメータ $\phi$）は、対数尤度を最大化するための 2 段階のブロック座標上昇法によって推定されます。これには、ワーピング関数と定常共分散パラメータの最適化を交互に行うことが含まれます。空間予測は、変形された領域上で単純クリギングを用いて行われます。

主な貢献

• 高次元への柔軟性: 1 次元および 2 次元に限定されていた従来の深層ワーピングモデルとは異なり、提案された NAF ベースのフレームワークは、基盤となるアーキテクチャへの最小限の変更で、3 次元などの高次元空間領域に適用可能です。
• 自動化されたワーピング単位の選択: このフレームワークは、ユーザーがラジアル基底関数やメビウス変換などの特定のワーピング単位を手動で選択する必要性を排除します。ニューラルネットワークは、データから直接適切な変形を学習します。
• 可逆性と単射性: NAF の理論的性質を活用することで、この手法は単射写像を保証し、ワーピング関数が空間を自身の上に折りたたむことを防ぎます。これは、妥当な空間推論にとって不可欠です。
• 表現能力: 著者らは、NAF が他の一般的に使用される空間過程モデルよりも優れた表現能力を持ち、複雑な異方性および非定常構造を捉えることができることを実証しています。

結果
本論文は、シミュレーション研究と実世界への適用を通じて GPNAF フレームワークを検証しています。

1. シミュレーション研究:

   • 実験 1（SIWGP）: 既知の空間入力ワーピングガウス過程からデータを生成しました。GPNAF は、真のモデル（GPdeepspat）とほぼ一致する平均二乗予測誤差（MSPE）値を達成し、よく較正された予測区間を提供しました。これにより、定常 GP、非定常 Matérn GP、および DeepKriging を上回りました。
   • 実験 2（スパイラル・ワーピング）: 複雑なスパイラル・ワーピング関数を用いてデータを生成しました。GPNAF は MSPE においてすべての競合手法を大幅に上回り、最も較正された予測区間を提供しました。これは、事前の物理的知識なしに複雑な空間歪みを捉える能力を示しています。
   • 可視化: GPNAF の標準誤差プロットは、定常モデル（不確実性のパターンが観測密度を反映する）とは異なり、不確実性が観測地点ではなく、空間的に変化する過程の性質によって支配されていることを示しました。

2. 実世界への適用（アルゴフロート）:

   • このフレームワークは、大西洋におけるアルゴフロートデータセット（海洋温度と塩分）の 3 次元部分に適用されました。
   • GPNAF は、定常および非定常 Matérn モデル、および DeepKriging と比較されました。GPNAF は、モデルの中で最も低い MSPE（0.17）と最も狭い予測区間を達成し、95% 予測区間カバレッジ確率（PICP）を名义レベルに近い値に維持しました。
   • 学習されたワーピング関数は、海洋表面流と整合的な空間変形を明らかにしました。強い海流（急激な温度変化）を持つ領域は変形された領域で引き伸ばされ、弱い海流を持つ領域は圧縮されました。これにより、変化する依存構造が効果的に均質化され、変換された空間で定常モデルを使用することが可能になりました。

意義と主張
本論文は、GPNAF が、複雑で非定常かつ異方性の空間過程をモデル化するための柔軟でデータ駆動型のアプローチを提供すると主張しています。正規化フローを利用することで、この手法は、次元性やワーピング単位の手動指定に関する、従来のワーピングモデルの限界を克服します。著者らは、このフレームワークが、空間的変動が複雑であり、事前のパラメータ化が困難な地球科学および環境科学における高次元応用に特に価値があると述べています。3 次元の海洋学データへの成功した適用は、不均質な熱的変動を伴う実世界のシナリオにおけるこのフレームワークの実用性を浮き彫りにしています。著者らは、現在の手法は完全にデータ駆動型である一方で、将来の研究では物理ガイド制約を組み込んだり、時空間設定にフレームワークを拡張したりする可能性があることに言及しています。