A review of regularised estimation methods and cross-validation in spatiotemporal statistics

オット、ファッソ、マルアンザーノによるレビュー論文「A review of regularised estimation methods and cross-validation in spatiotemporal statistics（時空間統計における正則化推定法と交差検証のレビュー）」の詳細な技術的要約を以下に示す。

1. 問題定義

リモートセンシング、LiDAR、クラウドソーシングデータなどの「ビッグジオ空間データ」の爆発的増加により、地理空間データおよび時空間データの分析はますます複雑化している。この成長は、以下の 2 つの主要な統計的課題をもたらしている。

• 計算複雑性: 空間地点の数（$N$）と変数の数（$q$）が増加するにつれ、観測共分散行列の次元は $qNT \times qNT$ に成長する。この行列の逆行列を計算するコストは立方（$O(N^3)$）であり、大規模データセットに対して標準的な最尤推定を実行不可能にする。
• モデル選択と解釈可能性: 従来のステップワイズ選択法は計算効率が低く、高次元設定では困難を伴う。さらに、深層学習モデルは強力であるが、しばしば「ブラックボックス」性質により解釈可能性に欠ける。一方、地統計学および空間計量経済学のモデルは、空間依存性や変数間の関係を理解するために解釈可能な構造を必要とする。

本論文は、次元削減、変数選択、複雑な空間依存構造の推定を処理しつつ、計算効率とモデルの解釈可能性を維持するための正則化推定手続きの必要性に取り組んでいる。

2. 方法論的枠組み

著者らは、そのレビューを混合効果時空間モデルの枠組みを中心に構成している。
$$Y_t(s) = \mu_t(s) + \omega_t(s) + \varepsilon_t(s)$$
ここで、

• $\mu_t(s)$: 固定効果成分（平均的な振る舞い、外生変数）。
• $\omega_t(s)$: 随机効果成分（空間的・時間的依存性、異質性）。
• $\varepsilon_t(s)$: 確率的誤差（白色雑音）。

レビューは、正則化技術がどの成分をターゲットとするか、および使用される空間モデルの種類に基づいて分類されている。

A. 地統計モデル（連続空間）

これらのモデルは、距離（例：ユークリッド距離、大圏距離）に基づく共分散関数を使用する。

• 固定効果の正則化: LASSO（Least Absolute Shrinkage and Selection Operator）およびその拡張（Adaptive LASSO、Group LASSO）を用いた変数選択（予測変数の選択）に焦点を当てる。
  • 課題: 標準的な LASSO は相関した予測変数に対して失敗する。Adaptive LASSOは、相互相関する共変量があっても選択の一貫性を保証する解決策として強調されている。
  • 手法: 正則化最尤推定（PMLE）、ワンステップ疎推定、および尤度を近似するための共分散テーパリング。
• 随机効果の正則化: 共分散行列または精度行列の構造に焦点を当てる。
  • 疎な精度行列: グラフィカル LASSO を用いて逆共分散行列にゼロを誘起し、遠隔地点間の条件付き独立性を意味させる。
  • 低ランク近似: コレスキー分解などを通じて局所基底関数の部分集合を選択するために正則化推定を用い、共分散行列のランクを低下させることで計算コストを削減する。

B. 空間自己回帰モデル（離散/格子データ）

これらのモデル（SAR、CAR）は、重み行列 $W$ を介して応答変数を隣接観測値と明示的に相関させる。

• 平均モデルの正則化: 空間ラグの存在下で関連する回帰変数を選択するために LASSO を適用する。
• 構造の正則化:
  • 重み行列の選択: 固定された $W$ を仮定する代わりに、正則化を用いて候補セット（例：方向性重み）から最適な重み行列を選択するか、識別可能性のために三角性やブロック対角性などの構造的制約を必要とすることが多い、完全な行列 $W$ を推定する。
  • 同時推定: 回帰係数、自己回帰パラメータ、および空間重み行列を同時に推定する手法。

C. ベイズ的アプローチ

本論文は、正則化パラメータ $\lambda$ をハイパーパラメータとして扱うベイズ的正則化をレビューしている。

• 収縮事前分布: LASSO 用のラプラス分布や Ridge 用の正規分布などの事前分布を用いて係数を収縮させる。
• 階層モデル: 大規模データセットにおける効率的な推論のために、統合ネストされたラプラス近似（INLA）を使用する。
• モデル選択: 時空間文脈における変数選択のためのスパイク・アンド・スラブ事前分布や Zellner の $g$-事前分布などの手法。

3. 主要な貢献：依存性下での交差検証（CV）

論文の重要な部分は**交差検証（CV）**戦略に割かれており、時空間データにおいて標準的なランダム CV は自己相関により失敗し（楽観的な性能推定につながる）、使用できないと論じている。

著者らは、データ構造を尊重するターゲット指向 CVスキームを提案している。

1. 時間的 CV: ブロッキング（例：$k$-フォールドブロッキング部分集合、前方検証）を用いて時間順序を維持し、未来から過去へのデータ漏洩を防ぐ。
2. 空間的 CV: 訓練セットとテストセットが空間的に独立であることを保証するために、空間バッファリングまたはブロッキングを使用する。
   • 手法: 空間的留め置地点外（SLOO）、空間的 $k$-フォールド、およびバリオグラム範囲に基づくバッファリング。
   • 概念: 有効な予測領域を定義するための「適用範囲（Area of Applicability; AOA）」の導入。
3. 時空間 CV: 空間的および時間的なブロッキングを組み合わせる。
   • LTO（Leave-Time-Out）: 時間ブロックを反復する。
   • LLO（Leave-Location-Out）: 空間ブロックを反復する。
   • LLTO（Leave-Location-and-Time-Out）: 時空間セルを反復する。
   • NNDM（Nearest Neighbour Distance Matching）: 訓練セットとテストセット間の距離分布が予測シナリオと一致することを保証する変種。

4. 結果と知見

• 効率性: 正則化手法（PMLE、LASSO）は、共分散/精度行列に疎性を誘起し、関連変数を選択することで計算負担を大幅に削減し、大規模分析を可能にする。
• 選択の一貫性: Adaptive LASSO とベイズ的収縮事前分布は、予測変数が高度に相関している場合（地理空間データで一般的な問題）でも、一貫したモデル選択を提供する。
• バイアス - バラツキのトレードオフ: 正則化はバイアスを導入するがバラツキを減少させ、正則化パラメータ $\lambda$ が適切に調整されていれば、非正則化モデルと比較してより良いアウトオブサンプル予測性能をもたらす。
• CV 戦略の重要性: レビューは、CV における時空間依存性の無視が深刻な過学習につながることを示している。予測精度の偏りのない推定を得るためには、LLO、LTO、LLTO などのターゲット指向スキームが不可欠である。
• ソフトウェアエコシステム: 論文は、これらの特定の CV および正則化手法を実装する R パッケージ（sperrorest、blockCV、CAST、mlr3spatiotempcv）および MATLAB ツールをカタログ化している。

5. 意義と将来の方向性

• 解釈可能性対ブラックボックス: 本論文は、汚染や疾病の特定の駆動因子の特定など、背後にある空間メカニズムを理解することが不可欠なシナリオにおいて、深層学習よりも正則化統計モデルを推奨している。
• ギャップの埋め合わせ: 正則化の観点を通じて、地統計学（連続）と空間計量経済学（離散）を結びつける統合された枠組みを提供している。
• 将来の研究:
  • 共分散関数の推定: 正定値性を保証しながら、空間共分散関数を自動的に推定するための正則化スプラインの開発。
  • 重み行列の推定: 空間自己回帰における固定された重み行列を超えて、正則化を用いて $W$ を完全に推定する。地理的解釈可能性を維持するために、距離ベースの行列を収縮ターゲットとして使用する可能性がある。
  • スケーラビリティ: スケーラブルなリサンプリングや分散計算などを通じて、大規模データセットの計算効率をさらに向上させること。

結論として、このレビューは統計家およびデータサイエンティストのための包括的なガイドとして機能し、現代の高次元時空間データを分析するための標準ツールキットとして正則化と専門的な交差検証を確立している。