Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors

技術要約：グローバル・ローカル・シュリンケージ事前分布を用いた非ガウス誤差に対するロバストな高次元ベイズ回帰

1. 問題設定

本論文は、予測変数（$p$）および応答変数（$q$）の数がサンプルサイズ（$n$）に対して大きい高次元設定における、多変量線形回帰の課題に対処するものである。古典的なアプローチは、実証科学（例：マクロ経済学、金融、ゲノミクス）において頻繁に違反される以下の2つの制約的な仮定に依存している。

1. ガウス誤差則： 標準的な推定法は、誤差が多変量正規分布に従うことを仮定している。しかし、現実世界のデータはしばしば重い裾（レプトクルトシス）、突発的な外れ値、および非対称性（歪度）を示す。ガウス仮定の下では、少数の極端な外れ値が係数推定を歪め、決定的なことに、条件付き依存グラフ（精度行列 $\Omega$）の推定を破壊する可能性がある。
2. 分離されたスパース性処理： 既存の手法は通常、回帰係数（$B$）におけるスパース性と、逆誤差共分散（$\Omega$）におけるスパース性を個別に扱う。高次元の変数選択と条件付き依存グラフの回復を同時に行いつつ、非ガウス誤差に対してロバスト性を維持する統合されたフレームワークは存在しない。

2. メソドロジー

著者らは、ロバストな誤差モデリングと結合されたシュリンケージ事前分布を統合した、RHS-MR（Robust Horseshoe+ Multivariate Regression）と呼ばれる統一されたベイズ・フレームワークを提案している。

A. スケール・ロケーション混合によるロバスト・尤度
ガウス誤差の代わりに、本モデルは柔軟なスケール・ロケーション混合正規分布を採用している。潜在変数を条件付けることで、誤差構造は以下を可能にする：

• 多変量 $t$ 分布： ガウス分布に逆ガンマ重み（$w_i$）を混合することで実現され、重い裾（ヘビーテイル）に対応する。
• 多変量歪正規分布および歪-$t$ 分布： 平均をシフトさせるための潜在的な半正規ベクトル（$t_i$）を導入することで実現され、重い裾と非対称性の両方に対応する。
  この定式化により、条件付き事後分布は共役となり、計算が容易になる。

B. 結合型 Horseshoe+ シュリンケージ
本モデルは、2つの異なるスパースな対象に対して同時に horseshoe+ 事前分布を置く：

1. 回帰係数 ($B$): 各要素 $\beta_{jk}$ にはローカル・スケール・パラメータが割り当てられ、標準的なホースシューと比較して第2の半コーシー因子（$\eta_{jk}$）によって拡張されている。これにより、ゼロ付近に高いスパイクを持つ周辺事前分布（積極的なノイズ・シュリンケージ）と、大きな信号に対してバイアスを抑える重い裾（near-unbiased treatment）が形成される。
2. 精度行列 ($\Omega$): オフダイアゴナル（非対角）成分（条件付き依存性を表す）には horseshoe+ 事前分布が適用され、ダイアゴナル（対角）成分には拡散的な指数事前分布が適用される。これにより、回帰マップのスパース性と条件付き依存グラフのスパース性が結合される。

C. 事後分布の計算
事後推論のために2つのアルゴリズムが開発された：

1. ギブス・サンプラー: スケール混合およびパラメータ拡張表現から導出された、完全に計算可能なサンプラー。これは、グラフィカル・ホースシューに着想を得た精度行列の列方向ブロック更新を利用し、すべてのフル条件付き分布に対して閉形式の更新を行う。
2. 平均場変分推論: ブロック間で分解される高速な近似アルゴリズムであり、良好に識別可能な領域において、同等の精度を保ちながら1〜2桁の高速化を実現する。

3. 主な貢献

本論文は、主に4つの貢献を行っている。

1. モデルの定式化: ガウス誤差をスケール・ロケーション混合（$t$、歪正規、および歪-$t$ 法をカバー）に置き換えた、ロバストな多変量回帰モデルを定式化した。これらは共通の精度行列 $\Omega$ を共有する。
2. 結合型シュリンケージ: $B$ と $\Omega$ のオフダイアゴナル成分の両方に horseshoe+ 事前分布を同時に適用することで、変数選択とグラフ構造の回復を効果的に結合させた。
3. 計算アルゴリズム: これらの複雑なモデルのための閉形式のギブス・サンプラーと、スケーラブルな変分推論アルゴリズムを導出した。
4. 理論的保証:
   • 結合事後分布の収縮: 非ガウス誤差の下でも、$B$ と $\Omega$ の事後分布が真の値に対してニア・ミニマックスレートで収縮することを確立した。
   • 選択の一致性: 変数選択（$B$ において）およびエッジ選択（$\Omega$ において）の一致性を証明した。
   • リスク優位性: クルバック・ライブラー・リスク境界を通じて、スパース信号領域において horseshoe+ 事前分布が標準的な horseshoe を支配することを示した。これは、重い裾が大きな信号に対するバイアスを軽減するためである。
   • 有界な感度: $t$ 誤差の下では、単一の外れ値が無限大に向かう場合でも $B$ の事後平均は有界に留まるが、ガウス推定法は線形に発散することを証明した。

4. 実証結果

本手法は、広範なシミュレーションと2つの実世界への応用を通じて評価されている。

シミュレーション研究:

• 誤差領域: モデルはガウス、$t_3$、歪正規、および歪-$t_4$ 誤差分布の下でテストされた。
• 性能: ガウス誤差の下では、ロバスト・モデルはガウス型の対応モデルと区別がつかない性能を示した。重い裾や歪みを持つ誤差の下では、ロバスト・モデルはガウスベースのベンチマーク（MRCEやOLSなどのペナルティ尤度法を含む）を大幅に上回った。特に、歪-$t_4$ 誤差の下では、ロバスト・モデルはガウス・アブレーションと比較して係数推定誤差を43%削減した。
• 収縮: サンプルサイズ（$n$）が増加するにつれ、ロバスト推定量の誤差は予測されたレート（$\sim n^{-1/2}$）で収縮したが、ガウス推定量の精度行列の誤差は重い裾の下では収縮に失敗した。
• 外れ値への感度: 単一の観測値に増加する大きさの汚染を加えたとき、ガウス推定量の誤差は線形に増大したが、ロバスト推定量の誤差は平坦なままであり、有界な感度の定理を裏付けた。
• 計算量: 変分アルゴリズムは、精度をほとんど損なうことなく、ギブス・サンプラーに対して10倍から70倍の高速化を達成した。

応用事例:

1. FRED-MD (マクロ経済データ): 8つのマクロ経済指標と30の予測変数に適用された。本モデルは、2008年の金融危機および2020–2021年のパンデミック期間中の観測値を自動的にダウンウェイトし、スパースな残差依存グラフを回復し、ガウス適合よりも低い予測誤差を達成した。
2. S&P 500 (株式リターン): 12銘柄の株価日次対数リターンと31のファクターに適用された。ロバストな適合は、5つのエッジのうち4つがエネルギーセクターの銘柄を接続するスパースな残差グラフを特定しており、これはコモディティ価格への共通の露出を反映していた。また、2007–2008年の混乱の始まりを含む、ボラティリティの高い取引日をダウンウェイトした。

5. 意義と主張

本論文は、高次元のスパース性と、重い裾および非対称な誤差に対するロバスト性を同時に扱う、最初の統合されたベイズ・フレームワークを提供すると主張している。

著者らは、自身のアプローチが以下の特性を持つことを強調している：

• 効率性の維持: ロバスト性を確保しても、ガウス誤差の場合のパフォーマンスを犠牲にしない（ロバスト性が「実質的に何もコストを課さない」）。
• 構造的バイアスの修正: 外れ値による条件付き依存グラフ（$\Omega$）の破壊を防ぐ。これはガウス型の手法における失敗モードである。
• 理論的妥当性: 事後分布の収縮、選択の一致性、および有界な感度に関する厳密な保証を提供し、ロバスト統計学と高次元ベイズ・シュリンケージの間の溝を埋める。
• 実用的有用性: 事後重みによる外れ値の自動的なダウンウェイトは、事前に指定された危機指標を必要とせずに、データ品質の解釈可能な診断を提供する。

本論文は、データの非正規性と高次元性が共存する実証科学において、グローバル・ローカル・シュリンケージとスケール混合誤差モデルの統合が、より優れた代替案となることを結論付けている。