On WAIC for Dependent Data: A Covariance-Corrected Framework with Linear-Time Complexity

技術要約：線形時間計算量を持つWAICのための共分散補正フレームワーク

1. 問題提起

広範に適用可能な情報量基準（WAIC）は、AICやBICのような漸近的基準に対する完全ベイズ的な代替案を提供し、ベイズモデル選択における標準的なツールとなっている。しかし、標準的なWAICは、観測値がモデルパラメータに対して条件付き独立であるという極めて重要な仮定に依存している。この仮定は、逐次的、空間的、あるいは時空間的なデータ（例：時系列、隠れマルコフモデル、金融ボラティリティ）において頻繁に破られる。

依存性のあるデータに適用する場合、標準的なWAICは対数尤度への寄与間の共分散構造を考慮できていない。これは主に以下の2つの欠陥をもたらす：

1. モデル複雑性の過小評価： 共分散項を無視することで、有効パラメータ数（$p_{WAIC}$）が小さくなりすぎ、予測精度を楽観的に評価し、系統的な過学習を引き起こす。
2. 交差検証の不安定性： 1つ抜き交差検証（LOO-CV）は、WAICと漸近的に等価であるが、依存性のあるデータにおいては、単一の観測値の除去が相関構造を乱すため、信頼性の低い予測コントラストを生じさせ、不安定になる。

既存の適応策（例：iWAIC、WAICNF）は、特定のモデルクラスに特化していたり、ヒューリスティックな補正に依存していたり、あるいは（将来の情報を使用するなどの）時間的因果関係を適切に扱えていなかったりする。さらに、完全な事後共分散構造を組み込んだ理論的に健全な一般化は、フル共分散行列に伴う$O(n^2)$のメモリと$O(n^3)$の演算コストにより、計算量的に困難であった。

2. 手法：CC-WAIC

本論文では、対数尤度の寄与の完全な事後共分散構造を明示的に組み込んだ、原理的な一般化手法であるCC-WAIC（Covariance-Corrected WAIC）を導入する。

理論的定式化：
観測データを $y = (y_1, \dots, y_n)$、パラメータを $\theta$ とする。依存性のあるデータの場合、尤度は条件付きで $p(y|\theta) = \prod_{t=1}^n p(y_t | y_{<t}, \theta)$ と分解される。
CC-WAICにおける有効パラメータ数は、結合対数尤度 $L(\theta) = \sum_{t=1}^n \log p(y_t | y_{<t}, \theta)$ の事後分散として定義される：
$$p_{CC} = \text{Var}_\theta[L(\theta)] = \sum_{t=1}^n \text{Var}_\theta[l_t] + 2 \sum_{1 \le i < j \le n} \text{Cov}_\theta[l_i, l_j]$$
ここで、$l_t = \log p(y_t | y_{<t}, \theta)$ である。基準式は以下の通りとなる：
$$\text{CC-WAIC} = -2 \left( \sum_{t=1}^n \log \mathbb{E}_\theta[p(y_t | y_{<t}, \theta)] - p_{CC} \right)$$
この定式化は、観測値が条件付き独立である場合（すなわち、共分散項が消失する場合）、標準的なWAICに正確に帰着する。

線形時間実装（バンド近似）：
計算上のボトルネックであるフル共分散行列を克服するため、著者らはバンド共分散近似を提案する。逐次的なデータにおける依存性は、通常、指数関数的に減衰するという性質（強い混合条件を満たす）を利用し、対数尤度の寄与 $l_t$ と $l_{t+k}$ の間の共分散は、ラグ $k > K_{band}$ において無視できると仮定する。
ペナルティは以下のように近似される：
$$p_{CC}^{banded} = \sum_{t=1}^n \text{Var}_\theta[l_t] + 2 \sum_{k=1}^{K_{band}} \sum_{t=1}^{n-k} \text{Cov}_\theta[l_t, l_{t+k}]$$
これにより、計算量は $O(n^2)$ から **$O(nK)$**（$K$ は小さなバンド幅）へと削減される。

データ駆動型バンド幅選択：
バンド幅 $K_{band}$ は固定されるのではなく、シーケンス $l_t$ の積分自己相関時間（$\tau$）に基づいて適応的に選択される：
$$K_{band} = \max(3, \lceil \hat{\tau} \rceil + 1)$$
ここで $\hat{\tau}$ はMCMCサンプルから推定される。下限値の3は、有限サンプルにおける複雑性の過小評価を防ぐために、最初の2つのラグ共分散項が常に保持されることを保証する。

バイアス補正：
ペナルティ項のMCMC推定における有限サンプル・バイアスを軽減するため、著者は**有効サンプルサイズ（ESS）**補正を導入する。分散推定値は、MCMCチェーンに固有の正の自己相関を補正するために、係数 $N_{eff}/(N_{eff}-1)$ によって調整される。ここで $N_{eff} = S/\hat{\tau}_{MCMC}$ である。

3. 主な貢献

本論文は、以下の5つの主要な貢献を述べている：

1. 形式的な導出： CC-WAICの導出、および定常な混合プロセスに対するブロックベースの「leave-future-out」交差検証との漸近的等価性の確立。
2. ESS補正： ペナルティ項のMCMCベースの推定における有限サンプル・バイアスを低減するための実用的な補正の導入。
3. 線形時間アルゴリズム： 計算量を $O(nK)$ に削減するバンド共分散近似の開発。これにより、大規模データセットへのスケーラビリティを実現。
4. 理論的保証： 線形時間のバンド近似が、フルバージョンとしての漸近的一致性を保持し、その切断誤差が $O(\rho^{K_{band}})$（$\rho$ は自己相関の減衰率）によって抑えられることの証明。
5. 実証的検証： 隠れマルコフモデル（HMM）および実世界のデータセット（Old Faithful間欠泉、S&P 500）を用いた包括的な検証により、優れたモデル選択精度と計算効率を実証。

4. 結果

シミュレーション研究（隠れマルコフモデル）：

• 選択精度： 真のモデルが2状態および3状態であるシミュレーションにおいて、標準的なWAICおよびLOO-CVは、依存性を無視するため、系統的に過学習（真の $M_{true}=2$ に対して $M=3$ を選択）または過小適合（$M_{true}=3$ に対して $M=2$ を選択）を起こした。CC-WAIC（フル版およびバンド版の両方）は、強い時間依存性と小さなサンプルサイズの下でも、85%以上のケースで真のモデルを正しく特定した。
• 有効パラメータ数： 過剰パラメータ化されたモデルに対し、CC-WAICはWAICと比較して大幅に低い有効パラメータ推定値（$p_{eff}$）を示し、冗長な複雑性に正しくペナルティを課した。
• 計算効率： 線形時間のバンド実装は、$n=1000$ の場合、フル共分散版よりも100倍以上高速でありながら、統計的な精度を維持した（$p_{eff}$ の相対差は2%未満）。

実世界への適用：

• Old Faithful 間欠泉： CC-WAICは簡潔な2状態HMMを選択したが、WAICおよびLOO-CVはより大きなモデルを好んだ。ホールドアウト検証により、2状態モデルが優れたアウトオブサンプル予測性能（最高の対数予測密度）を持つことが確認され、WAIC/LOO-CVが依存性を考慮せずに過学習しているという主張を裏付けた。
• S&P 500 ボラティリティ（GARCH）： 日次の対数リターンに適用した際、データ駆動型のバンド幅規則は、強いボラティリティ持続性（$\hat{\tau} \approx 14.19$）により、大きなバンド幅（$K_{band}=16$）を選択した。感度分析によれば、小さな固定バンド幅（例：$K=3$）を使用すると、モデルの複雑さを大幅に過小評価することが示され、適応的規則の必要性が浮き彫りになった。

5. 意義と限界

意義：
本論文は、CC-WAICを、依存性のあるデータ（現代科学において遍在する）における、計算可能で理論的に根拠のあるベイズモデル選択ツールとして位置づけている。これは単なるアドホックな修正ではなく、「自然な拡張」を提供しており、独立性が成立する場合は標準的なWAICに帰着する。線形時間の実装により、これまで計算コストによって制限されていた大規模なアプリケーションにおいても、厳密な共分散補正が可能となった。

限界：
著者は、以下の制約を明示的に認めている：

• 指数的混合の仮定： 理論的保証およびバンド近似は、依存性の指数関数的な減達（強い混合）の仮定に基づいている。本手法は、長記憶過程（例：分数自己回帰モデル/fractional ARIMA）や非定常過程に対しては理論的な保証がない。
• 正確な条件付き尤度： 本フレームワークは、$p(y_t | y_{<t}, \theta)$ の正確な評価を必要とする。これの評価が困難なモデル（例：パーティクルフィルタを必要とする複雑な非線形状態空間モデル）では、近似誤差が性能に影響を与える可能性がある。
• 有限サンプル・バイアス： ESS補正はバイアスを軽減するものの、信頼できる推論には十分なMCMCサンプル（推奨 $S \ge 500$）が必要である。

本論文は、CC-WAICが前進である一方で、長記憶過程、近似推論の設定、および非ガウス尤度への拡張に向けた今後の研究が必要であると結論付けている。