技術的サマリー：モデルランキングの超越：時系列予測における予測性整合評価

1. 問題提起

時系列予測の分野は、重要な評価ジレンマに直面している。標準的な集計指標（例えば平均二乗誤差、MSE）は、モデルの限界と評価対象のデータインスタンスに内在する難易度を混同している。現在のリーダーボードは、集計誤差のわずかな改善に基づいてモデルをランキングすることが多く、誤差が「なぜ」発生するのかを曖昧にしている。洗練されたモデルが、テスト系列が規則的で予測しやすいために単にベースラインより劣って見える場合もあれば、逆に、本質的に予測しやすいデータセット上でモデルが成功しているように見える場合もある。

エントロピーレート推定器やレペル・ツィブ複雑性のような予測性を定量化する既存のツールは、現代の深層学習に基づく予測には不適切である。その理由は以下の通りである：

1. パラダイムの不一致: これらは記号力学と単ステップ分類（0–1 損失）のために設計されたものであり、二乗誤差下での多ホライズン回帰には適合していない。
2. 計算コスト: これらは通常、二次から三次の計算複雑性を伴い、大規模で高次元の時系列には実行不可能である。
3. 診断的洞察の欠如: これらは通常、単一のグローバルスコアを生成するだけであり、モデルが時間、チャネル、または周波数帯域のどこで失敗しているかを明らかにしない。

本論文は、分野が予測目標と整合したインスタンス難易度を定量化する診断的枠組みを必要としており、これにより層別評価を可能にし、モデルが利用可能な情報を十分に活用できていない箇所を明らかにできると主張している。

2. 手法

著者らは、スペクトルコヒーレンスに基づいた診断的枠組みを提案しており、これは**スペクトルコヒーレンス予測性（SCP）と線形利用率（LUR）**という 2 つの中核要素から構成される。

2.1 スペクトルコヒーレンス予測性（SCP）

SCP は、理論的なベイズリスク（内在的予測性）に対する計算効率的かつタスク整合的な代理指標として機能する。これは、特定のインスタンスを予測するために利用可能な線形的に活用可能な情報の量を定量化する。

• メカニズム: ウェルチ法を用いて周波数領域で動作し、SCP は履歴 $x$ と未来 $y$ の間の二乗コヒーレンス $\gamma^2_{xy}(f)$ を計算する。
• 線形下限: 説明されていないパワー（残差スペクトル）を集約し、境界平均の不一致を考慮するために平均シフト項を加えることで、保守的な線形平均二乗誤差下限（$MSE_{lb}$）を導出する：
  $$MSE_{lb} = \Delta^2 + \sum_{f} \hat{S}_{e}(f)$$
  ここで、$\hat{S}_{e}(f) = \hat{S}_{yy}(f)(1 - \gamma^2_{xy}(f))$ である。
• 予測性スコア: 予測性 $P_{xy}$ は、不確実性の正規化された減少として定義される：
  $$P_{xy} = \max\left(0, 1 - \frac{MSE_{lb}}{\widehat{Var}(y)}\right)$$
• 効率性: この手法は、高速フーリエ変換（FFT）を用いてサンプルあたり $O(N \log N)$ の時間で動作し、マッチングベースの複雑性推定器よりもはるかに高速である。

2.2 線形利用率（LUR）

SCP がインスタンスの難易度を測定するのに対し、LUR は特定のモデルが線形的に予測可能な構造をどの程度効果的に活用しているかを診断する。

• メカニズム: LUR は、モデルの予測 $\hat{y}$ とターゲット $y$ の間のパワー重み付きコヒーレンスを、履歴 $x$ とターゲット $y$ の間のコヒーレンスと比較する。
• 定義:
  $$LUR = \frac{P_{model}}{P_{linear}} = \frac{\sum \gamma^2_{y\hat{y}}(f) \hat{S}_{yy}(f)}{\sum \gamma^2_{yx}(f) \hat{S}_{yy}(f)}$$
• 解釈:
  • $LUR < 1$: 未活用を示す（モデルが履歴に存在する線形相関を捉えられていない）。
  • $LUR \approx 1$: モデルが線形情報の天井に達していることを示す。
  • $LUR > 1$: モデルが非線形ダイナミクスまたはグローバルな帰納的バイアスを介して追加の予測利得を捉えていることを示唆する。
• 層別化: この枠組みは、帯域別分析（低/中/高周波数）を可能にし、スペクトル帯域全体にわたるモデルの挙動の微細な評価を可能にする。

3. 主要な貢献

1. 予測性認識診断枠組み: 本論文は、モデルのパフォーマンスをインスタンスの難易度から分離するための体系的なアプローチを導入し、現在の評価プロトコルの曖昧さに対処する。
2. SCP および LUR メトリクス:
   • SCP: 計算効率的（$O(N \log N)$）かつタスク整合的なインスタンス難易度参照指標であり、線形 MSE 下限を提供する。
   • LUR: 線形構造の活用におけるモデルの効率性を周波数分解能で定量化する診断指標。
3. 実証的検証: 合成データおよび実世界のベンチマーク（ETTh1/2、ETTm1/2、ECL、Weather、Traffic、ILI）における広範な実験により、SCP が適切に較正されており、多様な最先端（SOTA）モデルにおいて実現された予測誤差と強く相関することが示された。

4. 実験結果

• 較正: 合成環境において、SCP は信号対雑音比（SNR）とともに単調に増加し、$MSE_{lb}$ は最適線形予測子の誤差を密に追跡する。実世界データセットにおいて、SCP はモデル間で正規化 MSE（NMSE）と強い逆相関を示す（ピアソン $R \ge 0.8$）。
• 予測性ドリフト: 分析により、タスクの難易度は静的ではないことが明らかになった。「予測性ドリフト」は、利用可能な情報の量が時間とともに、また変数間で著しく変動する現象である。集計されたテストセット統計は、これらの変動する難易度レジームを平均化しているため、誤解を招く可能性がある。
• 層別評価:
  • 周波数帯域: 線形モデル（例：DLinear）は高周波数帯域でより高い LUR を示す傾向があるのに対し、Transformer ベースのモデル（例：iTransformer、PatchTST）は低周波数・高エネルギー帯域で優れている。
  • 難易度レジーム: 非線形モデルは低予測性（困難）なレジームで線形ベースラインを上回る傾向があるのに対し、線形モデルは高予測性（容易）なレジームで非常に競争力が高い。
• 頑健性: この枠組みは、異なるウェルチパラメータ（ウィンドウ長、オーバーラップ）および履歴ウィンドウ長 across 安定している。また、多変量設定および非線形特徴空間（カーネルマップを介して）にも拡張可能である。

5. 意義と主張

本論文は、「リーダーボードスタイルのランキング」から「予測性認識診断」へのパラダイムシフトを提唱している。著者らは以下を主張する：

• より公平な比較: インスタンス難易度（SCP）に基づいて評価を層別化することで、集計スコアでは隠れてしまう相補的なアーキテクチャの強みを明らかにできる。
• 実行可能な洞察: この枠組みは、特定の失敗モード（例：線形信号の未活用対非線形ドリフトのモデル化不能）を特定し、より頑健な予測モデルの開発を導く。
• 効率性: 提案されたメトリクスは、複雑なエントロピーベースの手法に対する厳密かつ低コストな代替手段を提供し、大規模ベンチマークにおけるインスタンスレベルの難易度評価を実行可能にする。

著者らは、単純な誤差最小化を超えて、データインスタンスの予測性を理解することへと移行することが、科学的な反復と時系列予測モデルの真の能力の理解に不可欠であると結論付けている。