Horizon Activation Mapping for Neural Networks in Time Series Forecasting

タイトル: 時系列予測におけるニューラルネットワークのためのホライズン活性化マッピング

問題提起
時系列予測のためのニューラルネットワークモデルは、特に長ホライズンタスクにおいて顕著な性能向上を達成しています。しかし、この分野には、特定の層タイプやモデルファミリーに依存しない、モデル選択と解釈可能性のための統一されたフレームワークが存在しません。Grad-CAM などの既存の解釈可能性手法はコンピュータビジョン向けに設計されており、空間的注意マップに依存しているため、多変量予測の空間的・時間的性質には単純には適用できません。さらに、MLP ベース、自己注意、SSM ベース、拡散など、さまざまなモデルファミリーが存在するにもかかわらず、異なるアーキテクチャ間での内部学習ダイナミクスや勾配活動を比較できる大規模な教師ありデータセットや分析フレームワークはありません。現在のモデル選択は、異なるファミリー間でも類似する可能性のある誤差指標（MSE、MAE）に依存することが多く、これにより潜在的な最適化ランドスケープや学習戦略が不明瞭になっています。

手法：ホライズン活性化マッピング（HAM）
著者は、Grad-CAM に着想を得つつ時系列予測向けに適応させた視覚的解釈可能性手法である**ホライズン活性化マッピング（HAM）**を導入します。HAM は、予測ホライズン内のサブシリーズ全体にわたる勾配更新の大きさを分析し、モデルの特性を特定します。

• 因果モードと反因果モード: 大きさ $H$ のホライズンに対して、HAM はバックプロパゲーション前に損失関数に適用される 2 つのマスクモードを用いて、勾配ノルムの平均を計算します。
  • 因果モード（$c$）: タイムステップ 0 から $h$ までのサブシリーズを含みます。
  • 反因果モード（$a$）: タイムステップ $h$ から $H$ までのサブシリーズを含みます。
• 勾配ノルムの平均: このフレームワークは、これらのマスクされたサブシリーズにわたるモデルパラメータ $\theta$ に対する平均勾配ノルムを計算します。
• 可視化:
  • HAM プロット: 勾配ノルムの平均をタイムステップに対して表示し、勾配ノルムの均一分布を表す「比例線」と比較します。
  • 差分プロット: ホライズン全体にわたる学習の差異を強調するため、因果的および反因果的な勾配平均の差を $[-1, 1]$ にスケーリングして示します。
  • 補間された面積プロット: 異なるホライズンサイズのモデルを比較するため、モデルごとの最大面積を $[0, 1]$ の範囲に正規化します。
• 主要指標: このフレームワークは、最初の $h$ タイムステップの勾配ノルム平均が残りの $H-h$ タイムステップのそれと等しくなる勾配等変点を特定します。また、曲線と比例線の間の符号付き面積を計算して変動を増幅します。

実験設定
本研究は、NVIDIA A40 GPU を使用してETTm2 データセット（60-20-20 の訓練・検証・テスト分割）上で訓練された多様なモデルファミリーに対して HAM を評価します。対象モデルは以下の通りです。

• MLP ベース: CycleNet, N-Linear, N-HITS。
• 自己注意: FEDformer, Pyraformer。
• 状態空間モデル（SSM）: SpaceTime。
• 拡散: Multi-Resolution DDPM。

実験はさまざまなホライズンサイズ（$H = \{96, 192, 336, 720\}$）を網羅し、以下の影響を調査します。

• ドロップアウト率。
• バッチサイズ。
• 早期停止（停止後のエポック数）。
• データセット分割（訓練対検証対テスト）。
• 単変量対多変量予測。
• 構造的ハイパーパラメータ（例：サイクルキューの長さ、正規化戦略）。

主要な結果と観察

1. ドロップアウトの影響: 多変量モデル（特に N-HITS）において、ドロップアウト（0.2）を追加すると、ホライズンのより長い領域で特に、全体の勾配の大きさが 3 倍以上増加しました。
2. バッチサイズのダイナミクス:
   • 勾配の大きさと誤差指標は、バッチサイズと複雑な関係を示しました。
   • 収束したモデル（N-HITS, N-Linear, CycleNet）において、バッチサイズ全体にわたって補間された勾配ノルムの平均は多項式的に飽和する傾向を示し、エポックごとのバッチサイズ間での潜在的な指数関数的近似を示唆しています。
   • CycleNet はバッチサイズに基づいて微妙な性能差を示し、小さなバッチサイズ（50）では反因果的活動が増加し、大きなバッチサイズ（100）では因果的活動が減少しました。
3. 早期停止: 早期に停止されたモデルは、特に因果モードにおいて勾配の大きさが減少しました。早期停止モデルの勾配等変点は $H/2$ に近づき、モデルが局所最小値に達した後、より長いホライズン領域の活動が性能を向上させなかったことを示唆しています。
4. データセット分割: 訓練データは曲線を比例線に近づけました。N-HITS の検証セットは、CycleNet よりも明確に「分布外」の側面を示しました。
5. 単変量対多変量: 多変量予測はより大きな空間的学習の困難さを提示しました。多変量サブシリーズから初期タイムステップを除去すると、反因果的な曲線が比例線より下に押し下げられ、これは単変量のケースでは見られない挙動です。
6. アーキテクチャ固有の特性:
   • N-Linear: 正規化（最後のタイムステップの値を減算）は誤差を 16% 減少させ、勾配の大きさを変化させました。ホライズンの最初の 23% では因果的に減少し、その後は増加しました。
   • CycleNet: サイクルキューの長さが値の順序に影響を与えました。最小のサイクル長さ（64）が最良の性能に対応し、サブシリーズの長さ間でより大きな相互作用を示しました。
   • SpaceTime: 指数関数的な自己回帰的活動を示しました。その因果モードは（$H=96$ において）線形から（$H=\{192, 336, 720\}$ において）指数関数的な傾向へ移行し、ホライズンのより長い領域を強調しました。
   • N-HITS: その挙動は神経近似定理と一致しており、反因果的な増加は無限ホライズンの仮定を支持しました。
   • 拡散（Multi-Resolution DDPM）: 比例の期待値と比較して、より小さなサブシリーズに対して特徴的に大きな勾配ノルムを示し、拡散ベースの予測の特性を示唆しました。

意義と主張
本論文は、HAM が以下のための詳細かつモデルに依存しないフレームワークを提供すると主張しています。

• モデル選択: 単純な誤差指標を超えて、異なるニューラルネットワークファミリー（MLP、Attention、SSM、Diffusion）間での学習戦略や最適化ランドスケープを比較する。
• 検証セットの選択: HAM プロットにおける相対的な変動性を用いて、適切な検証セットを選択する。
• アーキテクチャへの洞察: HAM プロットにおける特定の傾向を、N-HITS の神経近似定理や SpaceTime の指数関数的自己回帰性などの理論的性質に帰属させる。
• 汎用性: このフレームワークはモデルで使用される層の種類に関係なく適用可能であり、特定のアーキテクチャに限定されていた以前の手法の限界を克服します。

著者は、HAM が全体的なノルム平均を使用しているものの、層ごとのプロットを用いれば、より短く長いサブシリーズに対する学習ダイナミクスをさらに明確にできることに言及しています。本研究は、HAM が時系列予測の「最適化ランドスケープ」を理解するためのツールとして機能し、解釈可能なアーキテクチャの変更やファミリー間比較を可能にすると結論付けています。