技術要約：FATE (Focal-Modulated Attention Encoder) による多変量時系列予測

1. 問題提起

正確な多変量時系列予測は、気候変動の影響を理解し軽減するために不可欠であるが、既存のディープラーニング手法は重大な障壁に直面している。TransformerアーキテクチャはNLPやコンピュータビジョンにおいて画期的な進歩をもたらしてきたが、その多変量時系列予測への適用については議論の余地がある。本論文は、現在のTransformerベースのアプローチにおける3つの根本的な欠陥を特定している：

1. 置換不変性（Permutation-Invariance）： 標準的な自己注意（Self-attention）は、本質的に時間的順序を捉えることができず、結果として逐次的なダイナミクスのモデリングが弱くなる。
2. 一様注意（Uniform Attention）： すべてのトークンを等しく扱うことは、時空間スケールにおける気候変数の重要性の違いを見落とし、高次元の気象データへとスケールアップする際の計算効率の低下を招く。
3. 階層的モデリングの欠如： 既存のアーキテクチャは、長期予測において極めて重要な、階層的な時空間相関をモデル化するための明示的なメカニズムを欠いていることが多い。

さらに、単純な線形モデルが特定のタスクにおいて精度と効率の両面で複雑なTransformerを凌駕することが最近示されており、これは、意味的な豊かさと計算の実用性をより良くバランスさせたアーキテクチャの必要性を浮き彫りにしている。

2. 手法：FATE アーキテクチャ

著者らは、多変量時系列予測のために特別に再設計された新しいTransformerアーキテクチャである FATE (Focal-Modulated Attention Encoder) を提案している。FocalNet（ビジョン向けに設計）の単純な適応とは異なり、FATEは入力データの3Dテンソル構造（$X \in \mathbb{R}^{T \times S \times P}$、ここで $T$ は時間、$S$ はステーション（空間）、$P$ は気候パラメータ（特徴量））を保持する原理的な再設計を導入している。

コアコンポーネント

• テンソル化されたフォーカル・モジュレーション（Tensorized Focal Modulation）： ペアワイズの注意の代わりに、FATEはテンソル化されたフォーカル・モジュレーション・メカニズムを採用している。これは標準的な注意を階層的なコンテキスト集約に置き換え、計算効率の向上、局所バイアスの保持、および非二次的な長距離依存関係のモデデリングを実現する。
• 3Dテンソルの保持： モデルは時間軸と変数軸を明示的に維持し、時間と特徴量の両方にわたるグループ化された注意を通じて、長距離依存関係の効果的なモデリングを可能にする。
• 時間ブロックのためのフォーカル・グルーピング： 空間グリッドではなく、FATEは予測ホライゾンに適応する動的な時間フォーカルグループを定義し、時系列データ特有の階層的な時間依存関係を捉える。
• クロス軸モジュレーション（Cross-Axis Modulation）： フォーカル・モジュレーションは時間ステップを超えて変数次元にも拡張されており、従来のFocalNetにはなかった豊かなクロス特徴間の相互作用を可能にしている。

動作フロー

1. 入力エンコーディング： 入力テンソルは、時間（$T$）およびパラメータ（$P$）軸に沿って位置エンコーディングを受ける。
2. テンソル注意（Tensorial Attention）： モデルは、学習可能な重みテンソルとの要素ごとの積を通じて、3Dのクエリ（$Q$）、キー（$K$）、バリュー（$V$）テンソルを計算する。
3. モジュレーション： 時間ステップにわたる乗法的相互作用が計算され、続いてステーション次元にわたってソフトマックスが適用され、注意の重みが生成される。これらの重みはブロードキャストされ、時間次元にわたって合計され、出力が生成される。
4. 解釈可能性メカニズム： FATEは二重モジュレーション・スコアを導入している：
   • ヘッド単位のスコア（Head-wise scores）： 特定の注意ヘッドとステーションとの関係を定量化する。
   • 都市単位のスコア（City-wise scores）： すべてのヘッドにわたる寄与を集計し、予測を駆動する各都市/ステーションの全体的な重要性を反映する。

3. 主な貢献

本論文は、主に3つの貢献を述べている：

1. 新しいアーキテクチャ： 多変量時系列予測のために、3Dテンソル構造（$T \times S \times P$）を保持するフォーカル・モジュレーション・メカニズムを利用したTransformerアーキテクチャであるFATEの導入。
2. 解釈性の向上： 予測性能を向上させると同時に、決定的な時間的および変数的な依存関係を特定し、どのステーションや特徴量がモデルの決定を駆動しているかについての洞察を提供する、二重モジュレーション・スコアの設計。
3. 最先端の性能（State-of-the-Art Performance）： 7つの多様なベンチマークデータセットにおいて、新たな最高水準の結果を達成した。具体的には、ETTm2で13.3%のMAE改善、Weather5kで9.1%のMAE改善、LargeSTで10.1%のMAE改善が確認されている。

4. 実験結果

FATEは、環境（Weather5k, USA-Canada, Europe）およびインフラ（ETTh1, ETTm2, Traffic, LargeST）の領域にわたる7つの実世界のデータセットを用いて評価され、Transformer、RNN/CNN、線形モデル、空間・時間モデルを含む17のベースラインと比較された。

• パフォーマンス： FATEは一貫してベースラインを上回り、最小の平均絶対誤差（MAE）および平均二乗誤差（MSE）を達成した。
  • LargeST（交通データ）において、FATEはMAE 0.160、MSE 0.255を達成し、2番目に優れたモデル（D2STGNN）をそれぞれ10.1%および13.6%上回った。
  • Weather5kにおいて、FATEはCI-TSMixerに対してMAEで9.1%、MSEで12.3%の改善を示し、高次元ノイズに対する堅牢性を示した。
  • ETTm2において、FATEはMAEで13.3%、MSEで7.9%の改善を示した。
• 長期予測（Long-Horizon Forecasting）： モデルは、USA-CanadaおよびEuropeのデータセットにおける4〜16時間の予測のような、特に長期かつ変動性の高い設定において強みを発揮し、最良のベースラインと比較してエラーを最大24.9%削減した。
• 効率性： テンソル化されたフォーカル・モジュレーションは、標準的なTransformerと比較して中程度の計算オーバーヘッドを導入するが、著者らは、効率的なプロジェクションによって実行時間とGPU使用量がベースラインのTransformerと同等に保たれており、長期タスクにおける性能向上によってそのコストが正当化されると述べている。

5. 意義と主張

本論文は、FATEを、特に気候アプリケーションにおいて、多変量時系列予測における重要な前進として位置づけている。著者らは、FATEは単なる既存のビジョンモデルの適応ではなく、時系列データの構造的特性を活用した原理的な再設計であると主張している。

• 科学的インパクト： 階層的な時空間相関を効果的にモデル化することで、FATEは気候データ（多次元、高度に相関しており、数十年にわたって進化する）の特有の課題に対処し、政策立案者のためのより信頼性の高い長期予測を可能にする。
• 解釈可能性： 二重モジュレーション・スコアは、「ブラックボックス」的な予測を超え、予測を駆動する重要な環境特徴やステーションを研究者が特定するためのメカニズムを提供する。
• 汎用性： 広範なアブレーション研究により、FATEがエネルギー消費から交通流、気象予測に至るまで、異種混合の予測タスクに対して効果的に汎用できることが確認されている。

著者らは、FATEが気候予測および3Dテンソル構造を持つより広範なアプリケーションのための、スケーラブルで拡張可能な基盤を提供すると結論付けており、再現性を促進するために完全な実装を公開している。