技術要約: PMDformer

問題提起

長期時系列予測（LTSF）は、エネルギー管理、金融、交通予測などの領域において極めて重要である。Transformerベースのモデルは、長距離の依存関係を捉えるためにパッチベースの戦略を採用してきたが、根本的な課題に直面している。それは、パッチ間および変数間における**形状の類似性（shape similarities）**を正確にモデリングすることが、**スケールの違い（scale differences）**によってしばしば不明瞭になるという点である。

時系列データは本質的に非定常であり、パッチのスケールは激しく変動する。本論文で示されているように、これらのスケールの変動はアテンション機構を支配してしまい、真に類似した形状を持つパッチよりも、値の大きさが大きいパッチを優先させてしまうことがある。例えば、平均値が高いパッチは、平均値は低いものの形状の軌跡がより一致しているパッチよりも、クエリパッチに対してより類似していると誤って判断される可能性がある。さらに、既存の変数依存（VD）手法は、歴史的なウィンドウ全体にわたって変数間の相互作用をモデル化するため、古い相関関係によるノイズを導入し、過学習のリスクを招く。また、標準的な正規化手法（Zスコアなど）は、標準偏差を取り除くことでデータの固有の形状を歪めてしまう。

手法

著者らは、形状に焦点を当てたアテンションを容易にするために、トレンドと形状の情報をデカップリング（分離）するように設計されたモデル、PMDformerを提案している。そのアーキテクチャは、4つの相乗的なモジュールで構成されている。

1. パッチ平均デカップリング (Patch-Mean Decoupling: PMD)

完全な正規化を行う代わりに、PMDは入力シーケンスを重なりのないパッチに分割し、各パッチの平均（$\mu$）を減算する。

• メカニズム: パッチ $P$ に対して、残差形状 $r$ は $r = P - \mu$ として計算される。
• 効果: これにより、各パッチをゼロ平均に中心化し、長距離のトレンド（平均値にエンコードされる）と残差形状情報を明示的に分離する。重要なことに、Zスコア正規化とは異なり、PMDは元の振幅の変化と固有の形状構造を保持する。これにより、アテンション機構はスケールにバイアスされることなく、真の形状の類似性に集中できる。

2. 近接変数アテンション (Proximal Variable Attention: PVA)

変数間の非定常な関係に対処するため、PVAは変数間の相互作用モデリングを直近の時間セグメントに限定する。

• メカニズム: PVAは、すべての変数にわたる最後（最も近接した）パッチのトークンに対してのみ、マルチヘッド自己アテンション（MHSA）を適用する。
• 効果: 最も直近の相互作用に焦 было することで、モデルは将来のダイナミクスに対して最も予測的な形状の類似性を捉え、歴史的なドリフトによるノイズを回避し、計算量を $O(C^2N)$ から $O(C^2)$ へと削減する。

3. トレンド復元アテンション (Trend Restoration Attention: TRA)

形状に焦点を当てた処理中にグローバルなダイナミクスが失われないように、TRAはトレンド情報を再統合する。

• メカニズム: パラメータを共有するTransformerエンコーダが形状埋め込みを処理する。クエリ（$Q$）およびキー（$K$）投影は、パッチ間の形状の類似性をモデル化するために形状残差のみに対して機能する。しかし、バリュー（$V$）パスウェイは、加算接続を介してデカップリングされたパッチ平均（$\mu$）を明示的に組み込む：$V = P W_V + \mu$。
• 効果: このアーキテクチャ上の分離により、モデルは微細な局所的形状依存関係（$Q/K$ による）とグローバルなトレンドダイナミクス（$V$ による）を共同でエンコードでき、長期的なトレンドを尊重した安定した予測を保証する。

4. プロジェクション層 (Projection Layer)

最終層は、精緻化された形状埋め込みにパッチごとのトレンド平均を再組み込みしてから多ステップ予測を生成し、出力が元のスケールおよび長期的なダイナミクスと適切に適合するようにする。

主な貢献

1. パッチ平均デカップリング (PMD): 平均減算を通じてアテンションモジュール内でトレンドと残差形状を分離する新しいメカニズム。これにより、振幅を歪めることなく、時間パッチ間および変数間における形状の類似性を効果的に捉えることが可能になる。
2. 近接変数アテンション (PVA): 変数間のアテンションを最も直近のパッチに集中させるモジュールであり、最も関連性の高い形状の類似性を捉え、古い相関関係への過学習を軽減する。
3. トレンド復元アテンション (TRA): デカップリングされたトレンド情報をアテンション機構のバリューパスウェイに復元する手法であり、局所的な形状とグローバルなトレンドの共同エンコーディングを可能にする。
4. 実証的性能: 広範な実験により、PMDformerが複数のLTSFベンチマークにおいて既存の最先端手法に対して優れた安定性と精度を達成していることが示された。

実験結果

著者らは、8つの実世界のデータセット（ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2）を用いて、TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer, PatchTSTを含む9つのベースラインと比較してPMDformerを評価した。

• 全体的な性能: PMDformerは、8つのデータセット中7つにおいて、最小の平均二乗誤差（MSE）および平均絶対誤差（MAE）を達成した。
• 比較による利得:
  • TimeBase（主要なパッチベースモデル）と比較して、PMDformerは平均でMSEを5.68%、MAEを**6.61%**削減した。
  • TQNetと比較して、平均でMSEを8.62%、MAEを**9.96%**削減した。
  • iTransformerと比較して、平均でMSEを11.44%、MAEを**12.38%**削減した。
• アブレーション研究:
  • PMDを削除するか、標準的な正規化（例：SANやZスコア）に置き換えると性能が低下し、トレンドをデカップリングしながら形状を保持することの必要性が確認された。
  • PVAをすべての履歴トークンに対するアテンションに置き換えるか、あるいは削除すると大幅な性能低下を招き、近接する変数間の相互作用に焦点を当てることの重要性が検証された。
  • TRAを標準的な自己アテンションに置き換えるか削除すると大幅な誤差が生じ、トレンド復元の決定的な役割が浮き彫りになった。

意義

本論文は、PMDformerが現在のLTSFアーキテクチャにおける核心的な限界、すなわち非定常データにおける「真の形状の類似性」と「スケールによるバイアス」を区別できないという問題に対処していると主張している。トレンドを形状から明示的にデカップリングし、変数間の相互作用を最も関連性の高い時間窓に集中させることで、モデルはより堅牢な長期予測のフレームワークを提供する。結果は、生の大きさよりも構造的な類似性を優先する形状中心型（shape-centric）のTransformer設計が、複雑な時系列タスクにおいて安定性と精度の面で大きな優位性を持つことを示唆している。著者らは、本研究を、エネルギーや金融のような重要なインフラストラクチャ領域における、より信頼性の高い予測に向けた一歩として位置づけている。