技術要約：分離された時間的および変数間モデリングによる InvDec を用いた多変量時系列予測

問題提起

多変量時系列予測には、時間的パターン（個々の変数の時間の経過に伴う進化）と変数間依存関係（異なる変数間の相互作用と相関）という、2つの異なる種類の依存関係を同時にモデリングする必要があります。既存のディープラーニング手法は、根本的なトレードオフに直面しています：

• チャネル独立型手法（例：PatchTST）は、変数を個別に扱うことで時間的モデリングには優れていますが、重要な変数間相関を無視するため、高次元シナリオにおける性能が制限されます。
• 純粋な変数アテンション手法（例：iTransformer）は、標準的なTransformerの設計を反転させて変数間の相互作用をモデリングしますが、変数全体のシーケンスを単一のトークンとして扱うため、きめ細かな時間的エンコーディングを犠牲にすることがよくあります。
• 絡み合った（Entangled）手法（例：Crossformer）は、これら両方の次元を同時にモデリングしようと試みますが、原理的な関心の分離を欠いているため、解釈を複雑にし、計算オーバーヘッドを増大させることがよくあります。

本論文は、現在の手法が最適なバランスを実現できていないと主張しています。特に、データセットの次元数が増加するにつれて、正確な予測のために変数間の依存関係がますます重要になる場面において顕著です。

手法：InvDec (Inverted Decoder)

著者らは、時間的エンコーディングと変数レベルのデコーディングを原理的に分離するハイブリッドアーキテクチャである InvDec を提案しています。このモデルは、PatchTST を時間的バックボーンとして用いることで、InvDec-PatchTST として実装されています。

コアアーキテクチャ

1. 時間的エンコーダー（チャネル独立型）:

   • 入力される多変量時系列は、重なりのないパッチに分割されます。
   • 標準的なTransformerエンコーダーが、各変数に対してこれらのパッチを独立して処理し（チャネル独立）、他の変数からの干渉を受けることなく、きめ細かな時間的ダイナミクス（トレンド、季節性）を捉えます。
   • 出力はテンソル $Z_{enc} \in \mathbb{R}^{C \times P \times D}$ であり、ここで $C$ は変数、$P$ はパッチ、$D$ は埋め込み次元を表します。

2. 遅延変数埋め込み (Delayed Variate Embeddings):

   • 変数固有の情報を入力時に注入する手法（これは時間的パターンを歪ませる可能性がある）とは異なり、InvDec は時間的エンコーディング段階の後にのみ、学習可能な変数埋め込み ($E_{var}$) を導入します。
   • エンコーダーの出力は、パッチ全体にわたってグローバルにプーリングされ、変数レベルの表現 ($G$) が作成され、そこに $E_{var}$ が加算されます。これにより、$Z_{enc}$ における時間的特徴が「純粋」であり、変数固有の混同から自由であることが保証されます。

3. 反転デコーダー (Inverted Decoder / 変数レベル・アテンション):

   • デコーダーは、厳密に変数次元に対して動作します。これは、時間ステップに対してではなく、$C$ 個の変数に対して自己アテンションを適用します（各変数を一つのトークンとして扱います）。
   • このメカニズムは、変数間の依存関係を明示的にモデリングし、異なる変数がどのように互いに影響を及ぼし合うかをモデルが学習することを可能にします。
   • デコーダーの出力は投影され、元のパッチ形状へとブロードキャストされます。

4. 適応的残差融合 (Adaptive Residual Fusion):

   • 学習可能な重み $\lambda$ が、時間的エンコーダー ($Z_{enc}$) と変数デコーダー ($\tilde{Z}$) の寄与を動的にバランスさせます：
     $$Z_{fused} = Z_{enc} + \lambda \cdot \tilde{Z}$$
   • 重み $\lambda$ は、データセットの次元数に基づいて適応されます。時間的パターンが支配的な低次元データセットでは小さな値（例：0.3）を、変数間の相関が極めて重要な高次元データセットでは大きな値（例：1.0）を使用します。

理論的基礎

論文では、設計を正当化するために3つの定理を提供しています：

• 定理1（時間的特徴の純粋性）: エンコーディング後に変数埋め込みを遅延させることが、時間的エンコーダーの出力が変数間の不均一性と条件付き独立であることを保証し、純粋な時間的パターンを保持することを証明しています。
• 定理2（ハイブリッドの優位性）: 中〜高次元のデータセット（$10 \le C \le 500$）において、ハイブリッド誤差が純粋な時間的または純粋な変数手法よりも厳密に低くなる条件を導出しています。
• 定理3（最適残差重み）: 最適な融合重み $\lambda^*$ は、データ統計から推定可能な変数間依存関係の相対的重要度 ($\rho_v$) に比例することを確立しています。

主な貢献

1. 新規アーキテクチャ: パッチベースの時間的エンコーダーと変数レベルの反転デコーダーを組み合わせ、モデリングの関心を明確に分離した最初のアーキテクチャである InvDec を導入しました。
2. 理論的正当化: この分離が時間的特徴の歪みを防ぎ、純粋な手法と比較して次元数に関わらず優れた汎化性能を提供することを実証する厳密な証明を提供しました。
3. 戦略的設計要素:
   • 遅延変数埋め込み: 時間的特徴を汚染することなく、変数の表現を豊かにします。
   • 適応的残差融合: データセットの特性に基づいて、時間的情報と変数情報のバランスを動的に調整するメカニズム。
4. 固有の解釈可能性: このアーキテクチャは、純粋な時間的パターン（エンコーダーのアテンション経由）と変数間の関係（デコーダーのアテンション重み経由）を、事後的な分離なしに直接検査することを可能にします。

実験結果

著者らは、7つのベンチマーク（ETT, Weather, Electricity, Traffic）において、9つの最新のSOTAベースラインに対し、InvDec-PatchTSTを評価しました。

• 高次元での性能: InvDecは、多くの変数を持つデータセットで大幅な利得を実現しています：
  • Electricity (321変数): PatchTSTと比較してMSE（平均二乗誤差）が20.9%減少し、iTransformerに対して2.8%向上しました。
  • Weather (21変数): Patchستに対してMSEが4.3%向上しました。
  • Traffic (862変数): PatchTSTに対して2.7%向上しました（ただし、超高次元においてはiTransformerの方が絶対的にわずかに優れた性能を示しており、理論的限界を裏付けています）。
• 低次元での性能: ETTデータセット（7変数）において、InvDecは競争力のある性能を維持しており（PatchTSTの0.8%以内）、これは適応的融合が、変数間の依存関係が弱い場合の性能低下を防いでいることを示しています。
• アブレーション研究: 反転デコーダーを除去した場合（$\lambda=0$）は性能が低下すること、および最適な $\lambda$ はデータセットの次元数とともに増加することを確認しました。
• 複雑性: モデルはトレーニング時間にわずか2〜5%のオーバーヘッドしか追加しません。ただし、著者らはデコーダーのアテンション行列の $O(C^2)$ の複雑さにより、$C > 1000$ におけるスケーラビリティの限界を認めています。

重要性と主張

本論文は、InvDec が多変量予測における根本的な限界、すなわち、一方を犠牲にすることなく、きめ細かな時間的パターンと複雑な変数間依存関係を同時に捉えることができないという問題に対処していると主張しています。

• 次元数依存の優位性: 主要な意義は、変数間のモデリングの恩恵がデータセットの次元数とともに大幅に増大するという検証にあります。InvDecは、中〜高次元のシナリオ（$10 \le C \le 500$）において最適なバランスを提供します。
• 解釈可能性: 時間的モデリングと変数モデリングを分離することで、モデルに透明性をもたらします。実務者は、絡み合ったアーキテクチャでは失われがちな、時間的パターンと変数間の相関を独立して監査できます。
• 実践的なガイダンス: 本研究は明確な設計推奨事項を提供しています：中〜高次元ではInvDecのようなハイブリッドモデルを使用すべきですが、変数間のアテンションの計算コストが制限となる超高次元（$C > 1000$）では、純粋な変数メソッド（iTransformerなど）に戻すべきです。

著者らは、InvDecが、関心の原理的な分離と適応的融合を組み合わせることで、多様なシナリオにおける多変量時系列予測のための効果的なフレームワークを提供することを実証したと結論付けています。