技術概要：NPMixer

問題定義

多変量時系列予測（TSF）は、局所的な時間的ダイナミクスと複数の変数にわたるグローバルな依存関係という二重の複雑さにより、重大な課題に直面しています。最近の深層学習アプローチは、従来の統計的手法（例：ARIMA）を超えて、Transformer や MLP を活用する方向へ移行していますが、既存のソリューションは多くの場合、効率性と特徴量の冗長性の点で苦労しています。具体的には、多くのパッチベースの手法（例：PatchTST）は、局所的な意味を捉えるために重なり合うウィンドウに依存しており、これにより計算オーバーヘッドが増大し、過学習につながる冗長な情報の導入リスクが高まります。さらに、周波数領域のアプローチ（例：FEDformer、WaveForM）は周期性の分離に寄与しますが、標準的な離散ウェーブレット変換（DWT）はダウンサンプリングに起因する問題を抱えており、これにより翻訳不変性が失われ、特徴量の損失を招く可能性があります。

手法：NPMixer

著者は、重なり合う密なスライディングウィンドウの冗長性なしに、マルチスケールの時間的ダイナミクスとチャネル間相関を捉えるように設計された階層型アーキテクチャ「NPMixer（Neighboring Patching Mixer）」を提案します。このフレームワークは、3 つの中核コンポーネントで構成されます。

1. 学習可能な定常ウェーブレット変換（LSWT）

固定基底関数（Haar や Daubechies など）や標準的な DWT の代わりに、NPMixer は学習可能な定常ウェーブレット変換を採用します。

• メカニズム: モデルはバックプロパゲーションを通じてトレーニング中にフィルタ係数（$h_0, h_1$）を最適化し、分解がデータの特定のスペクトル特性に動的に適応できるようにします。
• 定常性: DWT と異なり、定常ウェーブレット変換（SWT）はダウンサンプリングを省略します。これにより、元の系列長が保持され、翻訳不変性が維持され、信号のシフトが特徴表現を変化させないことが保証されます。
• 分解: 入力データは、トレンドを表すグローバルな近似係数（$A_M$）と、高周波変動を表すマルチスケールの詳細係数（$\{D_m\}$）に分解されます。

2. チャネルミキシングエンコーダ

このコンポーネントは、詳細係数（高周波成分）にのみ適用されます。

• アーキテクチャ: iTransformer に似た逆転アーキテクチャを採用し、各変数の全ルックバック系列を固有のトークンとして扱います。
• 機能: マルチヘッド自己注意（MSA）メカニズムを用いて変数間のペアごとの相関をモデル化し、多変量相互作用の動的グラフを学習します。これにより、モデルは相関する変数の状態に基づいて高周波特徴を洗練させることができます。
• 除外: 近似ブランチ（トレンド）は、クロスチャネル混合からのノイズを導入することなく、グローバルなトレンドの滑らかな単変量軌跡を保持するため、このエンコーダをバイパスします。

3. ネイバーミキサーブロック

これは、非重なりパッチング戦略を利用した時間的依存関係の捕捉における中核的な革新です。

• 非重なりパッチング: 系列は長さ $P$ の非重なりパッチに分割されます。
• 階層的ペアリング: モデルは反復的な「グループ・ミックス・溶解（Group-Mix-Dissolve）」戦略を採用します。各階層レベルにおいて、隣接する時間的ブロックがペアリングされ、関係特徴を学習するために深いマルチパッチ MLP を通じて処理されます。
• 非対称更新: 予測の時間的構造に整合させるため、モデルは方向性バイアスを強制する学習可能なゲート（$\alpha_k$）を使用します。初期ブロックは将来指向の信号（後続ブロックとの相互作用）に基づいて更新され、その後のブロックは過去の連続性（先行コンテキストからの統合）を優先します。
• 進行: 再帰的ペアリングを通じて、受容野は効率的に拡大し、重なり合うストライドの計算コストなしに、局所的な微細な特徴の学習からグローバルな系列全体のパターン捕捉へと移行します。

4. 再構成と投影

処理された特徴は、学習可能な逆 SWT（LISWT）を介して再構成され、予測を生成するために最終投影層（グローバルなボトルネック変換）を通過します。出力は RevIN による非正規化を経て、元のスケールに復元されます。

主要な貢献

1. 再帰的パッチ集約: 本論文は、非重なりパッチを階層的に集約することが、局所的な詳細からグローバルな依存関係への移行を効果的に捉え、マルチスケールダイナミクスの表現を豊かにすることを示しています。
2. 周波数領域におけるマルチスケール学習: 著者は、周波数領域内（LSWT 経由）でマルチスケール学習を行うことが、異なる解像度にわたる正確な時間的ダイナミクスを捉える上で不可欠であることを示しています。
3. 最先端のアーキテクチャ: NPMixer は、長期予測タスクにおける多変量時系列データセット全体で最先端の結果を達成する、シンプルかつ効果的なアーキテクチャとして提案されています。

実験結果

モデルは、6 つの最先端ベースライン（SimpleTM、TimeXer、CrossGNN、iTransformer、PatchTST、TimeMixer）に対して、7 つのベンチマークデータセット（ETTh1、ETTh2、ETTm1、ETTm2、Weather、Electricity、Traffic）で評価されました。

• 性能: NPMixer は一貫してベースラインを上回り、評価された 28 の実験設定のうち20 件（71.4%）で最良の平均二乗誤差（MSE）を達成し、18 件の設定で最良の平均絶対誤差（MAE）を記録しました。
• 具体的な改善: ETTm1 および ETTm2 データセットで顕著な改善が観察され、NPMixer は 2 番目に優れたバリアント（SimpleTM）に対して平均 MSE を 4.98% 改善しました。
• アブレーション研究:
  • ネイバーミキサーを単一パッチミキサーに置き換えて除去すると、性能が著しく低下しました（例：Traffic データセットで MSE が 18.01% 増加）。これは階層的ペアリングの必要性を浮き彫りにしています。
  • チャネルミキシングエンコーダを除去すると、高次元の Traffic データセットで MSE が 17.19% 増加し、周波数領域における明示的なクロスチャネル相関モデルの重要性が確認されました。
  • ウェーブレット変換の学習可能な側面は、特に ETTm1 および Weather データセットで一貫した改善をもたらしました。
• ルックバックウィンドウ分析: NPMixer は長いルックバックウィンドウに対して堅牢性を示し、ウィンドウサイズが最適化された場合、7 つのデータセットのうち 5 つで最良の結果を達成しました。これは、モデルがより豊富な履歴情報を効果的に活用していることを示唆しています。

意義と主張

本論文は、学習可能なスペクトル分解と階層的時間的ミキシングを相乗させることで、多変量時系列予測における新たな最先端を確立すると主張しています。

• 効率性対冗長性: 非重なりパッチと階層的ペアリングを活用することで、モデルは重なり合うスライディングウィンドウに内在する計算的冗長性なしに、マルチスケール表現を捉えます。
• 安定性と精度: LSWT の統合により、モデルは特定の周期性やノイズパターンを独立して分離・処理することが可能になり、チャネルミキシングエンコーダはグローバルなトレンドを不安定化させることなく変数間の相関を捕捉します。
• 将来展望: 著者は、指数関数的なブロックサイズに起因する厳密な入力長制約と、初期パッチサイズへの感度に関する限界を認めています。非定常な概念ドリフトに対処するための、柔軟で長さに適応するパッチングと動的フィルタ適応に関する将来の作業を提案しています。

この研究は、複雑な時間的ダイナミクスをモデル化する上での前進として位置づけられており、予測精度の向上を通じてエネルギーグリッドの最適化、気象予報、物流計画における社会的なプラスの影響が期待されています。