技術要約：時系列予測のための適応的振動状態アライメント (AOSNET)

1. 問題提起

長期時系列予測は、繰り返される時間構造を捉えることに大きく依存している。既存の手法は周期性をモデル化するために帰納バイアスを採用することが多いが、それらは通常、周期性が固定された反復テンプレートとして表現できると仮定している。これらのアプローチは以下の3つのカテゴリに分類される：

1. 明示的な周期推定: 定義済み、または推定された支配的な周期に基づいて観測値を整列させる（例：CycleNet, TQNet）。
2. グローバルなスペクトル成分: グローバルな周波数表現を通じて周期性をモデル化する（例：FEDformer, FILM）。
3. 学習可能な周期的埋め込み: サイクル位置によってインデックス付けされた固定テンプレートを使用する。

著者らは、これらの固定テンプレートの仮定は、現実世界の時間的ダイナミクス（これらは硬直的に周期的であることは稀である）とは根本的に不一致であると主張している。現実世界の信号は、以下の3つの結合された要因によって特徴付けられる非定常な振動挙動を示す：

• 振幅変調 (Amplitude Modulation): 信号の強度（エンベロープ）が時間とともに変化する（$dA/dt \neq 0$）。
• 位相ドリフト (Phase Drift): ピークや谷が、公称周期から予測されるよりも早く、あるいは遅れて到来する（$d\delta/dt \neq 0$）。
• 局所的な周波数変動 (Local Frequency Variation): 瞬時振動率が変化し、連続するサイクルが異なる持続時間を持つ（$d\omega/dt \neq 0$）。

これらの条件下では、硬直したテンプレートや固定された周期に依存する方法は、進化する局所状態に適応できず、非定常性が激化するにつれて性能が低下する。

2. 手法: AOSNET

本論文は、周期モデリングを「固定テンプレートのマッチング」から適応的振動状態アライメント (Adaptive Oscillatory-State Alignment) へと再定式化する、ヒルベルト誘導型予測フレームワークであるAOSNETを提案している。

コアコンセプト：振動状態空間

AOSNETは、周期性を繰り返されるサイクルとして扱うのではなく、ヒルベルト変換を介して解析信号 (Analytic Signal) から導出される3つの局所記述子によって定義される振動状態空間で動作する。

1. 対数振幅エンベロープ ($a$): $a = \log(|z| + \epsilon)$、ここで $z$ は解析信号である。
2. 位相表現 ($c, s$): 位相の不連続性を避けるための、連続的な正弦および余弦成分 ($\cos \phi, \sin \phi$)。
3. 瞬時周波数 ($\omega$): 連続するサンプル間の位相増分を通じて推定される ($\omega_\ell = \angle(z_\ell z^*_{\ell-1})$)。

これらの記述子は、手動での周期選択や自己相関探索を必要としない、微分可能なFFTベースの実装を用いて計算される。

アーキテクチャ構成要素

1. グローバル振動事前分布 ($P$): すべてのサンプル間で共有される、学習可能なチャネルごとのテンソル。固定テンプレートとは異なり、$P$ は特定の周期長に制約されない。これは柔軟な振動リファレンスとして機能する。
2. 記述子条件付き適応ゲート:
   • モデルは、観測シーケンス ($X$) とグローバル事前分布 ($P$) の両方について解析的記述子を計算する。
   • これらの記述子は結合され、軽量な1D畳み込みゲートによって処理される。
   • ゲートは、各タイムステップおよびチャネルに対して融合係数 $G \in [0, 1]$ を生成する。
   • 状態アライメント (State Alignment): 入力は適応的に補間される: $\tilde{X} = (1 - G) \odot X + G \odot P$。
     • 局所状態が事前分布と一致する場合、$G \approx 0$ となる（観測値を保持する）。
     • 不一致がある場合（例：位相ドリフト）、$G > 0$ となる（学習されたリファレンスに向けて入力をソフトに修正する）。
3. デュアルパス予測ヘッド:
   • アテンション・パス: アライメント後のクロスバリアート依存関係を洗練するために、チャネルトークンに対してマルチヘッド自己アテンション (MHA) を使用する。
   • ベース・パス: チャネルごとの安定した外挿のための直接的な時間投影。
   • 融合: 最終的な予測は、これら2つのパスの学習可能な加重和である。

3. 主な貢献

1. 周期性の再定式化: 本論文は、周期性を「固定テンプレートのマッチング」から「適応的振動状態のアライメント」へとパラダイムシフトさせ、振幅変調、位相ドリフト、および局所周波数変動を、既存手法におけるミスマッチの主要な要因として明示的に特定した。
2. ヒルベルト誘導型フレームワーク: AOSNETは、事前の周期設定を必要とせずに、局所的な振動状態（エンベロープ、位相、周波数）を抽出・整列させる、完全微分可能なメカニズムを導入した。
3. 学習可能なグローバル事前分布: グローバル事前分布は、硬直した繰り返しのテンプレートとしてではなく、局所的なダイナミクスを通じて解釈される柔軟なリファレンスとして機能する。
4. 実証的検証: 本手法は、8つの標準的なベンチマーク（ETT, Electricity, Traffic, Weatherを含む）および2つのクラウドワークロード・トレースにおいて、SOTA（最先端）または非常に競争力のある精度を達成し、複雑なTransformerベースのベースラインと比較して大幅に速い推論速度を実現した。

4. 実験結果

• ベンチマーク性能: AOSNETは、8つのデータセットのうち7つで最高のMSE（または2番目）を達成し、7つのデータセットで最高のMAEを達成した。特にElectricityやETTh2のような複雑なダイナミクスを持つデータセットにおいて、固定テンプレート型のベースライン（TQNet, CycleNet）を継続的に上回った。
• 非定常性への堅牢性: 制御された合成実験（振幅、位相、周波数の変動を分離）により、AOSNETの優位性は非定常性が激化するにつれて増大することが示された。固定テンプレート手法は位相ドリフトや周波数変動の下で著しく劣化したが、AOSNETは安定した性能を維持した。
• 効率性: AOSNETは非常に効率的であり、1.45Mのパラメータのみを必要とし、推論速度は9.15 ms/batch（TQNetより1.4倍速く、PatchTSTより7.9倍速い）を達成した。
• アブレーション研究: 適応的振動状態 (AOS) モジュールまたはグローバル事前分布を除去すると、大幅な性能低下（最大15.5%のMSE悪化）が見られ、アライメントメカニズムの必要性が確認された。
• 内部分析: 学習された事前分布の可視化により、それは振動的ではあるが、硬直して周期的ではないことが確認された。また、適応ゲートが主に瞬時周波数および位相の記述子に反応することが示され、状態アライメントの仮説が検証された。

5. 意義と主張

本論文は、適応的振動状態アライメントが、非定常環境における長期予測のための優れた帰納バイアスであると主張している。核心となる洞察は、「同じサイクルの位相が、必ずしも同じ振動状態を意味するわけではない」ということである。硬直した周期インデックスを用いるのではなく、局所的なダイナミカル状態（振幅、位相、周波数）を柔軟なリファレンスに対して整列させることで、AOSNETは現実世界のデータに内在する振幅変調、位相ドリフト、および周波数変動を効果的に処理する。

著者らは、AOSNETを、信号処理（ヒルベルト変換）とディープラーニングの間の溝を埋める軽量で完全微分可能なソリューションとして位置づけており、グローバルに安定した周期的パターンを仮定する手法に対する堅牢な代替案を提供している。

6. 限界

論文では以下の限界を認めている：

• 範囲: 現在の研究はコンパクトなバックボーンを用いた点予測に焦点を当てており、より大きなTransformerアーキテクチャや確率的予測の設定における利点は未探索である。
• 解像度: ヒルベルト記述子は固定されたルックバックウィンドウに基づいて計算されるため、マルチレゾリューション構造や不規則にサンプリングされたデータには適さない可能性がある。
• 事前分布の条件付け: グローバル事前分布はすべてのサンプルで共有される。将来の研究では、共変量、レジーム、またはクラスターレベルの状態に応じて事前分布を条件付けることが検討できる。
• 評価: 実験は標準的なベンチマークと制御された非定常振動に焦点を当てている。急激なレジーム変化、欠損値、または外生的イベントを含むデータセットでのより広範な評価が必要である。