技術要約：StateFlow – 長期時系列予測のための二重状態再帰モデリング

1. 問題提起

長期多変量時系列予測（LTSF）は、エネルギー需要、交通流、金融モデリングなどの領域における重要な課題である。主な困難は、非定常性、レジームシフト、および長期予測ホライゾンにおける誤差の累積に起因する。近年のTransformerベースのアーキテクチャは、自己注意機構（self-attention）を通じて長距離依存性を捉えることで高い性能を達成しているが、入力長に対して二次的な計算複雑性を持ち、長いルックバック・ウィンドウに対して計算コストの高いグローバルな相互作用パターンに依存することが多い。

対照的に、回帰型ニューラルネットワーク（RNN）は、シーケンス長に対して線形にスケールし、自然な因果構造を提供する。しかし、従来の回帰モデル（例：LSTM、GRU）は、通常、単一の隠れ状態に時間情報を圧縮するため、非定常な変化から生じる系統的な予測偏差（ドリフトやバイアスなど）を明示的にモデル化できず、これが限界となる。この制限により、長期予測の設定において、彼らの性能は現代的なTransformerベースの手法に後れを取ることが多い。

本論文は、もともと一ステップのシーケンス回帰用に設計されたVariability-Aware Recursive Neural Network (VARNN) を、長期予測の設定へと拡張する際のギャップに対処するものである。核心となる仮説は、予測残差を独立した再帰状態として明示的にモデル化することで、線形回帰モデルの長期外挿に対する堅牢性を高められるという点にある。

2. メソドロジー：StateFlowフレームワーク

提案するStateFlowフレームワークは、VARNNをデュアル状態の再帰バックボーンとして利用し、チャンネル独立（channel-independent）戦略を通じて、ルックバック・シーケンスから2つの補完的な信号を捉える。

2.1 二重状態再帰エンコーダ

エンコーダは、各タイムステップ $t$ に対して2つの異なる再帰的軌跡を維持する：

1. 隠れ状態軌跡 ($h_t$): トレンド、季節性、レベルの変化、および繰り返されるパターンを含む、主要な時間的ダイナミクスを表す。これは現在の観測値と過去の状態を用いて更新される。
2. 残差メモリ軌跡 ($e_t$): 構造化された局所的な予測偏差を明示的に追跡する。これは、一ステップのベース予測 ($\hat{x}_{base}$) と観測値 ($x_{t+1}$) の間の残差 ($r_t$) の非線形な再帰変換によって駆動される。

偏差を単一の潜在状態内に暗黙的に符号化する従来のRNNとは異なり、VARNNはこれらの信号を分離する。隠れ状態は次のステップを条件付け、残差メモリ状態は系統的な偏差のための専用信号を提供することで、モデルが主要なダイナミクスと局所的なドリフトを区別できるようにする。

2.2 チャンクベース・ホライゾンデコーダ

フルシーケンスの平坦化に伴うパラメータ爆発を回避しながら、エンコーダの軌跡を将来のホライゾンへとマッピングするために、StateFlowはチャンクベース・デコーダを採用している：

• チャンク要約: 隠れ状態および残差メモリの軌跡を、重複するチャンクに分割する。各チャンクは平坦化され、個別の要約ブランチを介して固定次元の埋め込みへと投影される。これにより、パラメータの増大を抑えつつ、局所的なパターンを保持する。
• 予測ヘッド: 両方のブランチからの要約された埋め込みは結合され、線形投影を通過してマルチステップ予測を生成する。

2.3 二段階最適化戦略

一ステップの残差学習と長期予測の間の架け橋として、モデルは二段階のトレーニング手順を採用している：

1. ステージ1（エンコーダの事前学習）: VARNNエンコーダは、ルックバック・ウィンドウにおける一ステップ予測目的関数を用いて学習される。これにより、残差メモリ状態が構造化された偏差を捉えるための明示的な学習信号が提供される。
2. ステージ2（ホライゾン特化型デコーディング）: 学習済みのエンコーダを凍結し、マルチステップ予測損失を用いてホライゾン特化型のデコーダを学習させる。この分離は最適化を安定させ、同じエンコーダを異なる予測ホライゾン間で再利用することを可能にする。

2.4 計算複雑性

StateFlowは、ルックバック長 ($L$) および予測ホライゾン ($H$) に対して線形の計算複雑性を維持する。再帰型エンコーダは $O(L)$ でスケールし、チャンクベース・デコーダは自己注意機構に典型的な二次複雑性 ($O(L^2)$) を回避する。

3. 主な貢献

本論文は以下の貢献を述べている：

• LTSFにおける再帰性の調査: 偏差のダイナミクスが状態遷移に明示的に組み込まれている場合、再帰が長期予測において競争力を維持できることを実証した。
• VARNNの拡張: 隠れ状態と残差メモリの軌跡をデュアル状態の予測表現として活用することで、VARNNを一ステップ回帰から長期予測へと拡張した。
• StateFlowフレームワーク: 直接的なマルチステップ予測の前に、隠れ状態と残差メモリのダイナミクスを個別に要約する、チャンクベース・ホライゾンデコーダを備えた再帰的軌跡予測フレームワークを導入した。
• 二段階最適化: 残差を考慮した表現を（一ステップ予測を通じて）先に学習してからホライゾン特化型デコーダを学習するトレーニング戦略を提案し、エンコーダの再利用を可能にした。
• 実証的検証: 残差メモリによる再帰が、長期予測のための競争力がありパラメータ効率の高い誘導バイアスであることを示す、体系的な実験とアブレーション研究を提供した。

4. 実験結果

4.1 ベンチマーク性能

StateFlowは、Transformerベースのモデル（iTransformer, PatchTST, Autoformer）、畳み込みモデル（TimesNet）、および線形モデル（DLinear, RLinear）を含む10個の最先端のベースラインに対し、7つの標準的なLTSFベンチマーク（ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic）で評価された。

• 競争力: StateFlowは競争力のある性能を示し、28のデータセット・ホライゾン設定において最多の1位獲得数（MSEで15勝、MAEで14勝）を記録した。
• 比較: 強力な線形、畳み込み、およびTransformerベースのベースラインと同等、あるいはそれ以上の性能を発揮したが、二次的な時間的自己注意を回避した。
• 高次元データ: ECLやTrafficのような高次元データセットでは、一部の設定でiTransformerの方が強力であり、特定の文脈では明示的なクロス変数依存性のモデリングが依然として優位性を持つ可能性を示唆している。ただし、StateFlowはチャンネル独立の時系列モデリングに焦点を当てている。

4.2 アブレーション研究

• エンコーダ表現: デュアル状態表現（$h, e$）は、隠れ状態のみ（$h$）、残差メモリのみ（$e$）、または生のベース予測と残差を用いた場合よりも一貫して優れた性能を示した。これにより、主要なダイナミクスと構造化された偏差信号を組み合わせることが、より豊かな予測表現を生むことが確認された。
• 融合戦略: 結合（concatenation）の前に行う、隠れ状態と残差軌跡の個別のチャンク要約は、共同チャンキングよりも優れていることが証明され、二つの状態の明確な役割を保持した。
• チャンク vs 直接デコーディング: チャンクベース・デコーダは、直接的な平坦化と同等またはそれ以上の精度を達成しつつ、モデルパラメータをほぼ半分に削減した。
• 再帰型エンコーダの選択: VARNNは、精度と効率のトレードオフにおいて、標準的なRNN、GRU、LSTMエンコーダを上回った。特筆すべきは、VARNNは（LSTMよりも）大幅に少ないパラメータを使用しながら（例：約80%削減）、より低い平均MSEを達成したことである。
• 最適化戦略: 二段階最適化戦略は、一段階トレーニングと比較して測定可能な利得（例：VARNNで+1.88%の改善）を提供し、一ステップ予測を通じた残差メモリ状態の事前学習の有効性を強調した。

5. 意義と主張

本論文は、StateFlowが長期予測のための効率的な代替案を提供すると主張している。残差メモリのダイナミクスを再帰フレームワーク内で明示的にモデル化することにより、標準的な再帰モデルが見逃してしまう非定常な変化や系統的な偏差を捉えることができる。

その意義は、線形再帰エンコーディングが、専用の残差メモリ状態とチャンクベース・デコーダによって補強されることで、二次的な計算コストを負うことなく、複雑なTransformerアーキテクチャと競合できることを示した点にある。著者らは、偏差のダイナミクスを再帰に組み込むことが、LTSFのための有望かつパラメータ効率の高い誘導バイアスを提供することを示唆している。本研究は、高次元の多変量予測におけるすべての課題を解決すると主張するものではなく（クロス変数依存性モデリングの必要性を認めている）、残差を考慮した再帰的アプローチの強力なベースラインを確立するものである。

今後の課題として、クロス変数依存性モデリングの調査、および他の時系列解析タスクへのフレームワークの適用が挙げられている。