技術要約：平均保存型確率的時系列予測のための2段階奇関数残差フロー（Two-stage Odd Residual Flows）

問題提起

確率的時系列予測（TSF）は、エネルギー管理や金融などの領域におけるリスクに敏感な意思決定において極めて重要である。しかし、既存のアプローチは、分布の柔軟性（複雑で非ガウス的な不確実性をモデル化する能力）と平均予測精度との間の根本的なトレードオフに直面している。

1. パラメトリック手法（例：平均分散推定 - MVE）： これらの手法は、固定された分布族（典型的にはヘテロスケダスティックなガウス分布）を仮定し、負の対数尤度（NLL）を介してパラメータを最適化する。解析的な平均を提供する一方で、結合NLLトレーニングは、平均の学習と分散の学習の間に本質的な衝突を生じさせる。Seitzerら（2022）が示したように、NLLの勾配は分散の逆数（$1/\sigma^2$）によってスケーリングされるため、分散が高い領域は平均の学習への寄与が小さくなる。これは、特に長期ホライゾンの設定において、点予測の精度を低下させることが多い。
2. 柔軟な生成モデル（例：拡散モデル、正規化フロー、VAE）： これらのモデルは、硬直した分布の仮定を回避し、複雑な密度を捉えることができる。しかし、これらは通常、平均に焦点を当てた損失ではなく、分布目的関数（ELBOや対数尤度など）を最適化する。その結果、予測平均は全密度の適合による副産物となり、直接的に教師あり学習が行われることは稀である。さらに、平均の復元には高価なモンテカルロサンプリングが必要となることが多く、これが高次元において推定誤差を悪化させる。経験的な結果によれば、最先端の確率的モデル（例：K2VAE）は、決定論的な点予測器（例：SimpleTM）に対して一貫して平均精度で後塵を拝している。

手法：2段階奇関数残差フロー（TORF）

平均予測と不確実性推定をデカップル（分離）するために、著者らは、平均の保存を保証しつつ柔軟な残差分布をモデル化する2段階フレームワークであるTORFを提案する。

第1段階：決定論的平均推定

学習済みの汎用的な点予測モデル（例：SimpleTM）を使用して、条件付き平均推定値 $\hat{Y} = f_{\theta_1}(X)$ を生成する。この段階は、平均二乗誤差（MSE）目的関数の下で独立して学習される。モデルパラメータ $\theta_1$ は、その後の不確実性モデリングによって平均予測が歪められないよう、学習後に凍結される。

第2段階：残差のための制限付き正規化フロー

第2段階では、**制限付き正規化フロー（RNF）**を用いて残差分布 $\epsilon = Y - \hat{Y}$ をモデル化する。

• 奇関数制約： コアとなる革新は、フローのアーキテクチャを厳密に奇関数（$f(-u) = -f(u)$）に制限することである。KobayashiおよびAotani（2023）による理論的保証に基づき、基底分布が対称（例：標準正規分布）であり、変換が奇関数であれば、変換された変数の期待値は解析的にゼロ（$E[\epsilon] = 0$）となる。これにより、サンプリングを必要とせずに、フルモデルの予測平均が正確に $\hat{Y}$ であることが数学的に保証される。
• 残差奇スプライン（ROSS）： 著者らはこれを、奇関数に制約された有理二次ニューラルスプラインフロー（RQ-NSF）を用いて実装している。正負の領域間でビンパラメータを鏡像反転させる代わりに、スプラインは入力の大きさを処理してから符号を復元することで、$f(0)=0$ と完全な奇対称性を確保する。
• 線形スケーリング層（LSL）： 入力の範囲をスプラインのサポートに適応させるために、条件付きスケーリング層が前置される。決定的なことに、この層は奇対称性を維持するためにスケーリングのみを使用し、平行移動（translation）は行わない。
• アーキテクチャ： フローは、$K$ 個のブロックで構成され、各ブロックはLSLとROSS層で構成される。軽量な1次元畳み込みネットワーク（SplineNet）が、コンテキスト埋め込み（凍結された第1段階のエンコーダーから派生）をスププラインパラメータにマッピングし、長期ホライゾンに対する効率性を確保する。

理論的保証

構成上、奇関数の合成（LSLとROSS）は奇関数であり続ける。これを対称な基底分布に適用すると、結果として得られる残差密度はゼロを中心に対称となる。論文内の補題1は、これが予測分布の解析的な平均と中央値が正確に第1段階の予測と一致することを証明しており、平均を推定するためのモンテカルロサンプリングの必要性を排除している。

主な貢献

1. デカップルされたフレームワーク： TORFは平均予測と密度推定を分離し、高精度な点予測器（第1段階）を、その精度を損なうことなく使用することを可能にする。
2. 奇関数制約付き残差フロー： ROSS（Residual Odd Splines）の導入により、柔軟な非ガウス密度推定を可能にしつつ、第1段階の正確な解析的平均を証明可能な形で保持する。これにより、標準的な正規化フローに伴うサンプリング誤差を回避する。
3. 効率的なアーキテクチャ： 軽量なCNNベースのSplineNetにより、時系列コンテキストをフローパラメータに効率的にマッピングし、長期ホライゾンや高次元の多変量設定へのスケーラビリティを実現する。
4. 最先端の性能： 本フレームワークは、多様なデータセットにおいて、決定論的な精度（NMAE）と確率的密度推定（CRPS）の両方で新たなベンチマークを確立している。

実験結果

著者らは、12のベースライン（点予測器のPatchTSTやiTransformer、および確率的モデルのK2VAE、TimeGrad、CSDI、GRU-NVPを含む）に対し、17の実世界のデータセット（短期8、長期9）を用いてTORFを評価した。

• 長期ホライゾン予測： TORFは、NMAEにおいて9/9のデータセットで、CRPSにおいて7/9のデータセットで勝利し、最先端の結果を達成した。顕著な改善として、最強のベースライン（K2VAE）と比較して、CRPSで**+35.4%（ETTh2-L）、NMAEで+25.1%**（ETTm2-L）の向上を示した。
• 短期ホライゾン予測： TORFは、NMAEで5/8のデータセット、CRPSで6/8のデータセットで勝利した。
• アブレーション研究：
  • 2段階の分解自体（MVE-2S、ガウス型バリアント）ですでに12/12の分布指標においてK2VAEを上回っており、デカップリングが平均精度の向上における主要な要因であることを裏付けている。
  • 奇関数制約付きフロー（TORF）は、非ガウス的な残差をモデル化することで、ガウス型ベースラインよりもCRPSをさらに向上させた。
  • 線形スケーリング層（LSL）を除去すると性能が大幅に低下し、適応的な入力スケーリングの必要性が浮き彫りになった。
  • CNNベースのSplineNetをMLPに置き換えると、長期ホライゾンにおいてメモリ不足（OOM）が発生し、提案されたアーキテクチャの効率性が示された。
• バックボーンの非依存性： 第1段階のモデルとしてSimpleTMの代わりにiTransformerを用いた実験では、TORFのフローハイパーパラメータが効果的に転移し、確率的性能が基礎となる点予測器の品質に追従することが示された。

意義と主張

本論文は、TORFが確率的時系列予測における「分布の柔軟性」と「平均の精度」の間の長年のトレードオフを解決することを主張している。残差フローにおいて奇対称性を厳格に強制することにより、予測平均が解析的に扱いやすく、かつ第1段階の予測と同一であることを保証し、モンテカルロサンプリングに伴う計算コストや推定誤差を回避している。

著者らは、TORFを以下の特性を持つ新しい最先端フレームワークとして位置づけている：

1. 結合NLLトレーニングやサンプリングノイズによって平均が劣化しやすい既存の確率的モデルと比較して、優れた点予測精度（NMAE）を実現する。
2. ガウス型ベースラインが見逃す複雑な非ガウス的残差構造を捉えることで、強力な密度推定（CRPS）を提供する。
3. 拡散モデルや標準的なフローモデルに伴うサンプリングのメモリおよび時間のコストを回避し、長期ホライゾン予測のための計算効率の高いソリューションを提供する。

本研究は、多くの時系列タスクにおいて、「平均の忠実性」（2段階の奇関数フローによって保証される）が、全体的なパフォーマンスを向上させるための、これまで活用されてこなかった重要な特性であることを示唆している。