技術要約：多変量時系列予測における変数間損失（Cross-Variable Loss）

1. 問題定義と動機

多変量時系列予測（MTSF）は、相互に関連する複数の変数の将来の値を予測することを目的としています。近年の進展は、入力側のチャネル依存性（履歴特徴量からの表現抽出）のモデリングに重点を置いてきましたが、本論文は、出力側の依存性（将来の予測値間の固有の相関）がこれまで大きく見過ごされてきたと主張しています。

現在の主流なアプローチは、主に直接予測（Direct Forecasting: DF）パラダイムに従っています。このパラダイムでは、モデルは写像 $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ を学習し、$D$ 個の変数に対して $T$ ステップの予測を同時に生成します。しかし、標準的なDFの学習は、各タイムステップおよび各変数のエントリーを独立したスカラー予測として扱う点単位の損失関数（例：平均二乗誤差、MSE）に依存しています。

著者らは、このアプローチにおける決定的な限界を以下のように特定しています：

1. 物理的な不一致： 実世界の多変量システム（例：金融市場、交通ネットワーク）は、変数が共進化する共有されたシステム力学を示します。将来の予測を盲目的にデカップリングすることは、これらの物理法則に違反し、数値的には正確であっても構造的に矛盾する予測（例：市場のルールや物理的制約に反する予測）を招く可能性があります。
2. 目的関数のギャップ： 確率的な観点から見ると、標準的な点単位のMSE最適化は、予測残差が完全に独立した等方的ガウス分布（対角共分散行列）に従うことを仮定しています。しかし、変数間およびラグを伴う依存関係により、真の残差の時空間共分散行列には有意な非ゼロの非対角要素が含まれます。これにより、標準的な損失とデータの真の結合分布との間に理論的な「目的関数のギャップ（Objective Gap）」（$\Delta \neq 0$）が生じます。その結果、点単位のMSEを最小化しても、元のデータの結合的な幾何学的トポロジーを捉えることはできません。

2. 手法：変数間損失（Cross-Variable Loss: CvLoss）

この目的関数のギャップに対処するため、著者らは、変数間の予測残差の一貫性を明示的に制約するプラグイン型の構造的正則化項である**変数間損失（CvLoss）**を提案しています。

2.1 理論的基礎

著者らは、グラフ構造の観点を用いて問題を定式化しています。彼らは予測誤差ベクトル $e$ を定義し、真の残差が、非ゼロの非対角要素を含む構造化された精度行列 $\Sigma_{ST}^{-1}$ を持つ多変量ガウス分布に従うと仮定しています。

• 命題 3.2 は、構造化された精度行列を持つガウス分布の負の対数尤度を最小化することは、標準的なMSEに、変数間グラフ上の二乗グラフ全変動（Total Variation: TV）ペナルティを加えたものを最小化することと等価であることを確立しています。
• 理論的には $\ell_2$（二乗）ペナルティが示唆されていますが、著者らは経験的にペナルティ項として$\ell_1$ ノルムを選択しました。この選択は、二乗ペナルティによって支配される可能性のある局所的な異常値や変数特有のショックに対して感度を下げつつ、グラフレベルの残差の一貫性を促進する必要性に裏付けられています。

2.2 損失の定式化

CvLossはパッチノードに対して作用します。予測ホライゾン $T$ は、$L$ の長さを持つ $P$ 個の重複しないパッチに分割されます。各ノード $v$ は、特定の変数のパッチを表します。

• グラフ構築： 変数間を接続するエッジを持つ変数間グラフが構築されます。著者らは3種類のエッジタイプを定義しています：
  1. 同期エッジ（Synchronous edges）： 同じタイムステップにおける変数間を接続（同時的な相互作用を捕捉）。
  2. 非同期エッジ（Asynchronous edges）： 異なるタイムステップをまたいで変数を接続（ラグを伴う伝播を捕捉）。
  3. 完全結合エッジ（Fully connected edges）： ドメイン固有の事前知識なしにカバレッジを最大化するために、同期および非同期の両方の相互作用を含むデフォルト設定。
• 損失計算： グラフ内の各エッジ $(i, j)$ について、予測値の構造的な差異と真値との乖離を罰します。
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$$
  ノードごとの残差 $e_i = \hat{z}_i - z_i$ を用いると、これはグラフ上の残差の全変動へと簡略化されます：
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$$
  ここで、$\tilde{A}$ はグラフのリフトされたインシデンス行列です。

2.3 学習目的関数

最終的な学習目的関数は、標準的な点単位のDF損失（$L_{df}$）と構造的正則化項（$L_{cv}$）を組み合わせたものです：
$$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$$
ここで、$\alpha \in (0, 1)$ は検証セットで調整される固定ハイパーパラメータです。極めて重要なことに、CvLossはモデルに依存せず（model-agnostic）、**プラグアンドプレイ（plug-and-play）**であり、推論手順を変更することなく様々なバックボーン（Transformer、MLPなど）とシームレスに統合できます。

3. 主な貢献

1. 目的関数のギャップの特定： 本論文は、標準的な点単位の学習目的関数が、将来の予測値間の固有のチャネル間誤差依存性を無視しており、現実世界の時空間相関との理論的な不一致を生み出していることを示しています。
2. CvLossの提案： 変数間グラフ上の残差の一貫性定式化を通じて、チャネル間の関係を明示的に制約する新しい構造的正則化項。これは、同期および非同期の両方の相互作用における一貫性を促進します。
3. 実証的検証： 広範な実験により、CvLossが多様なデータセット（ETT, ECL, Traffic, Weather, PEMS）およびアーキテクチャ（iTransformer, TimeFilter, TQNetなど）において、SOTAモデルの性能を一貫して向上させ、最小限の計算オーバーヘッドで優れた予測性能を実現することが示されました。

4. 実験結果

著者らは、様々なバックボーンを用いて12の標準的なベンチマークでCvLossを評価しました。主な知見は以下の通りです：

• 性能向上： CvLossを追加することで、予測誤差（MSEおよびMAE）が一貫して減少しました。例えば、Trafficデータセットでは、MAEが0.014減少しました。114件のバックボーン制御比較において、CvLossは111ケースで改善し、2ケースで同等、1ケースで敗北しました。平均相対誤差減少率は、MSEで3.39%、**MAEで3.61%**でした。
• 構造の回復： 変数間相関行列の可視化により、CvLossで訓練されたモデルは、ベースラインよりも真の相関構造を大幅に良く回復していることが示されました。ECLデータセットにおいて、CvLossはプレーンなiTransformerベースラインと比較して、**84.83%**の変数間エントリーにおいて構造誤差を改善しました。
• 他の目的関数との比較： CvLossは、形状整列損失（Soft-DTW）、尤度最大化（QDF, Time-o1）、および分布バランス手法を含む11の他の学習目的関数を上回りました。
• アブレーション研究：
  • トポロジー： 完全結合グラフ（同期エッジと非同期エッジの組み合わせ）が最高の性能を示し、両方のタイプの相互作用をモデリングする必要性が確認されました。
  • ハイパーパラメータ： 本手法は $\alpha$ の選択に対して頑健であり、最適な性能は通常 $\alpha \approx 0.5$ 付近で見られます。また、パッチ長の変動に対しても頑健です。
• 効率性：
  • 推論： CvLossは、学習後に計算グラフから削除されるため、推論時のオーバーヘッドはゼロです。
  • 学習： フルグラフは $O(P^2D^2)$ の二次的な複雑さを導入しますが、著者らはランダムエッジサンプリング（バッチあたりのエッジを1000に制限）を用いることで、予測精度を損なうことなく学習時間を一定レベルに効果的に削減できることを示しました。

5. 意義と限界

意義：
本論文は、将来の変数の構造的幾何学をモデリングすることが、MTSFを向上させるためのシンプルかつ効果的な方向性であることを論じています。純粋に入力側の依存性に焦点を当てるのではなく、出力側の構造的一貫性に焦点を移すことで、CvLossは標準的な損失関数の数学的仮定と、共進化するシステムの物理的現実との間のギャップを埋めます。これは、アーキテクチャの変更を必要とせずに、既存の予測モデルを強化するための普遍的で軽量なメカニズムを提供します。

限界：

• グラフ構築： デフォルトのアプローチは完全結合グラフを使用しており、非常に高次元のシステムでは情報のない相互作用が含まれる可能性があります。ランダムサンプリングはスケーラビリティに対処していますが、適応的なグラフ構造の学習は今後の課題です。
• 範囲： 本研究は、規則的なベンチマークデータセットにおける決定論的予測に焦点を当てています。確率的予測、不規則なサンプリング、および欠損値シナリオへの拡張については扱っていません。
• 理論と経験： 著者らは、理論的導出（命題 3.2）が $\ell_2$（二乗）ペナルティを支持している一方で、採用された手法は経験的根拠に基づいて $\ell_1$ ノルムを使用していることを認めています。理論は関係を認識した制約の必要性を動機付けていますが、使用されている特定の $\ell_1$ 形式を厳密に導出しているわけではありません。

結論として、CvLossは多変量予測を正則化するための原理的な方法を提供し、予測される将来の変数が、その基礎となる物理的および統計的な依存関係と一致するように進化することを保証します。