技術的サマリー：合成データは役立つか？深層学習時系列予測器からの実証的証拠

問題提起

合成データは大規模言語モデル（LLM）やコンピュータビジョンシステムのトレーニングを革命的に変化させたが、時系列予測におけるその有効性は未だ十分に理解されていない。大規模にスクレイピング可能なテキストデータとは異なり、時系列データはしばしば有料壁の背後に閉ざされていたり、プライベートサーバーに存在したりするため、基盤モデルのトレーニングにおけるボトルネックとなっている。主要な予測モデル（Chronos、TimesFM、MOIRAI など）は合成データの取り込みを開始しているが、それをどのように効果的に使用するかについては合意が得られていない。具体的には、どの生成器タイプが良好に転移するか、どの程度の量が有益か、カリキュラムスケジューリングが重要かどうか、そして実データが豊富な場合と不足している場合のどちらで合成拡張が役立つかは不明である。本論文は、合成データの理論的約束と、多様な深層学習アーキテクチャへのその実証的影響の現実との間のギャップに取り組む。

手法

著者らは、9 つの異なる実験グループに編成された4,218 回の実験実行からなる大規模な実証研究を実施した。本研究では、7 つの実世界長期予測データセット（ETTh1/2、ETTm1/2、Weather、Electricity、Traffic を含む）において、5 つの最先端アーキテクチャを評価した。

1. 合成データ生成器

手法の核心は、制御可能で難易度条件付きの合成時系列生成器であり、3 つの主要コンポーネントを備えている：

• バンドルシステム： 単変量チャネルの時間的アーキタイプを定義する。4 つのバンドルが作成され、主要な実世界のパターンを表す：
  • 季節性 - トレンド（ST）： フーリエ季節性、決定論的トレンド、および自己回帰残差を組み合わせる。
  • 非定常レジーム（NR）： 構造的ブレイクを伴うマルコフスイッチング AR プロセス。
  • 長記憶（LM）： ARFIMA または分数ブラウン運動を介した緩やかに減衰する自己相関。
  • ボラティリティイベント（VE）： GARCH およびホークス過程を介してモデル化された金融ダイナミクス。
• 難易度条件付け： スカラー $d \in [0, 1]$ が複雑さ（例えば、高調波の数、トレンドの強さ、ノイズレベル）を調節する。
• クロスチャネル相関： 潜在因子ラッパー（$p_{latent}$）が独立して生成されたチャネルを変換し、変数間の相関を導入して、実世界の多変量構造を模倣する。
• 分散割り当て： ディリクレ分布の重みを使用してコンポーネントを混合し、総出力分散への制御された寄与を確保する。

2. 実験設計

本研究は、9 つのグループにわたって 5 つの要因を体系的に変化させた：

• データ不足： 実トレーニングウィンドウの一部分（$s \in \{0.10, 0.25, 0.50\}$）のみを保持することでシミュレート。
• 拡張比率： 元のデータセットサイズに対する追加された合成データの量（$r_{synth} \in \{0.25, 0.50, 1.0, 2.0\}$）。
• カリキュラムスケジューリング： 「ハード」（バイナリスイッチ）対「段階的」（線形補間）のアニーリングスケジュール、合成から実、実から合成の両方向を含むものをテスト。
• バンドル選択： 特定のバンドルタイプ（ST、NR、LM、VE）の影響を分離。
• 潜在相関： クロスチャネル相関を適用する確率を変化させる。

3. モデルと指標

5 つのアーキテクチャがテストされた：DLinear と PatchTST（チャネル非依存）、SegRNN（RNN ベース）、TimesNet と iTransformer（チャネルミキシング）。性能は、$H=96$ および $H=336$ のホライズンにおける保持された実テストセット上の平均二乗誤差（MSE）を使用して測定された。

主要な貢献

1. 制御可能な生成器： 4 つの難易度条件付きバンドルタイプとディリクレ分散割り当てを特徴とする新規の合成時系列生成器。季節性、レジームシフト、長記憶、ボラティリティをシミュレート可能。
2. 大規模な実証的証拠： 9 つの実験グループ、5 つのアーキテクチャ、7 つのデータセットにわたる 4,218 回の実行に関する包括的研究。時系列予測における合成データの最初の体系的な分析を提供。
3. アーキテクチャ条件付きの知見： 成功または失敗の主要な決定要因としてモデルアーキテクチャを特定し、バンドル選択、スケジューリング、展開に関する具体的なガイドラインを提供。

結果

1. アーキテクチャが決定的要因

合成データの影響はモデルアーキテクチャに鋭く条件付けられている：

• チャネルミキシングモデル（有益）： TimesNet と iTransformer は合成拡張で一貫して改善された。TimesNet は 67% の試行で改善し、iTransformer は 71% で改善した。これらのモデルは、合成バッチが提供する多様なスペクトル特性とチャネル間多様性から恩恵を受ける。
• チャネル非依存モデル（有害）： DLinear、PatchTST、SegRNN は合成データによって一貫して劣化した。例えば、DLinear は平均 MSE が 19.2% 劣化した。これらのモデルはチャネルを個別に処理するため、構造的補償なしに分布の不一致が生じる。
• 総合的な影響： すべてのアーキテクチャと設定にわたって、合成拡張は**67%**の試行で性能を低下させた。

2. 低リソース設定

実データが不足しているシナリオ（$s \le 0.25$）では、受容的なアーキテクチャにとって合成拡張は顕著な利益をもたらす可能性がある：

• 全データベースラインの超越： 合成拡張を用いて Weather データセットのわずか**10%**でトレーニングされた TimesNet は、全データの実データのみベースライン（0.2850）よりも低い MSE（0.2841）を達成した。
• 回復： iTransformer において、10% のスパース性での拡張は、スパースモデルと全データモデル間の性能ギャップの 42.8% を回復させた。

3. アブレーションの洞察

• バンドルタイプ： **季節性 - トレンド（ST）**バンドルは、すべてのベンチマークで最も害が少なく（かつ最も有益で）、テストデータセットの支配的な季節性 - トレンドダイナミクスと一致していた。NR、LM、VE バンドルは、分布の不一致（例えば、ターゲットデータに存在しないボラティリティやレジームシフトの導入）により、より大きな劣化を引き起こした。
• カリキュラムスケジューリング： 段階的アニーリング（合成 $\to$ 実）は静的混合と同様に機能した。しかし、ハードスイッチスケジュール（トレーニング中に合成データから実データへ急激に切り替える）は壊滅的であり、静的混合と比較して MSE を**23.6%**増加させた。
• 難易度条件付け： 難易度レベルの影響は小さかった。均一な難易度は、ハードな分布よりもわずかに良好に機能した。
• 潜在相関： クロスチャネル相関（$p_{latent}$）を導入することは、特に高次元データセットにおいて、劣化を単調に減少させた。$p_{latent} = 0.5$ は安全なデフォルトとして推奨される。
• キャッシュ効率： 500 サンプルの固定キャッシュを事前に生成することは、パフォーマンスの面でオンザフライ生成と実質的に同等であることが判明し、計算オーバーヘッドを削減した。

意義と主張

本論文は、時系列予測パイプラインへの合成データの統合に関する具体的かつ実行可能なガイドラインを提供し、「より多くのデータは常に良い」という仮定を超えて進歩したと主張する。

• アーキテクチャ選択： 著者は、アーキテクチャが結果の最も強力な予測因子であると主張する。合成拡張はチャネルミキシングアーキテクチャ（CNN、多変量アテンション）で優先され、チャネル非依存モデルでは回避されるべきである。
• 戦略的展開： 本研究は、合成データが受容的なアーキテクチャにおける低リソース設定で最も効果的であり、そこで全データのパフォーマンスに匹敵し、あるいはそれを超える可能性があることを結論付けている。
• 運用上のベストプラクティス： 本論文は、ハードスイッチのカリキュラムスケジュールを明示的に推奨せず、長期予測タスクの安全なデフォルトとして季節性 - トレンドバンドルを推奨している。
• 基盤モデルの文脈化： 著者は、Chronos2 などのモデルとの知見を調和させ、数百万の多様な系列を見る事前トレーニングにおける合成データの成功と、分布の不一致を調整する時間が数エポックしかないファインチューニングにおける成功の違いを指摘している。彼らの結果は、合成データが特に、チャネル間の相互作用から学習するように設計されたモデルアーキテクチャにおいて役立つことを示唆しており、これは現代の基盤トランスフォーマーでは満たされるが、単純な線形モデルやチャネル非依存モデルでは満たされない条件である。

本研究は、合成データが万能薬ではないが、アーキテクチャへの意識と適切なスケジューリングで適用されれば強力なツールであることを強調している。