技術概要：DAD4TS

問題定義

時系列予測（TSF）は、電力管理、交通予測、気象予報などの応用において不可欠です。しかし、現実のシナリオでは十分な訓練データを収集できないという重大な課題が生じており、小規模データセットで訓練された効果的な予測モデルが必要とされています。データ不足に対処するための一般的な戦略としてデータ拡張がありますが、既存の手法には主に 2 つの限界があります：

1. ノイズの導入: 多くの生成ベースの手法は、元の分布に密接に類似した合成データを作成することに焦点を当てています。著者らは、このアプローチが意図せずノイズを導入し、下流の予測タスクに悪影響を及ぼし得ると主張しています。その証拠として、予備実験において「ガウス」拡張が複数のデータセットで性能を低下させたことが示されています。
2. 静的な生成: 既存の手法のほとんどは、データ生成をワンショットの静的な前処理ステップとして実行します。予測モデルの現在の状態に合わせて最適化されたサンプルを動的に生成するメカニズムや、予測性能に基づいてどの生成サンプルが価値あるかを明示的に選択するメカニズムが欠如しています。さらに、多くの拡散ベースのアプローチは DDPM に依存しており、大量のサンプリングステップを必要とするため、連続的な生成は計算コストの面で非現実的です。

手法：DAD4TS

著者らは、小規模データ領域における TSF 精度を向上させるために、合成データを生成・選択することを目的としたフレームワークDAD4TS（Data-Augmentation-Oriented Diffusion Model for Time-Series Forecasting with Small-Scale Data）を提案します。このフレームワークは、3 つの中核コンポーネントを含む共同訓練戦略を通じて機能します：

1. 幾何空間拡散モデル（整流フロー）

小規模データセットでの変分オートエンコーダ（VAE）の訓練の難しさを克服するため、DAD4TS は深層学習に基づく潜在空間マッピングを回避します。代わりに、数学的手法を用いて時系列データを幾何空間に射影します：

• 前処理: 単変量時系列データを分割し、標準化し、スライディングウィンドウを通じて処理します。
• 幾何射影: 各ミニバッチに対してグラム行列を計算し、時系列特徴を捉えます。PCA モデルを各ミニバッチごとに適合させ、これらの表現を 2 次元埋め込みに変換します。これらのベクトルの外積（非対角要素をゼロに設定）が幾何空間の入力を形成します。
• 条件付け: 拡散モデルは、Top-1 混合専門家（MoE）メカニズムを通じて選択された時系列基盤モデル（Chronos-Tiny、Chronos-Base、Tirex）の埋め込みから導出された条件変数（$c$）を受け取ります。
• 効率的な生成: 標準的な DDPM の代わりに、DAD4TS は直線経路に沿って分布を輸送する常微分方程式（ODE）ベースのアプローチである整流フローを利用します。これにより、サンプリングステップ数を大幅に削減（実験では 20 に設定）しつつ高品質なデータ生成が可能となり、効率的な連続生成を実現します。

2. 価値ベースサンプリング（DVRL-G）

ノイズのあるまたは情報量の少ない合成データの使用を防ぐため、このフレームワークは深層強化学習（具体的には DVRL 手法）に基づくセレクター（$S_\phi$）を採用します。

• アーキテクチャ: セレクターはトランスフォーマーベースのモデルであり、生成されたデータセグメント（$x_b, y_b$）と、そのデータに対する予測モデル（$F_\theta$）の平均二乗誤差（MSE）損失を入力として受け取ります。
• 機能: 各サンプルの価値を表す重みベクトルを出力します。その後、ベルヌーイサンプリングにより、訓練に保持される生成サンプルが選択されます。
• 報酬信号: セレクターは、予測モデルの検証損失の改善（$L_{base} - L_{val}$）として定義される報酬を最大化するように訓練されます。これにより、予測性能の向上に寄与するサンプルのみが使用されることを保証します。

3. 共同訓練戦略

静的なパイプラインとは異なり、DAD4TS は 3 つのモジュール（拡散モデル、セレクター、予測モデル）を共同かつオンラインで更新します：

• 拡散モデルは、データの幾何学的特徴と、予測モデルがそれをどのように解釈するかを学習します。
• セレクターは、予測モデルの現在の状態に基づいて、生成されたサンプルの有用性を継続的に評価します。
• 予測モデルは、実データと選択された合成データの混合で訓練されます。
  この動的なプロセスにより、データ拡張は対象となる予測タスクに継続的に適応することができます。

主な貢献

本論文は、以下の 4 つの主要な貢献を概説しています：

1. 小規模データへの最適化: 低データ領域における下流の予測性能を最大化するために特別に設計されたフレームワークであり、既存の拡張手法と比較して顕著な精度向上を実証しています。
2. 価値ベースサンプリング: 生成されたすべてのデータを無差別に使用するのではなく、予測指向の報酬に基づいて情報量の多い生成サンプルを動的に選択するセレクターの導入。
3. 共同訓練戦略: 生成器、セレクター、予測器が同時に更新されるオンライン訓練メカニズムであり、予測タスクに適応する動的な拡張プロセスを創出します。
4. モデル非依存統合: このフレームワークは、時系列予測モデルの特定のアーキテクチャに依存しない汎用拡張モジュールとして機能します。

実験結果

著者らは、6 つの現実世界のデータセット（Employees, Forest, German, ILI, Inventories, Consumption）を用いて DAD4TS を評価し、RNN/LSTM から PatchTST や TimesNet などのトランスフォーマーベースのモデルまで、8 つの異なる予測モデルで検証を行いました。

• 性能: DAD4TS は 6 つのデータセットの 5 つで検証され、ベースライン（TimeGAN, TimeVAE, Diffusion-TS など）および「ガウス」ノイズベースラインと比較して、平均二乗誤差（RMSE）と動的時間 warping（DTW）において一貫した改善を示しました。
• アブレーション研究: 実験により、逐次的な生成戦略とセレクターの両方が重要であることが確認されました。セレクターを除去するか、ワンショット生成を実行すると、性能向上が著しく低下し、動的で報酬駆動型の選択プロセスの必要性が実証されました。
• 分布分析: 可視化の結果、ベースライン手法は実データに類似したデータ分布を生成する一方、DAD4TS はわずかに異なる分布を持つデータを生成することが示されました。著者らは、これを PCA ベースの幾何空間と、ノイズをフィルタリングし特定の予測モデルに価値のあるデータのみを保持するセレクターの能力に起因すると説明しています。

意義と主張

本論文は、ノイズの導入や生成の静的な性質により小規模データ領域で失敗することが多い既存のデータ拡張手法の重要な限界を DAD4TS が克服していると主張しています。実データに「似せる」ことではなく、強化学習を用いた共同訓練ループを通じて「下流タスクの性能を向上させる」ことに焦点を移すことで、この手法はデータが不足している状況において予測精度を大幅に向上させます。

著者らは、現在の実装は単変量時系列予測タスクに限定されていることを控えめに指摘しています。今後の研究では、このフレームワークを多変量設定や時系列予測以外の他の下流タスクに拡張することを目指しています。本研究は、提案されたフレームワークが予測モデルのアーキテクチャに制限を課さないことを強調しており、時系列コミュニティにとって多用途なツールとなることを示しています。