技術要約: UPLOTS – 制約付き時系列生成のための統一事前学習言語モデル

1. 問題提起

現在の時系列生成（TSG）手法は、著しい断片化に直面している。VAE（変分オートエンコーダ）、GAN（敵対的生成ネットワーク）、拡散モデル（Diffusion models）を含む既存のアプローチは、通常「1つのデータセットにつき1つのモデル」というパラダイムに従っている。これにより、特定のデータセットやタスクごとに個別のモデルを訓練、チューニング、デプロイする必要が生じる。この断片化は以下の問題を引き起こす：

• スケーラビリティの欠如: 多様なデータセットが増えるにつれ、計算量および人的努力が線形的または超線形的に増加する。
• 汎用性の制限: モデルが異なるドメイン間での共通の時系列構造を活用することができない。
• 知識吸収の非効率性: 多様なデータセットから広範な知識を内部化できないことが、制約付き生成タスクにおける性能を制限する。

近年の研究では、プロンプト駆動型またはプロトタイプ駆動型の転移が探索されているが、それらは多くの場合、ドメイン固有のバックボーンや例示系列（exemplar series）に依存している。未知のドメインに対して再学習なしで制約を考慮した合成を行うことができる、単一の統一された生成器へのギャップが依然として存在する。

2. 手法: UPLOTS フレームワーク

著者らは、タスク固有のモデルを、学習された制約プロンプトによって導かれる単一の事前学習済み大規模言語モデル（LLM）バックボーンに置き換えるフレームワークである UPLOTS（Unified Pretrained Language Model for constrained Time-Series Generation）を提案する。

2.1 コアアーキテクチャ

UPLOTSは、事前学習済みLLM（具体的にはGPT-2またはLLaMA 3.2-1B）を、時系列生成パイプラインと統合している。本フレームワークは、主に3つのコンポーネントで構成される：

1. 時系列プロンプト埋め込みモジュール (TPEM):

   • 機能: このモジュールは、自然言語の制約と時系列データの間の架け橋として機能する。データセット固有の制約（例：「朝のピークパターン」）を、軽量な自然言語プロンプトとしてエンコードする。
   • メカニズム: 時系列入力は、畳み込みMLPを介してモデルの隠れ次元に投影される。同時に、テキストプロンプトはトークン化され、LLMの凍結されたワード埋め込み層を使用して埋め込まれる。
   • 融合: プロンプトの埋め込みと時系列の埋め込みは、時間軸に沿って結合され、切り詰められた事前学習済みTransformerアーキテクチャに投入される。出力は、LayerNorm (LN) および線形投影層を介して元の特徴空間にマッピングされる。
   • 適応性: LayerNormと位置エンコーディングのみが学習対象であり、コアとなるLLMのパラメータは凍結されているため、パラメータ効率が高い。

2. 動的重み付け学習戦略 (DWTS):
   異種混合のデータセット間で効果的な共同学習を可能にするため、UPLOTSは2つの側面を持つ戦略を採用している：

   • カリキュラム認識損失モジュレーター (CALM): ウォームアップフェーズにおいて、このメカニズムは「困難な」データセット（最近の損失が高いもの）の重みを下げ、初期の学習の不安定化を防ぐ。各データセットの損失の移動平均を計算し、それに応じた静的なカリキュラム重みを割り当てる。
   • 移動損失に基づく動的サンプリング (RLDS): このコンポーネントは、各データセットの最近の損失に基づいて、バッチのサンプリング確率を動的に調整する。パフォーマンスが低い（損失が高い）データセットからのバッチがより頻繁に抽出されるようにし、学習中にモデルが困難なドメインに集中できるようにする。

3. 生成バックボーン:
   本フレームワークは、基礎となる生成エンジンとして Diffusion-TS モデルを利用する。TPEMによって強化されたLLMの出力は、拡散プロセスへの入力として機能し、拡散プロセスは前方ノイズ付加（forward noising）と逆向デノイジング（reverse denoising）のステップを経て進行する。訓練目的関数は、点ごとの精度とスペクトル内容の両方を維持するために、結合された時間/周波数損失を最小化する。

2.2 ワークフロー

• 訓練: 異種混合の時系列データセットが、単一のLLM内で共同訓練される。データセット固有の制約はプロンプトとしてエンコードされ、これによりモデルはドメイン不変のパターンとデータセット固有のダイナミクスを同時に学習できる。
• 推論: 再学習は不要である。特定のターゲットシーケンス（例：エネルギー・データセットにおける「夕方のピーク」）を生成する場合、ユーザーは対応する自然言語プロンプトを提供するだけでよい。モデルはこのプロンプトに条件付けを行い、要求に応じて目的の時系列セグメントを合成する。

3. 主な貢献

本論文は、主に3つの貢献を述べている：

1. 統一LLMフレームワーク: 単一の事前学習済みモデルがすべてのデータセットにわたって訓練でき、多様な目的を持つテストセットに対して推論を行うことを可能にすることで、従来の1対1のパラダイムを打破する新しいアーキテクチャ。
2. プロンプト駆動型オンデマンド生成: 本フレームワークは、プロンプト学習を活用することで、再学習なしでのタスク固有の生成を可能にする。例えば、エネルギー・データセットに対して「朝のピーク」セグメントを生成するために、テキストプロンプトを使用して多様なプロンプトを再利用できる。
3. 経験的な優位性と汎用性: 本フレームワークは、4つの実世界のデータセットおよび4つの制約ファミリー（時間的ピーク、カレンダー、負荷レベル、揮発性）にわたる14のプロンプト構成において、最先端（SOTA）のベースラインおよび基本的なモデルバリアントに対して顕著な優位性を示した。

4. 実験結果

著者らは、4つの実世界のベンチマークである ETTh (Electricity Transformer Temperature)、Energy、PEMS04、PEMS08 を用いてUPLOTSを評価した。

4.1 評価指標

性能は以下の指標で測定された：

• Context-FID (C-FID): 分布の忠実度と時間的特徴の依存関係を評価する。
• 識別スコア (Discriminative Score): 分類器が実データと生成データを区別できる能力を評価する。
• 予測スコア (Predictive Score): 「Train-on-Synthetic, Test-on-Real (TSTR)」パラダイムを通じて、ダウンストリームの有用性を測定する。

4.2 主な知見

• ベースラインとの比較: UPLOTSのバリアント（GPT-2およびLLaMA 3.2を使用）は、単一データセットモデル（TimeGAN, TimeVAE, DiffWave, DiffTime）およびマルチデータセット・ベースライン（TimeDP）を大幅に上回った。
  • ETTh および Energy データセットにおいて、UPLOTSはプロンプトのない「Empty」ベースラインと比較して、Context-FIDを平均 12.3倍、識別スコアを 9.3倍 向上させた。
  • 完全なUPLOTSモデルは、ほぼすべての指標とデータセットにおいて最良の結果を達成し、LLaMA 3.2バックボーンが最高の性能を示した。
• 制約への適合性: モデルは、初期訓練で使用された特定の「朝/夕のピーク」設定を超えて、正常に一般化した。モデルは、カレンダー制約（平日/週末）、負荷レベル（高/低）、および揮発性パターンの4つの制約ファミリーを含む、14の異なるプロンプト構成において高い忠実度を維持した。
• アブレーション研究:
  • TPEM モジュールを除去すると、性能が劇的に低下した（例：ETTh_MPにおいてC-FIDが0.0243から0.1682に上昇）。これは、プロンプト埋め込みメカニズムの必要性を裏付けている。
  • CALM および RLDS を除去すると、性能は緩やかではあるが一貫して低下した。これは、マルチデータセット訓練におけるそれらの役割を検証している。
• ダウンストリームの有用性: 予測タスク（PhaseFormerおよびSparseTSFを使用）におけるデータ拡張実験において、UPLOTSが生成したデータは、特に低データ環境（実データの比率が1%から10%）において、予測精度を一貫して向上させた。

4.3 ハイパーパラメータの感度

• 隠れ次元: パフォーマンスは隠れ次元64でピークに達した。より小さい次元（16）ではアンダーフィッティングが発生し、より大きい次元ではさらなる利益は見られなかった。
• プロンプトの長さ: モデルはプロンプトの長さにほとんど影響を受けなかった（単一文字から完全な文章まで）。ただし、長さよりも意味的な豊かさがより重要であることが判明した。

5. 重要性と主張

本論文は、UPLOTSを、実世界の時系列アプリケーションに対するスケーラブルで適応可能なソリューションとして位置づけている。その重要性は以下にある：

• パラダイムシフト: 断片的なデータセット固有のモデルから、統一された事前学習済みバックボーンへの移行。
• 効率性: 個別のモデルを訓練する計算オーバーヘッドや、純粋な拡散パイプラインの高いレイテンシを伴うことなく、クロスドメインの汎用性と精密な制約制御を実現する。
• 柔軟性: 自然言語プロンプトを介してカスタマイズされた時系列セグメントの「オンデマンド」生成を可能にし、変化する要件に対してシステムを高度に適応させる。

著者らは、UPLOTSが多様な時間的構造を正常に内部化し、制約付き時系列生成のための堅牢なフレームワークを提供していると結論付けており、今後はより広範な時間領域やゼロショットの分布シフトを探求することが計画されている。