技術要約: OATS (Online Data Augmentation for Time Series Foundation Models)

問題提起

時系列基盤モデル（TSFMs）は、大規模なデータセットを通じてクロスドメイン学習とゼロショット汎化を可能にし、この分野を進展させてきました。しかし、その有効性は、欠損値、不均一なサンプリングレート、不均衡なドメイン分布、データの重複といった、時系列データに特有のデータ品質の問題によって制約を受けています。合成データ拡張は、データの不足を緩和し堅牢性を高めるための広く採用されている戦略ですが、既存の手法には主に2つの限界があります。

1. ヒューリスティックへの依存: 現在のアプローチは、手動で設計されたパターン（例：正弦波、分解された時系列）や静的な変換（例：jittering、TSMixup）に依存しています。これらのヒューリスティックはタスクに依存しないことが多く、異なる時系列タスクに対して汎化できない場合があります。
2. 静的なパラダイム: 既存の拡張戦略は、合成データを一度生成し、トレーニングプロセス全体を通じて一様に組み込みます。これは、モデルのトレーニングにおける特定のデータサンプルの価値や有用性が、異なるトレーニング段階によって変化するという動的な性質を無視しています。

手法: OATS

著者らは、特定のトレーニングステップに合わせて合成データを動的に生成する原理的な戦略である OATS (Online Data Augmentation for Time Series Foundation Models) を提案します。OATSは、以下の3つのコアモジュールを通じて動作します。

1. 時系列影響度スコア (Time-Series Influence Scores: TSIS)

合成データの原理的な品質指標の欠如に対処するため、OATSは**データ属性付け（data attribution）**を利用して、モデルの性能に対する個々のトレーニングサンプルの影響力を定量化します。

• メカニズム: モデルパラメータ $w_t$ を持つ特定のトレーニングステップ $t$ に対して、TSIS関数 $F_{D_{ref}}$ は、参照データセット $D_{ref}$ に対するサンプル $z_i$ のデータ属性付けスコアを推定します。
• 定式化: スコアは、参照損失の変化に関する一次テイラー近似から導出されます。これは、影響度スコア（サンプルと参照セット間の勾配の整合性）と、時系列特有の品質指標である信号対雑音比（SNR）の閾値を組み合わせたものです。
• 出力: 高いTSISスコアを持つサンプルは「価値がある」と識別され、生成のためのガイディングシグナルとして機能します。

2. 高品質に導かれたデータ生成

OATSは、単に高スコアのインスタンスをオーバーサンプリングするのではなく、それらを条件付けシグナルとして使用して、多様で現実的な合成データを生成します。

• アーキテクチャ: 拡散ベースのモデルが採用されており、選択された高品質なサンプル（$H_t$）によって条件付けされます。
• 条件付け: モデルは、時系列セマンティック・プロトタイプ (Time-Series Semantic Prototype) モジュールと、サブセットのメタデータ（ドメインやソースなど）に基づくクラス条件付きガイダンスを組み込んでいます。生成プロセスは条件付き分布 $p(\hat{z}|H_t)$ をモデル化し、高品質なガイドの特性に従いつつ、多様な時間的パターンを捉えた新しいサンプルを合成します。

3. Explore-Exploit（探索・活用）メカニズム

すべてのステップでTSISを計算することは計算コスト的に極めて困難です。OATSは、計算効率とデータ品質のバランスを取るために、Explore-Exploit メカニズムを導入しています。

• 探索ステップ (Explore Steps): システムは、新鮮なTSIS値を計算するために新しいバッチを確率的にサンプリングし、指数移動平均を介して各データサブセットの動的キャッシュ（$\Phi_{D_l}$）を更新します。これにより、システムは変化するモデルのダイナミクスに適応できます。
• **活用ステップ (Exploit Steps):
• 活用ステップ (Exploit Steps): システムは、キャッシュされたTSIS値を活用して高品質なバッチを直接サンプリングし、高価な影響度スコアの再計算を回避します。
• 制御: $\epsilon$-greedy戦略が、ステップが「探索」ステップであるか「活用」ステップであるかを決定し、新しい高価値データの発見と、既知の高価値データを使用する効率性の間でバランスを取ります。

主な貢献

1. オンラインデータ拡張パラダイム: 本論文は、静的な拡張から、トレーニングプロセスの現在の状態に基づいて合成データが動的に生成されるオンライン拡張への転換を提案しています。
2. 原理的な戦略 (OATS): データ属性付け（TSIS）と拡散ベースの生成を統合した新しいフレームワーク。高影響度のサンプルをガイディングシグナルとして使用し、高品質かつ多様な合成データを生成します。
3. 効率化メカニズム: 計算オーバーヘッドを大幅に削減しながら、トレーニングのダイナミクスに適応する能力を維持する、探索・活用メカニズムの導入。
4. 実証的検証: 6つのデータセット（ETTm1, EMM2, ETTh1, ETTh2, Weather, Electricity）および2つのTSFMアーキテクチャ（Encoder-onlyおよびDecoder-only Transformer）にわたる包括的な評価。

実験結果

著者らは、OATSを通常のトレーニングおよび2つのベースライン拡張手法である TSMixup（既存サンプルの加重和）および Jitter（ガウスノイズの追加）と比較評価しました。

• 性能: OATSは、ほぼすべてのデータセットと指標（正規化平均絶対パーセント誤差 - MAPE、および負の対数尤度 - NLL）において、通常のトレーニングおよびベースラインの拡張手法を一貫して上回りました。
• 堅牢性: OATSは、両方のモデルアーキテクチャにおいて、6つのデータセットのうち5つ（ETTm1, EMM2, ETTh2, Weather, Electricity）で最良の結果を達成しました。
• 収束: テスト損失曲線は、OATSがベースラインと比較してNLLの減少が速いことを示しました。
• ハイパーパラメータの感度: 探索・活用比率（$\epsilon$）を変化させた実験では、$\epsilon=1$（純粋な探索）が常に最適であるとは限らず、キャッシュされたスコアを活用すること（活用）が効率性のために重要であることが示唆されました。しかし、$\epsilon$ の設定に関わらず、OATSは通常のトレーニングよりも優れた性能を示しました。

意義と主張

本論文は、OATSが、静的でヒューリスティックな手法の限界を超え、動的なデータ拡張への原理的なアプローチを提供すると主張しています。影響度スコアを通じてデータ品質を定量化し、トレーニング段階に合わせて生成を適応させることで、OATSはTSFMにおけるデータの不足と品質という重要な課題に対処します。著者らは、この手法がモデルの性能を向上させるだけでなく、複雑で現実世界の時系列データを用いて基盤モデルを訓練するためのスケーラブルなフレームワークを提供すると断言しています。さらなる研究を促進するために、コードは公開されています。