技術概要：Olivia：時系列基盤モデルとパワースペクトル密度の調和

1. 問題定義

時系列基盤モデルは、エネルギー、交通、ヘルスケアなど複数のドメインにわたる多様なデータセットから、統一された汎用表現を学習し、下流の予測タスクへの効果的な転移を可能にすることを目指しています。しかし、これらのドメイン間における時間パターンの不均質性が重大な課題となっています。異なるドメインに由来するデータセットは、物理的ダイナミクス、運用サイクル、測定設定の差異により、明確な周期性構造と長期的依存関係を示します。

最適化の観点からすると、時間特性が異なるデータセットを共同で学習することは、データセットレベルの目的とインスタンスレベルの最適化のミスマッチにより、収束の遅延や最適でない挙動を招く傾向があります。表現学習の観点からは、互換性のない時間構造を同時に受け入れさせられる場合、モデルは統一された転移可能な表現を形成することに苦慮します。既存のアプローチは、アーキテクチャのモジュール化や容量ベースの専門化を通じてドメイン間格差を緩和しようと試みていますが、特にスペクトル領域における時間分布の根本的な差異を明示的に解決するには至っていません。

2. 手法

本論文は、スペクトル領域におけるパワースペクトル密度（PSD）を介してデータセットを調和させることで、ドメイン間の不均質性に対処する新しい時系列基盤モデル「Olivia」を提案します。核心的な仮説は、PSD を正規化することでデータセット間のミスマッチを軽減し、事前学習の効果を高めることができるというものです。

2.1. ハーモナイザー：双方向 PSD 再パラメータ化

大規模な事前学習において、データセットレベルの目的とインスタンスレベルの最適化のミスマッチにより、データセット間でのスペクトル不一致（例えば、ジェンセン・シャノンダイバージェンスによる）を直接最小化することは計算上非現実的です。これを克服するため、著者は第二次の時間相関を再編成することで PSD を暗黙的に調和させる構造モジュール「ハーモナイザー」を提案します。

ハーモナイザーは、2 つの双方向サブモジュールで構成されます。

• アライナー: 生時系列データを共有された PSD 調和潜在部分空間へ投影します。厳密な直交性を保証するために、ハウスホルダー反射の系列を介してパラメータ化された学習可能な直交行列 $Q$（$Q = \prod H_k$）を利用します。この変換は時間ダイナミクスを再編成し、結果として得られるモーメント行列をブロック対角化することで、共有部分空間のダイナミクスとデータセット固有の変動を分離します。
• リストーラー: デコード後に処理された表現を元のドメイン固有の時間空間へ逆等距離写像として投影し、出力が元の時間構造を保持することを保証します。

理論的には、このアプローチは第二次の時間相関の共有再パラメータ化に対応し、ダイバージェンス最適化の不安定性なしに多様なデータセット間で共通の構造的形態を誘導します。

2.2. ハーモニックフォーマーとハーモニックアテンション

調和された表現に基づき、著者はトランスフォーマースタイルのエンコーダ・デコーダバックボーンである「ハーモニックフォーマー」を導入します。核心的な革新は、密なオールツーオールトークン相互作用を、コンパクトなセットの「共鳴器（レゾネーター）」を介した低次元相互作用空間に置き換える「ハーモニックアテンション」です。

• トークンから共鳴器への集約: グローバルな情報をトークンから $M$ 個の潜在共鳴器（$L$ をトークン数とし、$M \ll L$）の小さなセットへ集約します。
• 共鳴器間相互作用: 自己アテンションを、完全な $L \times L$ トークン空間ではなく、コンパクトな $M \times M$ 共鳴器空間内で実行します。
• グローバル共鳴器投影: 相互作用した共鳴器情報をトークンへ再分配します。

この設計により、計算複雑性は $O(L^2P)$ から $O(LMP + M^2P)$ に削減され、調和されたスペクトル部分空間を通じてグローバルな依存関係をモデル化しつつ、長い系列に対して線形スケーラビリティを実現します。

2.3. 学習パイプライン

Olivia は 3 段階のパイプラインに従います。

1. 事前学習: 再構成目的を用いて、大規模な異種データセット（例：UTSD）で学習します。アライナーとリストーラーは、ドメイン間スペクトル不一致を軽減する共有時間組織を学習するために共同最適化されます。
2. 微調整: モデルは特定の予測タスクに適応します。ハーモナイザーのアライナーは時間再パラメータ化を洗練させるために学習可能のまま残され、エンコーダとデコーダの重みは事前学習された表現を保持するために凍結されます。
3. 推論: 完全に学習されたモデルは、すべてのパラメータを凍結した状態で予測を実行します。

3. 主要な貢献

1. 原理的な調和アプローチ: 本論文は、第二次の時間相関の再編成を通じて PSD を暗黙的に調和させる手法を導入し、非構造的なドメインギャップ処理を超えて、事前学習データセットの多様性に対処する方法を提示します。
2. ハーモニックアテンション機構: コンパクトなセットの共鳴器を介した低次元トークン相互作用を可能にする新しいアテンション機構であり、ハーモニックフォーマーアーキテクチャを通じて効率的な基盤モデル化を促進します。
3. Olivia モデル: これらの機構を統合した新しい時系列基盤モデルであり、ゼロショット、ファウショット、フルショットのシナリオ全体で優れた性能を実証しています。

4. 実験結果

大規模な 2 つのベンチマーク（TSLib および GIFT-Eval）と GluonTS に含まれる 6 つの追加データセットで広範な実験が行われました。

• ゼロショット性能: Olivia は、SEMPO、Time-MoE、Timer、Moirai、Chronos、TimesFM などの最先端基盤モデルや、タスク固有のベースラインを常に凌駕しました。TSLib ベンチマークにおいて、Time-MoE などの大規模モデルと比較して MSE と MAE を大幅に削減し（平均 MSE 削減率 26.3%）、顕著な成果を上げました。
• ファウショットおよびフルショット: Olivia は、低データ環境（ファウショット）およびフルショット設定において強力な性能を示し、事前学習済みの基盤モデルおよび専門的な予測モデル（iTransformer、DLinear など）よりも一貫して低い平均 MSE と MAE を達成しました。
• 効率性: ハーモナイザーによる追加オーバーヘッドにもかかわらず、Olivia（510 万パラメータ）はコンパクトなフットプリントを維持し、Time-MoE（1 億 1300 万〜24 億パラメータ）や Moirai などの大規模モデルよりも著しく高速な推論速度を維持しながら、SEMPO などの軽量ベースラインよりも精度で上回りました。
• アブレーション研究: ハーモナイザーを除去するか、ハーモニックアテンションを標準的なフルアテンション、リニアアテンション、またはニーストロムアテンションに置き換えると、性能が一貫して低下しました。これは、スペクトル調和と低次元共鳴器相互作用の必要性を検証するものです。

5. 意義と主張

本論文は、Olivia が、スケーラブルで汎用性の高い時系列基盤モデルを構築するために、時間ダイナミクスを構造的に調和させることの価値を実証していると主張しています。多様なスペクトル署名を統一された部分空間に整列させることで、モデルはドメイン固有のシフトに対して不変な普遍的な時間プリミティブを学習します。

著者は、時系列事前学習における「非構造的ドメインギャップ」問題に対する原理的な解決策として、この研究を位置づけています。PSD 誘導の再パラメータ化を通じて第二次の時間構造を明示的に扱うことが、アーキテクチャのモジュール化のみに依存する従来の手法よりも効果的な転移学習を可能にすると主張しています。結果は、PSD 整合的な表現が、異種の実世界データセット全体でモデルの効率性、精度、汎化能力の間の望ましいトレードオフを可能にすることを示唆しています。

本論文は、ハーモナイザーにおける逐次的なハウスホルダー反射によって導入される追加の推論オーバーヘッドという限界を認めており、より効率的な直交パラメータ化戦略を将来の研究方向として特定しています。しかし、現在の設計は、アーキテクチャの厳密性と実用的な速度の間の堅牢なバランスを提供していると維持しています。