技術要約: TS-Memory

問題提起

時系列基盤モデル（TSFMs）は、大規模な事前学習を通じて強力なゼロショット予測能力を示しています。しかし、その実世界への展開は、分布シフト（例：スケールの変化、季節性の不一致、センサーの変動）によって阻害されており、これらは凍結されたバックボーンの性能を著しく低下させます。既存の適応戦略は、根本的なトレードオフに直面しています：

1. パラメトリック適応: 全パラメータ微調整やLoRAのようなパラメータ効率の良い微調整などの手法は、重みをターゲットドメインに適応させますが、各ドメインに対して個別のモデルコピーを維持する必要があり（高いストレージ/メンテナンスコスト）、一般的な事前学習知識の破滅的忘却を招くリスクがあります。
2. 非パラメトリック検索: RAG（検索拡張生成）やメトリックマッチングなどの手法は、推論中に外部データベースから類似した過去のインスタンスを検索することで、凍結されたバックボーンを維持します。効果的ではあるものの、データストアのサイズに対して線形に増加する高い推論レイテンシが発生するため、リアルタイム処理やエッジへのデプロイには適していません。

核心となる課題は、検索ベースの手法の堅牢な適応性を捉えつつ、パラメトリックなアダプターのような一定時間の推論時間とデプロイの簡便性を維持することです。

手法: パラメトリック・メモリ蒸留

著者らは、パラメトリック・メモリ蒸留と呼ばれる新しいパラダイムに基づく「プラグアンドプレイ」フレームワークであるTS-Memoryを提案しています。核心となる洞察は、オンライン検索によって提供される「知識」（具体的には、類似した入力によって示唆される予測分布）は、コンパクトなニューラルモジュールへとオフラインでコンパイル可能であるということです。これにより、検索のコストを推論パスから訓練フェーズへと移行させます。

TS-Memoryは、以下の2つのステージで動作します。

1. 特権的教師情報の構築 (オフライン)

テスト時のリークを防ぐため、訓練セットのみから構成されるリークセーフな $k$NN 教師を構築します。

• 知識ベース: 訓練分割のみを使用して、過去のコンテキストとその実現した未来のデータベースを構築します。
• シフトのアライメント: 分布シフト（例：レベルのオフセット）に対処するため、検索前にチャネルごとに計算された移動平均シフトを用いて、候補となる近傍を再アライメントします。
• 教師の集約: 与えられた入力に対し、上位 $K$ 個の最近傍を検索します。それらの将来の軌跡は、信頼度を考慮した分位点ターゲット ($\tilde{Q}_t$) へと集約されます。
• 信頼度スコアリング: 信頼度は、検索重みの集中度から導出されます。このスコアは、検索された分布の信頼性を示します。

2. 信頼度ゲート付きメモリ蒸留 (訓練)

軽量で学習可能なモジュール（PlugMem）を、外部データベースにアクセスすることなく、入力コンテキストから教師の分位点ターゲットを直接予測するように訓練します。

• アーキテクチャ: PlugMemは、凍結されたTSFMバックボーンから独立して動作する軽量なエンコーダー・デコーダーTransformerであり、プラグアンドプレイの互換性を保証します。
• 損失関数: 訓練目的関数は、以下の3つの要素を組み合わせたものです：
  • タスク監督 ($\mathcal{L}_{task}$): 真値に対する標準的な分位点回帰。
  • 信頼度ゲート付き蒸留 ($\mathcal{L}_{align}$): モジュールは、教師が信頼できる信号を提供する場合にのみ、教師の分位点ターゲットにアライメントされます。これは、教師が凍結されたバックボーンを上回る場合に、信頼度スコア ($Conf_t$) によって重み付けされるバイナリインジケーター ($\chi_t$) によって制御されます。これは、グローバルなバイアスを学習することを避けるために、バックボーンに対する増分的な補正 ($\Delta$) を具体的に蒸留します。
  • 安定性正則化 ($\mathcal{L}_{reg}$): 検索が不確実な場合に過剰な調整を防ぐためのアンカー損失と、単調な分位点出力を保証するためのクロッシング損失を含みます。

3. 推論 (検索フリー)

推論時、TS-Memoryは厳密に検索フリーのプロセスを実行します：

1. 凍れるバックボーン ($f_\theta$) がベースとなる分位点予測を生成します。
2. PlugMemモジュール ($g_\phi$) が補完的な分位点予測を生成します。
3. 最終的な予測は、両者の分位点ごとの線形補間となります：$\hat{Q}_{final} = (1-\alpha)\hat{Q}_{base} + \alpha\hat{Q}_{mem}$。
   これにより、$O(1)$ の推論レイテンシが実現され、履歴データのサイズに依存しません。

主な貢献

1. パラダイムの転換: 本論文は、高コストなオンライン検索を学習可能なオフラインメモリメカニズムへと変換するパラメトリック・メモリ蒸留を導入しました。これにより、パラメトリック適応と非パラメトリック検索の間の溝を埋めます。
2. TS-Memoryの設計: 非パラメトリックな $k$NN 分布をパラメトリックな表現へと蒸留する軽量なモジュールです。これは、検索信号が信頼できる場合にのみ知識を選択的に転送する、斬新な信頼度ゲート付き監督メカニッチを特徴としており、ノイズの多い検索による負の転移を防ぎます。
3. 効率性と性能: 多様なTSFMおよびベンチマークにおいて、点予測および確率的予測の両方で一貫した改善を達成しつつ、凍結されたバックボーンと同等の推論レイテンシ（定数時間のオーバーヘッド）を維持します。

実験結果

著者らは、4つの凍結されたTSFMバックボーン（ChronosBolt, Chronos2, Sundial, TimesFM）を用い、8つの多変量長期予測ベンチマーク（ETTh1/2, Electricity, Traffic, Weatherなど）でTS-Memoryを評価しました。

• 性能: TS-Memoryは、凍結されたバックボーン（"Origin"）および他の適応ベースラインを一貫して上回りました。
  • すべてのデータセットとバックボーンの組み合わせにおいて、MSEを平均で 5.8%、MAEを 2.1% 削減しました。
  • ピーク時の改善は、MSEで 16.0%、MAEで 6.0% に達しました。
  • また、確率的指標（CRPS）も改善しており、より較正された不確実性を示しています。一方で、LoRAは確率的性能を低下させることがありました。
• 効率性:
  • レイテンシ: オンライン検索ベースライン（RAFT, TS-RAG）が検索により大幅なレイテンシ（最大100%以上の増加）を伴うのに対し、TS-Memoryはわずかな定数オーバーヘッド（約4-5%の増加）のみを追加し、凍結されたバックボーンと同等です。
  • ストレージ: パラメトリック適応（複数のモデルコピーが必要）や非パラメトリック検索（大きなベクトルデータベースが必要）とは異なり、極めて小さなモジュールのみを保存すれば済みます。
• 汎用性:
  • クロスモデル転送: あるバックボーン（例：ChronosBolt-Base）で訓練されたPlugMemは、再最適化なしに、より小さなバリアントや異なるTSFMファミリー（例：Sundial, TimesFM）さえも改善することに成功しました。
  • ドメインシフト: 手法はドメインシフトに対して堅牢性を示し、検索監督ドメインとターゲットドメインのアライメントが強まるにつれて、利得が増大しました。

意義と主張

本論文は、TS-Memoryが以下の3つの重要な要件を同時に満たすことで、実用的なデプロイにおける優れたトレードオフを提供すると主張しています。

1. ゼロ推論検索: 実行時の外部ベクトルデータベースへの依存を排除します。
2. 定数時間複雑性: 推論レイテンシは $O(1)$ であり、知識ベースのサイズに依存しません。
3. 非破壊的適応: 凍結されたバックボーンを保持し、破滅的忘却を回避します。

著者らは、TS-Memoryを検索の代替品としてではなく、検索の恩恵を軽量なモジュールへと内部化するためのメカニズムとして位置付けています。検索によって誘発される「分布的な補正」を蒸留することで、TS-Memoryは凍結されたTSFMに対し、標準的なフォワードパスの速度でローカルドメインへの適応を可能にし、検索ベースの適応をリアルタイムおよびエッジアプリケーションでの利用を可能にします。

認められた限界: 著者らは、本手法が長期的な確率的予測に焦点を当てており、現在は加法的なチャネルごとのオフセットを扱うものであると述べています。検索コーパスがデプロイドメインと適合していない場合、複雑な時間的ワーピングや急激なレジーム変化に対して課題が生じる可能性がありますが、ゲーティングメカニズムがこのリスクを軽減します。