技術要約：投機的デコーディングによる時系列基盤モデルの加速

問題提起

時系列基盤モデル（TSFM）は、未知の時系列に対してゼロショットで高精度な予測を行う能力により、運用上の予測タスク（電力負荷、交通制御など）における最先端のソリューションとして台頭している。しかし、そのデプロイメントは推論レイテンシによって阻害されている。TSFMsは通常、**パッチ自己回帰デコーディング（patch-autoregressive decoding）**を介して動作し、モデルは$P$ステップのパッチを一つずつ生成する。$H$ステップのホライゾンを予測するために、モデルは$\lceil H/P \rceil$回の厳密に逐次的なフォワードパスを実行しなければならない。この逐次的な依存関係は、レイテンシが予測ホライゾンに対して線形にスケールするというボトルネックを生み出し、低レイテンシの運用決定の必要性と矛盾する。

投機的デコーディング（Speculative Decoding, SD）は、安価な「ドラフト」モデルを用いてトークンを提案し、より大きな「ターゲット」モデルがそれらを並列に検証することで大規模言語モデル（LLM）を加速させることに成功してきたが、時系列への直接的な転用は容易ではない。標準的なSDは離散的な語彙とトークン確率に依存している。しかし、TSFMsは$\mathbb{R}^d$における連続的なパッチを出力し、多くの場合、明示的な確率密度を露出しないヘテロジニアスなヘッド（ポイント、分位点、フローマッチングなど）を持つ。さらに、標準的なSDの修正メカニズム（残差分布からの再サンプリング）は、ドラフトとターゲットが頻繁に一致する場合において、連続空間では計算コストが極めて高くなる。

手法

著者らは、連続的なパッチ自己回帰に特化した**ガウス投機的デコーディング（Gaussian Speculative Decoding）**フレームワークを提案する。この手法は、ターゲットモデルの重みを変更したり再学習を必要としたりすることなく、SDの離散的な要素を連続的なアナログに置き換えるものである。

1. ガウス代理ヘッド（Gaussian Surrogate Heads）

ヘテロジニアスなTSFMヘッドを扱うために、本フレームワークはターゲット（$p$）およびドラフト（$q$）モデルの両方に、次パッチの条件付き分布に対する**等方性ガウス代理（isotropic Gaussian surrogates）**を備える：
$$p(x | h) = \mathcal{N}(\mu_p(h), \sigma^2 I_d), \quad q(x | h) = \mathcal{N}(\mu_q(h), \sigma^2 I_d)$$
ここで、$\mu_p$および$\mu_q$はそれぞれのモデルのポイント予測（生の出力、中央値、またはフローマッチングの平均）である。分散$\sigma^2$は、学習されたモデル出力ではなく、固定された供給された「受容温度（acceptance temperature）」である。

2. 受容ルール（Acceptance Rule）

トークン確率を比較する代わりに、本手法は対数ドメインのガウス尤度比テストを使用する。位置$i$におけるドラフトの提案$x_i$に対し、受容統計量$\ell_i$は以下のように定義される：
$$\ell_i = -\frac{\|x_i - \mu_p^{(i)}\|_d^2}{2\sigma^2} + \frac{\|x_i - \mu_q^{(i)}\|_d^2}{2\sigma^2} + \frac{1}{2}\log\frac{\sigma_q^2}{\sigma_p^2}$$
ここで、$\|u\|_d^2 = \frac{1}{d}\|u\|_2^2$は次元あたりのエネルギーである。提案は確率$\alpha_i = \min\{1, e^{\ell_i}\}$で受理される。

• テンパリング（Tempering）: $1/d$のスケーリングは、次元が増加しても対数比がハードな0/1ゲートへと退化するのを防ぎ、$\sigma$が異なるモデルファミリー間で調整可能な受容温度として機能することを可能にする。
• 平均伝播（Mean Propagation）: ドラフトは自身の平均を提案する（$x_i = \mu_q^{(i)}$）。これにより、二乗誤差評価において有害となるサンプリングノイズの注入を回避する。

3. 修正とフォールバック（Correction and Fallback）

離散的なSDが、拒否された際に残差分布から再サンプリングを行う（これは受容率が高い場合にコストが発散するプロセスである）のに対し、本手法は拒否された直後にターゲット自身の予測（$\mu_p^{(i)}$）をコミットする。

• 理論的正当性: 著者らは、この「フォールバック」戦略が、コミットされたパッチをターゲットのみの予測の有界な二乗誤差半径内に留めることを証明している。高次元の連続空間において正確な修正を行うコストは、高受容レジームにおける投機のメリットを上回るため、再サンプリングは回避される。
• ボーナスパッチ: $K$個の提案すべてが受理された場合、同じ検証パス内で生成されたターゲットの$(K+1)$番目の予測もコミットされ、「無料」のパッチを提供する。

4. シングルパス検証（Single-Pass Verification）

ターゲットモデルは、履歴と$K$個のドラフトパッチ$[h, x_1, \dots, x_K]$を連結したシーケンスに対して、単一の因果的フォワードパスを実行する。この単一パスにより、$K+1$個のプレフィックス境界のすべての予測が得られ、ブロック全体が並列に検証される。

主な貢献

1. 連続パッチのためのフレームワーク: 本論文は、ターゲットモデルの重みを変更することなく、TSFMのデコーディングにおける逐次的ボトルネックを取り除く、連続的なパッチ密度上でネイティブに動作する初の投機的デコーディングフレームワークを導入する。
2. 理論的保証:
   • スループット則: スループットが幾何学的な上限を持つことを示し、スループットの向上は受容率とドラフト対ターゲットのコスト比に依存することを導出した。これにより、最適なブロックサイズ$K$を選択するための計算可能な基準を提供する。
   • 忠実度境界（Fidelity Bound）: 加速された出力が、受容温度$\sigma$によって決定される、ターゲットのみのデコーディングの二乗誤差半径内に留まることを証明する。
   • 予測可能性: ホールドアウトデータを用いて、デプロイ前にスループット向上や失敗条件（例：ドラフトが高価すぎる、または受容率が低すぎる場合）を予測できることを示す。
3. 実証的検証: 5つの多様なTSFMファミリー（Timer-XL, TimesFM 2.5, Sundial, Time-MoE, TiRex）に対し、特定の事前学習（Timer-XLの蒸留版を除く）を必要としないドラフトを用いて実装・検証した。

実験結果

本手法は、標準的な長ホライゾン予測ベンチマーク（ETT, Weather, ECL, Traffic, Solar, PEMS）で評価された。

• スピードアップ: 本フレームワークは、5つのモデルファミリー全体で最大3.0倍の推論スピードアップを達成した。
• 精度: 加速された予測は、ドラフトとターゲットの間で精度を維持する。いくつかのケース（例：ETTm1におけるTime-MoE）では、投機的デコーディングはターゲットのみのベースラインよりも高精度であった。これは、ターゲットのシングルステップ予測への周期的な再アンカリングによる誤差蓄積の抑制に起因する。
• 動作点: 精度とスピードの間には、$\sigma$によって制御される単調なフロントが存在する。ターゲット対ドラフトのコスト比が大きいモデル（例：Time-MoE）では、高い受容率（最大97%）が観察された。
• 失敗分析: 以下の予測可能な失敗モードを特定した：
  • 精度のゲート: ドラフトがターゲットと同じ精度を持つ場合、投機はメリットをもたらさない。
  • コスト構造: ドラフトがターゲットに対して高価すぎる場合、または検証コストがブロックサイズに応じて悪化する場合（特定のデータセットにおけるTiRexに見られる現象）、スピードアップは失われる。

意義と主張

本論文は、投機的デコーディングがもはや離散的な語彙に限定されないことを主張している。受容、修正、および検証のメカニズムを連続的な出力向けに再構築することで、著者らはTSFMsのホライゾンにわたる逐次的なボトルネックを、並列化の機会へと変貌させた。

• トレーニングフリー: このアプローチは主にトレーニングフリーであり、ターゲットとドラフトの既存のチェックポイントを再利用する。
• 構成可能性: カーネルレベルの最適化（FlashAttentionなど）と組み合わせが可能であり、基盤モデルのアーキテクチャ変更を必要としない。
• 予測可能性: 展開前に、与えられたモデルペアとデータセットに対して投機が報われるかどうかを予測するための理論的基礎を提供し、本番環境での試行錯誤を回避する。

本研究は、出力が連続的であり、評価が通常は二乗誤差に基づく時系列予測において、平均伝播型かつ有界偏差型のアプローチが、正確な残差再サンプリングよりも優れていることを確立しており、リアルタイムの運用決定のための基盤モデルを加速するための実用的な道筋を提示している。