技術要約：TimeBlocks: 基盤的かつ継続的な時系列ブロックベース手法

1. 問題提起

デジタル化された社会的・産業的プロセスから生じる時系列データストリームの急増に伴い、高度な能力を持ちつつ、リソース制約のあるエッジデバイス（例：車載コントローラ）でのリアルタイム処理が可能なほど軽量な解析手法が必要となっている。基盤的な大規模言語モデル（LLM）は多種多様なタスクの処理において成功を収めているが、時系列データへの直接的な適用には、以下の2つの決定的な限界がある：

1. モデルサイズと効率性： 既存の基盤的な時系列モデルは、ハードウェア制限のある環境に対して大きすぎることが多く、また、個別のケースごとに別々の専門モデルをデプロイすることなく、ヘテロジニアスな（異種混合の）タスクを扱う柔軟性に欠けている。
2. 効果的な継続的キャリブレーションの欠如： 大規模モデルは、計算上の制約から、通常、オフライン設定での一度限りのキャリブレーションしか行われない。しかし、データストリームは時間の経過とともに特性が変化する（例：季節性、環境の変化）ため、性能を維持するためには継続的なキャリブレーションが必要である。現在の大型モデルは、膨大な計算コストをかけることなく、蓄積されるストリームデータを用いて迅速に再キャリブレーションを行うことはできない。

核心となる課題は、複数の時系列タスクやデータセットを扱うことができ、かつ、ストリーミング環境における効率的な継続的キャリブレーションをサポートできる、多用途で軽量なモデルの構築を可能にするパラダイムを開発することである。

2. 手法

本論文では、単一の巨大なモデルを訓練するのではなく、事前学習されたモジュール化されたコンポーネントのプールから動的にモデルを構築するという新しいパラダイムである TimeBlocks を提案している。このフレームワークは、主に3つの段階で構成される。

A. Blockbaseの構築（事前学習）

TimeBlocksは、モノリシックなモデルではなく、交換可能な独立した時系列処理ブロックのレポジトリである Blockbase を利用する。

• ブロックアーキテクチャ： ブロックは、トレンドやサイクルを扱うためのパッチ構造によって強化された、小さなプロセッサ（例：MLP、LSTM、Attention）である。
• マルチスケール処理： ブロックは、広範なパターンから特定のパターンまでを捉えるために、2のべき乗に基づく減少パターンに従って、異なる粒度（スケール）でデータを処理するように設計されている。
• 出力の標準化： 各ブロックには標準化レイヤーが含まれており、入力スケールやデータセットに関わらず、出力を共通のベクトルサイズにマッピングして相互交換可能性を確保している。
• 多様性： Blockbaseが高度に多様であることを保証するため、ブロックは多種多様なデータセット、タスク（予測、補完など）、および設定（コンテキスト長、ホライゾン）にわたって事前学習されている。

B. Blockbase ルーティング（推論時のモデル構築）

新しい時系列データが到着すると、Router（ルーター） が、Blockbaseから最も適したブロックを選択することで、特化したモデルを反復的に構築する。

• クラスタリング： ブロックは、その「フィンガープリント」（第1層の重み）に基づく K-Means を用いてクラスター化されている。このフィンガープリントは、一意の識別子として機能する。これにより、ブロックはコンテキスト長や特性によって整理される。
• ルーティング・メカニズム： ルーターは、現在のモデル状態の残差出力（$r_p$）を受け取り、次の最適なブロックのフィンガープリント（$b^1_{p+1}$）を近似する。これは、残差とターゲットとなるブロックのフィンガープリントとの間の損失を最小化するように、補助モデルとして訓練される。
• 選択プロセス： ルーターは最適なクラスターを特定し、その後、類似性検索を通じてそのクラスター内の特定のブロックを選択する。このプロセスは、モデルのサイズ $J$（あらかじめ決定された予算）が組み立てられるまで繰り返される。このアプローチは、全ブロックを通じた最適経路を見つけるというNP困難な性質を、最適解に対して5/3の理論的近似境界を持つヒューリスティックを用いることで回避している。

C. StreamCore（継続的キャリブレーション）

データストリーム全体で再学習を行うことなく、効率的な継続的キャリブレーションを可能にするために、本論文では StreamCore を導入している。

• コアセット近似： StreamCoreは、データストリームの分布を保証する、データの代表的なサブセットを保持する。
• 低コストな更新： サブセットの結合を必要とする従来のコアセット手法（コスト $O(|S| \times |D_t|)$）とは異なり、StreamCoreは線形コストの更新戦略を使用する。サブセットのサイズに達した場合、新しい点が追加され、既存の点が（ランダムまたは距離に基づいて）削除され、多様性を維持する。
• キャリブレーション： 構築されたモデルは、StreamCoreのサブセットを用いて定期的にキャリブレーションされる。破滅的忘却を防ぐため、キャリブレーションステップ中、最後のブロックを除くすべてのブロックは凍結される。

3. 主な貢献

1. TimeBlocksパラダイム： 独立した、モジュール化され、スタック可能なブロックを使用して多用途な時系列モデルを構築するための新しいフレームワークであり、ゼロからの再学習なしに、推論時に特化したモデルの構築を可能にする。
2. StreamCore： データストリーム下での軽量モデルの継続的キャリブレーションのための、近似保証を持つ低コストな要約手法であり、計算オーバーヘッドを最小限に抑えつつデータの多様性を確保する。
3. 実証的検証： TimeBlocksが、複数のタスク（予測、補完、外れ値検知、分類）およびデータセットにおいて、既存のベースライン（専門化されたモデルや基盤的な大規模モデルを含む）を上回る性能を示すことを、広範な実験を通じて実証した。

4. 実験結果

著者らは、複数のデータセット（ETTh1/2、Weather、SMD、UCRなど）における4つのタスクについてTimeBlocksを評価した。

• 推論時の性能： TimeBlocksは、予測タスクにおいて最高の平均二乗誤差（MSE）を達成し、専門化されたモデル（Autoformer、PatchTSTなど）や基盤モデル（TimeMixer、Moment、TTM）の両方を上回った。コンテキスト長やブロックを自動的に選択することで、優れた柔軟性を示した。
• 継続的学習： 継続的な予測シナリオにおいて、TimeBlocksはキャリブレーション後に、ベースラインと比較して優れた性能を維持した。大規模な基盤モデルは、再キャリブレーションなしに新しいデータストリームに適用されると大幅な性能低下を示したが、TimeBlocksは効果的に適応した。
• タスクの汎用性： 本手法は、多くのベースラインが苦戦したり、タスク固有の訓練を必要としたりするタスク（補完、外れ値検知、分類）においても、強力な結果を達成した。
• 効率性とサイズ： TimeBlocksのモデルは最小のサイズ（例：$J=2$ ブロックの場合、TTMの約3 MBに対し、約1 MB）であり、最も短い推論時間を達成した。モデル構築時間は、ルーターとフィンガープリントベースの検索により、Blockbaseのサイズに対して対数的にスケールした。
• StreamCoreの有効性： データの5%のStreamCoreサブセットを使用した場合、ランダムな5%のサブセットを使用した場合と同等かそれ以上の性能が得られ、キャリブレーションのためのコアセット戦略の有効性が確認された。

5. 重要性と主張

本論文は、TimeBlocksが、多用途な基盤的時系列能力の必要性と、エッジコンピューティング環境の制約との間の決定的なギャップに対処していると主張している。モデルをモジュール化されたブロックに分解し、ルーティング戦略を利用することで、モデルは「中間的な解決策」を実現している。すなわち、リアルタイム展開が可能なほど小さく、かつ複数のタスクやデータセットを扱うのに十分な汎用性を備えたモデルである。さらに、StreamCoreの統合は、ストリーミング設定における継続的キャリブレーションの問題を解決しており、これは現在の大型基盤モデルにはほとんど見られない能力である。著者らは、このアプローチにより、大規模なモデルを訓練または維持するという計算負荷を負うことなく、インテリジェントな車両や産業用センサーに見られるようなハードウェア制限のあるデバイス上で、正確でリアルタイムな時系列解析のデプロイが可能になると断言している。