技術的サマリー：Fidel-TS：時系列予測のための高忠実度マルチモーダルベンチマーク

問題提起

時系列予測モデルの評価は、現在、高品質なベンチマークの欠如によって阻害されており、モデルの進歩が過大評価される結果を招いています。既存のベンチマークは、主に以下の 3 つのカテゴリーの問題に苦しんでいます：

1. 単一モーダルな限界：従来のデータセット（ETT、ECL、M4 など）は、規模が小さく、時代遅れであり、変数の構成が曖昧であることが多くあります。特に、これらが長期間にわたり公的に利用可能であったことは、大規模言語モデル（LLM）にとって事前学習汚染の重大なリスクを生み出しており、その予測能力を過剰に膨らませる可能性があります。
2. マルチモーダルな欠陥：初期のマルチモーダルベンチマーク（TimeMMD など）は、汚染リスクを引き継ぎ、新たな方法論的失敗を導入しています。これらは往々にして、過去に遡って取得されたテキストデータ（ニュース、レポートなど）に依存しており、時間的リーク（未来情報のアクセス）や記述リーク（テキストが真値を明示的に記述すること）を引き起こします。さらに、これらは頻繁に低頻度データ（月次/週次）を利用しており、データ量に限界があり、複雑な高頻度シナリオの評価を妨げています。
3. 構造的曖昧さ：既存のベンチマークは、「対象（Subjects：特定のセンサーや地域など）」と「チャネル（Channels：変数など）」を明確に区別することに失敗しており、システム内の新しい未観測対象へのモデルの汎化能力を厳密に評価することが困難です。

手法：Fidel-TS フレームワーク

これらの欠点を克服するため、著者らは高忠実度ベンチマーキングの 3 つの中核原則を形式化し、それらに基づいて構築された新しい大規模ベンチマークFidel-TSを提案します。

中核原則

1. データソースの完全性：このベンチマークは、リアルタイムで認証保護された API データストリームのみを利用します。これにより、データの鮮度、充足性、高頻度（1 時間未満）が保証されるとともに、公開リポジトリではなく制限付き API からデータをソースすることで、事前学習汚染を本質的に軽減します。
2. リークフリー設計：テキストモーダルは、検証可能なスケジュールされた外生的情報（天気予報や保守スケジュールなどの制御イベントなど）に限定されます。これにより、予測タイムスタンプ時点で利用可能なテキストデータが厳密に検証可能となり、オープンエンドなニュース検索に共通する時間的リークや記述リークが防止されます。
3. 構造的明確性：このベンチマークは、対象（センサーや部屋などの異なる実体）とチャネル（速度や温度などの変数）の間に厳格な境界を設けます。このアーキテクチャにより、観測された対象で学習し、保持された未観測の対象でテストすることで、汎化能力の厳密な評価が可能になります。

データキュレーションパイプライン

Fidel-TS の構築には、生 API ストリームを構造化データセットに変換するパイプラインが含まれます：

• 不完全性の処理：現実世界のセンサーノイズや欠損値は保持されます。短いギャップは補間され、長いギャップは「センサーダウンタイム」イベントとして扱われ、ゼロ値と対応するテキスト記述（例：「センサーダウンタイム」）でマークされます。これにより、データ品質の問題が文脈特徴に変換されます。
• テキスト統合：静的メタデータ（データセット/対象/チャネルの説明）と、動的で時間整合性の取れたイベント（天気、制御ログ）は、動的イベントデータベースに統合され、数値タイムスタンプとの厳密な時間整合性が保証されます。
• 評価シナリオ：このベンチマークは、複数のデータセットバリエーションを提供します：
  • -h：均一化のために 1 時間頻度にダウンサンプリングされます。
  • -mini：LLM 評価を計算的に実行可能にするために、マルチモーダル依存性で層化された重要度サンプリングを通じて作成された小規模なサブセットです。バイアスを導入することなく LLM 評価を可能にします。
  • -obs / -hid：対象レベルの汎化（新しいセンサー/部屋へのゼロショット転送）を評価するための、観測（学習）と非観測（テスト）のサブセットです。

主要な貢献

1. 原則の形式化：本論文は、データの完全性、リークフリー設計、構造的明確性を強調する、高忠実度時系列ベンチマーキングのための形式化されたフレームワークを確立します。
2. Fidel-TS のリリース：太陽光発電、再生可能エネルギー、大気物理学、交通、電力網、HVAC など、多様なドメインにまたがる新鮮で高頻度、リークフリーのデータを含む新しい大規模ベンチマークの導入。
3. 統合評価フレームワーク：多様なモーダル（単一モーダル、マルチモーダル、LLM ベース）およびアーキテクチャと互換性のある包括的なフレームワークにより、予測モデルのスペクトル全体での公平な比較を可能にします。

実験結果

著者らは、ドメイン固有の単一モーダルモデル（DLinear、PatchTST、iTransformer）、基盤モデル（Chronos、TimeMoE、Sundial）、マルチモーダルモデル（GPT4MTS、FIATS）、および各種 LLM（Qwen シリーズ、DeepSeek-R1、Chattime）を含む広範なモデルを評価しました。

主要な知見

1. 単一モーダル性能：単一の単一モーダルモデルがすべてのデータセットで一貫して優位に立つことはありません。さらに、時系列基盤モデル（TSFMs）は、主張されている堅牢なゼロショット予測能力を示すことができません。予測期間が延長するにつれてその性能は著しく低下し、特定のデータセットで学習された専門モデルよりも劣ることが多いです。
2. マルチモーダルな利益：マルチモーダル予測の有効性は、モデルアーキテクチャとテキスト入力の関連性に強く依存します。FIATSのような、予測期間内のテキストを明示的な状態ガイダンスとして活用するモデルは、最先端の性能を達成します。一方、テキストを単なる歴史的共変量として扱うモデル（GPT4MTS など）は、単一モーダルベースラインに後れを取ることが多いです。アブレーション研究により、モデルがテキストを汎用的な正則化子として扱うのではなく、意味的コンテキストを積極的に活用していることが確認されました。
3. LLM の限界：LLM の性能は一般的な推論能力と相関していますが、ドメイン微調整された変種さえも不安定です。現実的で、文脈に富み、リークフリーの長期的設定において：
   • 直接プロンプティングを採用する LLM は、深刻な精度と信頼性の問題に直面します。
   • パス率は、予測期間の延長、多変量入力、および高密度なテキストコンテキストとともに大幅に低下します。
   • ほとんどの LLM は専用予測モデルに遅れをとっており、これは以前のベンチマークが過度に単純化されたタスクを提供していたか、データリークに苦しんでいたことを示唆しています。

意義

本論文は、Fidel-TS が以前のベンチマークとは異なる性能の風景を明らかにし、先行研究に内在する評価バイアスを暴露していると主張します。厳密でリークフリーな基準を確立することにより、著者らは以下のことを目指しています：

• LLM やゼロショット基盤モデルに関するモデル能力の過大評価を是正する。
• 対象レベルの分割を通じて、汎化能力のより現実的な評価を提供する。
• 研究コミュニティに対し、現実世界の展開シナリオと整合する、より信頼性が高く、真に汎用可能なベンチマーキング手法の開発を促す。

この研究は、時系列予測における進歩は明らかであるものの、現在の評価基準はモデルの進歩に追いついておらず、Fidel-TS で提示された高忠実度アプローチが必要であると結論付けています。