技術要約: Chat-TS: 時系列データと自然言語データのマルチモーダル推論の強化

問題定義

大規模言語モデル（LLM）は、時系列データが不可欠なヘルスケア、金融、輸送などの領域でますます導入が進んでいます。しかし、現在のLLMには、時系列データとそれに対応するテキスト内容を同時に統合して推論を行う能力が欠けています。既存のアプローチは、時系列データをテキスト形式に変換するか、モデルの重みに埋め込む手法をとっていますが、これらはモデル本来の自然言語理解（NLU）および推論能力を損なうことが頻繁にあります。さらに、この分野はマルチモーダルな学習データの不足と、時系列推論を評価するための大規模なベンチマークの欠如という課題を抱えています。

手法

著者らは、コアとなる言語能力を低下させることなく、時系列データとテキストデータの両方に対して推論を可能にするフレームワークとして、Chat-TSを提案しています。この手法は、主に以下の3つのコンポーネントで構成されています。

1. 離散化トークナイゼーションによる語彙拡張

時系列表現をテキスト埋め込みにマッピングするためのコネクタを使用する代わりに、Chat-TSは時系列トークンを含めるためにLLMの語彙を拡張します。

• トークナイザー: 連続的な数値時系列値を離散的なトークンに変換するための軽量な離散トークナイザーが導入されています。これは正規化された時系列の範囲 $[-s, s]$ を $K-1$ 個のビン（$K=8192$）に量子化し、チャネルの終端を示す特別なトークンを使用します。
• 利点: このアプローチにより、複雑なエンコーダー・デコーダー構造の学習を必要とせずに、時系列データ（特に1,000ポイント未満のシーケンス）のほぼ完全な再構成が可能になります。これは、分布外（out-of-distribution）の問題に陥りやすい複雑なアーキテクチャを必要としません。

2. 学習戦略

本フレームワークは、NLU能力を維持しながら時系列推論スキルを獲得するために、2段階の学習戦略を採用しています。

• フェーズ1（事前学習）: モデルは時系列トークンを用いて事前学習されます。ここでは、平均初期化（新しい埋め込みを既存のテキストトークンの平均に設定する）と、時系列事前学習（埋め込み層と最終線形層のみをアンフリーズする）という2つの初期化方法が検討されています。
• フェーズ2（指示チューニング）: デュアルデータセット戦略が使用されます。モデルは以下の組み合わせで微調整されます：
  • TS-Instruct: 時系列データとテキストの指示をペアにしたマルチモーダルデータセット。
  • Open-Orca: 純粋な自然言語指示の広範なコーパス。
    このインターリービング（交互配置）により、モデルは時系列に関する指示に従う方法を学びつつ、一般的な言語推論の強みを保持することができます。

3. データセットのキュレーション

データの不足に対処するため、著者らは3つの新しいデータセットを提供しています。

• TS Instruct 学習データセット: GPT-4o-miniを使用して生成された多様なマルチモーダルデータセットであり、現実世界の時系列データ（LOTSAおよびTime-Series Classification Archiveから取得）と、推論、分類、意思決定、数学的分析をカバーする合成的な対話指示を組み合わせています。
• TS Instruct QA Gold ベンチマーク: マルチモーダル推論能力を評価するために設計された、人間によって検証された1,056個の多肢選択式質問セット。
• TS Instruct 定量的プロービングセット: 数学および意思決定タスクを含む、定量的評価のためのサブセット。

主な貢献

1. 新しいデータセット: TS Instruct 学習データセットと TS Instruct QA Gold ベンチマークの公開は、マルチモーダルな時系列学習および評価に関する文献における決定的な空白を埋めるものです。
2. アーキテクチャ: 時系列トークンをLLMの語彙に直接統合する新しいアプローチであり、中間的なコネクタを排除し、モデル本来のテキスト生成および推論能力を維持します。
3. パフォーマンス: 提案手法は、強力な自然言語習熟度を維持しながら、マルチモーダル推論タスクにおいて最先端（SOTA）の性能を達成しています。

実験結果

実験は、Llama 3.1-8Bモデルをベースとして行われました。

• 時系列推論: TS Instruct QA Gold ベンチマークにおいて、Chat-TSは**67.22%のスコアを記録し、ベースとなるLlama 3.1-8B（54.22%）や、Phi-3-medium-4k（64.64%）などの他のベースラインを上回りました。これは、既存の最先端ベースラインに対して平均約13%**の向上を示しています。
• 汎用性: 学習データとは異なる反事実的推論タスクを含む合成データセットであるMCQ2TSでテストした際、Chat-TSはベースモデルの36.5%から**47.6%**へと向上し、性能の向上がデータセットの汚染によるものではないことを証明しました。
• NLUの保持: MMLU-Pro、Big-Bench-Hard、およびGPQAベンチマークにおけるアブレーション研究では、すべてのChat-TSバリアントがベースのLlama 3.1-8Bモデルの**±2%**以内の性能を維持していることが示されました。これにより、時系列推論の統合が自然言語能力を低下させないことが確認されました。
• アブレーション分析: 時系列データのみで学習されたモデル（テキストのインターリービングなし）は、指示への追従に苦戦しました。最良の性能は、Open-OrcaのテキストデータとTS-Instructのマルチモーダルデータを混合して学習したモデル（PreOrcaTS）によって達成され、モダリティをインターリーブすることの必要性が強調されました。

意義と限界

本論文は、Chat-TSがマルチモーダル推論の強力なベースラインを確立し、基礎的な言語スキルを犠牲にすることなく、LLMを時系列分析のために効果的に拡張できることを示していると主張しています。この研究は、オープンソースのモデル、データセット、およびコードによってサポートされた、テキストと時系列を扱うための統一されたフレームワークを提供します。

著者らは以下の特定の限界を認めています：

• 時系列生成: 現在のモデルは正確な時系列予測や生成に苦労しており、気象や金融予測などの領域におけるアプリケーションを制限しています。
• ゼロショット分類: ゼロショットの時系列分類における性能は弱く、しばしば推測や繰り返しに陥ります。
• スケーリング: 実験はアクセシビリティのために8Bパラメータモデルに限定されました。著者らは、データ量とモデルサイズを拡大することで、さらなる改善が得られる可能性が高いと考えています。

結論として、Chat-TSは時系列推論における最先端を進展させたものの、時系列ドメインにおけるマルチモーダルLLMの可能性を完全に実現するためには、将来の研究において生成能力と分類の堅牢性に対処する必要があると述べています。