技術的サマリー：時系列分析から質問応答へ：LLM 時代の調査

1. 問題定義

大規模言語モデル（LLM）を時系列分析（TSA）に統合することは、予測や異常検知などのタスクにおいて自然言語の能力を活用する新たなパラダイムをもたらしました。しかし、従来の TSA と LLM の間には根本的な隔たりが存在します。従来の TSA は、専門家主導のタスク固有のパイプライン（例えば、固定された予測または分類目的）と事前定義されたモデルに依存しています。これに対し、LLM は専門的な TSA の目的ではなく、質問応答における自然言語の関連性を最適化するように事前学習されています。

その結果、現在の TSA 手法は、深い解釈、キャプション生成、柔軟なユーザー主導の問い合わせといった「時系列言語タスク」を十分にカバーできません。この分野は、専門家主導のタスク固有の分析から、ユーザー主導のタスク統一型質問応答へと焦点を移す時系列質問応答（TSQA）へと進化しています。この進化には、数値的な時系列データと LLM の言語的推論能力の間を、効果的なアライメントを通じて橋渡しすることが求められます。

2. 手法：アライメントパラダイムの分類体系

本論文は、外部アライメントから内部アライメントへの移行に駆動された、既存の文献を 3 つの明確なアライメントパラダイムに分類する包括的な分類体系を提案します。これらのパラダイムは、時系列の修正（LLM 向けに時系列を適応させること）が必要かどうか、およびLLM のパラメータが学習されるかどうかという 2 つの次元によって定義されます。

2.1 注入型アライメント

• 定義: このパラダイムは、時系列データそのものや LLM 構造を変更することなく、数値時系列を直接テキストプロンプトに注入します。フリーズされた LLMを利用します。
• メカニズム: 数値系列はトークン埋め込みとして符号化されるか、テキスト時系列（$X_{Text}$）に変換され、プロンプトに追加されます。
• 最適化戦略:
  • インコンテキスト学習（ICL）: タスクのデモンストレーション（例：LVICL、LLMAD）を用いて LLM を誘導します。
  • 思考の連鎖（CoT）: 複雑なタスクを順序付けされた中間ステップに分解し、推論を強化します（例：LSTPrompt、TimerBed）。
• 特徴: 柔軟であり、LLM の外部で動作します。プロンプトの品質が重要なドメイン固有のアプリケーションに適しています。

2.2 ブリッジ型アライメント

• 定義: このパラダイムは、数値時系列とテキストプロンプトの間にマッピングを確立し、時系列の修正を導入しつつ、依然としてフリーズされた LLMを採用します。
• メカニズム: ブリッジモジュール（例：アダプター）が時系列を LLM と互換性のある埋め込み空間に投影します。
• 最適化戦略:
  • 類似性検索（SR）: 対照損失やリプログラミング空間を通じて数値表現とテキスト表現を整合させます（例：Time-LLM、Time-CMA）。
  • 低ランク適応（LoRA）: 事前学習済み LLM にパラメータ効率的な低ランク更新を導入し、ベースパラメータを変更せずにタスク固有の微調整を行います（例：HiTime、AutoTimes）。
• 特徴: コア LLM の外部での経済的な運用が可能です。整合された意味情報を通じて時系列の特徴を効果的に捉えます。

2.3 内部アライメント

• 定義: このパラダイムは、LLM の内部コンポーネントとパラメータを変更し、時系列の修正とLLM の学習を組み合わせます。
• メカニズム: 時系列表現（数値、視覚、または構造化された表）を強化し、時系列へのネイティブサポートを提供するために LLM の重みを更新します。
• 最適化戦略:
  • 再学習（RT）: 継続的な事前学習とインストラクションチューニングを通じて、時系列モダリティとテキストモダリティを統一します（例：ChatTime、ChatTS）。
  • 強化学習（RL）: 逐次的な結果から導出された報酬シグナルを用いて、LLM の振る舞いを時系列目的と整合させます（例：TimeSense、Alpha-R1）。
• 特徴: 汎用性のある深い内部アライメントを提供します。多大な学習リソースを必要としますが、複雑な推論に対する優れた適応性を提供します。

3. 主要な貢献

1. 概念的な区別: 本論文は、TSA（事前定義済み、専門家主導）とTSQA（統一型、ユーザー主導、柔軟な探索）を形式的に区別し定義し、後者を前者の進化として位置づけます。
2. 統一された分類体系: TSA から TSQA への進化を網羅する 3 つのアライメントパラダイム（注入型、ブリッジ型、内部型）の分類体系を提案します。これにより、以前は孤立していた研究が、アライメント戦略に基づいた統一フレームワークに統合されます。
3. 実践的ガイダンス: 計算コスト、データの利用可能性、汎用性の必要性などの制約に基づいて、アライメントパラダイムを選択するための実行可能なガイダンスを提供します。
4. データセット分析: 医療、金融、IoT、一般といったドメイン全体、および時系列パターン、空間的多変量、マルチモーダル表現といった特性にわたる代表的なデータセットを分析し、数値、テキスト、視覚表現の間のトレードオフを浮き彫りにします。
5. 課題の特定: データセットにおける推論監督の欠如、明示的タスクから暗黙的タスク抽出への移行、および LLM における数値的ハルシネーションの問題など、重要な課題を特定します。

4. 結果と観察

本調査は 50 の関連研究を統合し、以下の分布に関する観察を提示します。

• パラダイム分布: ブリッジ型アライメントが文献の 50% を支配しており、次いで注入型アライメント（26%）、内部アライメント（24%）が続きます。
• タスク分布: 従来のTSAタスクが文献の 60% を占める一方、TSQAタスクは 40% を占めています。
• ドメインカバレッジ: 一般ドメイン（特定の焦点なしに複数のドメインで評価されたもの）が文献の 74% を表し、次いで医療（10%）、金融（8%）、IoT（8%）が続きます。
• 最適化戦略: **類似性検索（SR）**が最も一般的な戦略（36%）であり、次いで直接注入、LoRA、その他が続きます。
• 進化的傾向: 2024 年から 2025 年にかけて、TSQA 文献の成長率は TSA を上回りました。さらに、内部アライメントは研究活動の最も顕著な増加を示しており、より統合された学習可能なソリューションへの傾向を示しています。

5. 意義と将来の方向性

本論文は、TSA と TSQA を孤立した分野ではなく、アライメントパラダイムによって駆動される進化的連続体として捉える初の調査を提供する点に意義があると主張しています。柔軟でユーザー主導の時系列推論を達成するためには、外部アライメント（注入型/ブリッジ型）から内部アライメントへの移行が不可欠であると論じています。

特定された将来の方向性:

• データ: 推論監督の欠如を克服するため、明示的な推論トレースと多様な時系列行動を含む大規模なマルチドメイン TSQA データセットを開発すること。
• タスク: 明示的なタスク指定からユーザー意図の暗黙的抽出へ移行し、時系列スライシングなどの専用時系列ツールを TSQA フレームワークに統合すること。
• 手法: 数値的ハルシネーションと限られた適応性に対処すること。将来的な研究では、計画と自己反省のためのマルチエージェントメカニズムを探求し、連続値予測における誤差をアライメントパラダイムがどのようにより効果的に軽減できるかを調査すべきです。

著者らは結論として、TSA が効果的なタスク固有のソリューションを提供する一方で、TSQA はデータ品質、タスク定義、モデルの堅牢性に関するアライメントの課題が解決されれば、時系列理解のためのより直感的で統一されたパラダイムを提供すると述べています。