技術要約: ODTQA-FoRe および TimeFore

問題定義

大規模言語モデル（LLM）における表形式質問応答（TQA）は急速に進展しているものの、既存のシステムは主に静的な履歴データの検索と推論に焦 Hare しています。これらは、将来指向の数値予測および予測に基づく推論を行う能力を欠いています。現在のオープンドメインTQA手法は、主に2つの制限に直面しています。(1) LLMは静的なテキストで学習されており、動的な時系列データを効果的にモデリングするメカニズムが不足していること、(2) オープンドメインのシナリオでは、システムは事前に提供された連続的な履歴データに依存できず、予測をサポートするために膨大なデータベースから関連データを自律的に検索しなければならないことです。

このギャップに対処するため、著者らは新しいタスクである Open-Domain Tabular Question Answering for Future Data Forecasting and Reasoning (ODTQA-FoRe) を導入しました。このタスクでは、システムに以下のことが求められます：

1. 大規模な候補テーブルのコーパスから、関連するテーブルを自律的に特定し、検索すること。
2. 取得した履歴データに対して時系列予測を実行すること。
3. 予測結果を合成して、直接的な将来予測や、それらの予測に基づく比較推論を含む複雑なクエリに回答すること。

メソドロジー

1. データセット構築: ODTQA-FoRe

著者らは、2022年から2024年にわたる中国の10都市の不動産取引データを使用して、このタスクのための最初のベンチマークデータセットを構築しました。

• 規模: このデータセットは、11,149件の不動産プロジェクトから派生した 28,507組のQAペア を含んでいます。
• 構造: 履歴データ（2022年〜2023年）を表す 288個のテーブル（平均845行）と、グラウンドトゥルース（正解）評価に使用される別の「将来」データベース（2024年）で構成されています。
• タスク分布: データセットには、8,042件の時系列予測問題（例：「来月の価格はどうなりますか？」）と、20,465件の予測に基づく推論問題（例：「どちらのプロジェクトの方が価格の上昇幅が大きくなりますか？」）が含まれています。
• 生成: クエリは、単一およびマルチプロジェクトのシナリオをカバーする26個のシードテンプレートを使用して生成されました。言語の多様性とリアリズムを高めるため、テンプレート生成されたクエリをLLM（Qwen2.5-72B）を用いて書き換え、その後に手動での検証を行いました。
• 分割: データ漏洩を防ぐため、プロジェクトレベルで（6:2:2の比率で）訓練、検証、テストセットに分割されています。

2. 提案フレームワーク: TimeFore

ODTQA-FoReの課題を解決するために、著者らは、問題を3つの協調的なロールに分解するLLMエージェントベースのフレームワークである TimeFore を提案しています。

• Retriever（リトリーバー）:

  • 機能: 関連するテーブルを特定し、履歴データを取得するためのSQLクエリを生成します。
  • メカニズム: 2段階の検索プロセスを採用しています。まず、LLMがfew-shotプロンプティングを用いて、ユーザーのクエリを標準的なテーブルキャプションへと要約します。直接的な一致に失敗した場合、BM25 アルゴリズムが最も意味的に関連性の高いテーブルを検索します。
  • SQL生成: エージェントはin-context learning（5-shot）を用いてSQLクエリを生成し、実行フィードバックループを採用します。sqlQueryToolを介してSQLを実行し、エラーが発生した場合はエラーメッセージに基づいてクエリを洗練させ、最大25回まで繰り返します。

• Forecaster（フォキャスター）:

  • 機能: 特化した外部モデルを呼び出すことで、時系列予測におけるLLM固有の弱点に対処します。
  • メカニズム: エージェントはシリアル化された履歴データ（プロジェクト名、月、価格）を受け取り、それを24ヶ月の数値リストとしてフォーマットします。その後、パイプラインをオーケストレートする事前定義された関数 imputationThenPredictionTool を呼び出します：
    1. 補完 (Imputation): TimesNet を使用して、履歴シーケンス内の欠損値を処理します。
    2. 予測 (Prediction): TimeXer を使用して、今後12ヶ月の価格を予測します。
  • 出力: 2024年の予測価格の構造化されたリストを返します。

• Analyzer（アナライザー）:

  • 機能: 履歴データと予測を合成して、最終的な標準化された回答を生成します。
  • メカニズム: まず、BERTベースの分類器を使用してクエリのタイプ（直接予測か、予測に基づく推論か）を分類します。
  • 推論: 分類に基づき、特定のプロンプト（5つの例を用いたin-context learning）を選択してLLMをガイドします。
  • 正規化: 専用の数値抽出モジュールにより、出力が簡潔かつ厳格にフォーマットされていること（例：必要な数値やプロジェクトのリストのみを抽出する）を保証し、LLMに特有の冗長な説明を防ぎます。

主な貢献

1. 新しいタスク定義: 本論文は、LLMベースのQAの範囲を、将来のデータ予測と推論にまで拡大するODTQA-FoReを定義しました。
2. ベンチマークデータセット: オープンドメインの表形式における時系列予測と予測に基づく推論をカバーする最初のデータセットである ODTQA-FoRe を導入し、重要なリソースの欠落を埋めました。
3. フレームワークの提案: 検索、予測、推論の課題に対処しながら、LLMと特化した時系列モデルの間の溝を効果的に埋める、協調的なエージェントフレームワークである TimeFore を開発しました。
4. 実証的検証: 5つの主要なLLM（Qwen3, GPT-OSS, GLM）にわたる強力なパフォーマンス・ベンチマークを確立し、ハイブリッドアプローチの必要性を実証しました。

実験結果

著者らは、Vanilla（BM25による検索とin-context learningを備えたLLMのみの構成）ベースラインおよび様々なスタンドアロンモデルに対して、Timeforeを評価しました。

• 予測性能: 特化した時系列モデルは、汎用的なLLMを大幅に上回りました。TimeXer は、Qwen3 30B（MRE: 0.1706）や GLM 4.5 Air（MRE: 0.1869）などの一般的なLLMと比較して、最高の性能（MRE: 0.1209）を達成しました。
• エンドツーエンドの性能: TimeForeは、すべての指標においてVanillaベースラインを大幅に上回りました。例えば、Qwen3 30Bモデルにおいて、TimeForeは予測に基づく推論のF1スコアを 24.87% から 60.25% に向上させ、予測MSEを約22%削減しました。
• アブレーション研究:
  • 予測がボトルネック: 研究により、時系列予測コンポーネントの精度が主要なボトルネックであることが明らかになりました。予測された将来データをグラウンドトゥルース（Golden Future）に置き換えると、最も大幅な性能向上（例：Qwen3 30Bで精度+46.80%）が得られましたが、完璧なテーブル検索やSQL生成による改善は限定的でした。
  • Retrieverの堅牢性: 2段階の検索方法（Summary + BM25）は高いF1スコア（>97%）を達成しており、データ取得が堅牢であり、エラーの主要な原因ではないことが確認されました。
  • Analyzerの必要性: Analyzerにおける数値抽出モジュールの重要性が判明しました。これを除去すると、Valid Completion Rateが大幅に低下しました（例：Qwen3 30Bで33.08%の低下）。

意義と主張

本論文は、ODTQA-FoReおよびTimeForeが、LLMが動的で将来指向の意思決定タスクを扱えるようにするための基礎的なステップであると主張しています。著者らは以下を強調しています：

• ハイブリッドアーキテクチャの不可欠性: 時系列予測をLLMのみに頼ることは不十分です。オーケストレーション、検索、推論にLLMを活用しつつ、予測を特化したモデルに委ねることが、より堅牢なフレームワークをもたらします。
• ベンチマークの空白: 本研究は、オープンドメインの表形式予測に関する最初の標準化されたベンチマークを提供し、将来の研究がこれらの能力を評価・改善することを可能にします。
• 実世界への適用可能性: 不動産ドメインに焦点を当てることで、本研究は投資や金融の意思決定におけるこのようなシステムの実際的な有用性を示していますが、フレームワーク自体はドメインに依存しない設計となっています。

著者らは、現在の不動産ドメインへの限定や、外生変数（例：マクロ経済政策）との統合の欠如といった限界についても謙虚に述べ、これらを今後の研究課題として特定しています。