CLAIMDB: 大規模構造化データに基づく事実検証ベンチマーク

本論文「CLAIMDB: A Fact Verification Benchmark over Large Structured Data」は、現実世界の事実検証タスクにおいて、大規模な構造化データ（数百万件のレコードや複数のテーブル）を証拠として扱う際の課題に焦点を当て、新しいベンチマーク「CLAIMDB」を提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

現実世界の事実検証（ファクトチェック）は、政府の発表、医療データ、経済指標など、大規模な構造化データに基づいた主張を検証するケースが頻繁にあります。例えば、インフレ率や犯罪統計に関する政治的な主張は、数百万件のレコードを含む公式データベースから導き出されます。

既存研究の限界

これまでの事実検証ベンチマーク（FEVER, TabFact など）は、主に Wikipedia の記事や小さなテーブルに依存しており、証拠となるデータが LLM（大規模言語モデル）のコンテキストウィンドウ内に収まるサイズでした。しかし、現実の大規模データ（数百万レコード、110M トークン規模）は、LLM が直接「読み込んで」推論するには規模が過ぎます。

• 課題: 既存の「コンテキスト内読み込み（in-context reading）」アプローチは、大規模データでは機能しません。
• 必要なアプローチ: 実行可能なプログラム（SQL クエリなど）を用いた推論（Executable Reasoning）への移行が不可欠ですが、これを評価する標準的なベンチマークが存在しませんでした。

2. 提案手法：CLAIMDB ベンチマーク

CLAIMDB は、大規模な実世界のデータベースに基づいて主張を検証するタスクを定義したベンチマークです。

データセットの構築パイプライン

1. BIRD ベンチマークからの派生: 自然言語から SQL への変換タスク（NL-to-SQL）である BIRD ベンチマークを基盤とします。
2. クエリのフィルタリング: 単一のレコードを返す単純な検索クエリを除外し、集約（AVG, SUM, MAX）、ソート、ウィンドウ関数、または 3 つ以上のテーブルを結合する「構成的（compositional）」なクエリのみを抽出します。これにより、主張の検証にはデータベース全体を跨ぐ複雑な推論が必要になります。
3. 主張の生成:
   • Entailed（導出可能）: 正解に基づき真となる主張を生成。
   • Contradicted（矛盾）: 正解と矛盾する主張を生成。
   • NEI（情報不足）: データベースのスキーマ外、主観的、または反事実的（What-if）な主張を生成し、データベースだけでは判断できないケースを作成。
4. 品質管理（LLM ジャッジ）: 複数の LLM（Mistral, Microsoft, xAI 系）をジャッジとして用い、ラベルの正確性、自己完結性（メタ参照の有無）、スキーマ漏洩の有無などを厳格に評価し、不純物を除去します。
5. NEI クレームのフィルタリング: 生成された NEI クレームのうち、データベースの概念から「離れすぎている（類似度が低い）」ものを除外し、より難易度の高いテストセットを構築します。

データセット統計

• 総数: 53,368 の主張。
• ラベル分布: Entailed (12,855), Contradicted (16,529), NEI (23,984)。
• 規模: 80 のユニークな実世界データベースを使用。各主張は平均 11.3 テーブル、460 万件のレコード、約 1.1 億トークンの証拠に依存しています。
• ドメイン: 経済、医療、教育、スポーツ、ガバナンスなど 11 の主要ドメインを網羅。

3. 評価手法と実験設定

• 対象モデル: 30 種類の SOTA モデル（GPT-4/5, Claude, Gemini, Qwen, Llama, Mistral などのプロプライエタリおよびオープンソースモデル、70B 以下）。
• アーキテクチャ: 大規模データへの直接読み込みは不可能なため、ツール呼び出しエージェントとして評価しました。
  • 各エージェントは、関連するデータベースに対して任意の SQL クエリを実行できる 1 つのツール（MCP ツールボックス）のみを使用します。
  • 最大 20 回のツール呼び出しが許容されます。
• 評価指標: 精度（Accuracy）と Macro-F1（Entailed, Contradicted, NEI の各クラスの調和平均）。

4. 主要な結果

性能の限界

• 全体的な低性能: 評価された 30 モデルのうち、半数以上（17 モデル）が 55% 未満の精度しか達成できませんでした。
• トップモデル: 最も性能が高かったのは gpt-5-mini（精度 82.7%）で、次いで claude-haiku-4.5（80.9%）、gemini-3-flash（80.1%）でした。
• オープンソースモデルの課題: gpt-oss-20b を除き、オープンソースモデルはプロプライエタリモデルに比べて性能が低く、20 モデル中 19 モデルが 68% 未満の精度にとどまりました。

重要な発見

1. 推論の失敗: 上位モデルでも、SQL クエリの構文エラーは少ないものの、複雑なデータ構造を跨ぐ論理的な推論（どのテーブルをどう結合するか、どの集約を行うか）において失敗しています。
2. ツール呼び出しの回数の重要性: 性能が最も高いモデルは、平均して 4〜8 回のツール呼び出しを行っていました。回数が少なすぎると（データを見ていない）、多すぎると（文脈の混乱やエラーの蓄積）性能が低下しました。
3. NEI（情報不足）への対応の偏り:
   • プロプライエタリモデル: NEI と答えることを極端に嫌う傾向があり、実際には NEI であるケースでも Entailed や Contradicted と誤って判断する（棄権しない）傾向が見られました。
   • オープンソースモデル: 逆に、NEI と答えることを過剰に行う傾向があり、実際には判断可能なケースでも「情報不足」として棄権してしまいました。
   • 結論: どちらの傾向も高リスクな事実検証タスクでは信頼性が低いことを示しています。
4. データ汚染の排除: 外部ツールなし（パラメトリック知識のみ）で評価したところ、性能はランダムレベル（精度 36.7%）に落ち込んだため、データ汚染は起こっていないと確認されました。

5. 主要な貢献と意義

1. 新しいベンチマークの提案: 大規模な構造化データ（数百万レコード）を証拠とする事実検証タスクを初めて体系化した CLAIMDB の公開。
2. 実行可能推論の必要性の証明: 単なる「読み込み」では解決できず、SQL などの実行可能プログラムを用いた推論が必須であることを実証。
3. LLM の限界の可視化: 現在の SOTA モデルでも、大規模データに基づく複雑な事実検証において、特に「棄権（Abstention）」の判断や、多段階の推論において重大な課題を抱えていることを明らかにしました。
4. 将来の研究方向: 高リスクな意思決定支援システムにおいて、LLM の信頼性を高めるためには、より堅牢な推論アーキテクチャと、適切な棄権メカニズムの開発が急務であることを示唆しています。

結論

CLAIMDB は、現実世界の複雑なデータ環境における事実検証の難しさを浮き彫りにし、LLM の能力限界と今後の研究課題を明確に示す重要なベンチマークです。特に、大規模データ処理における「実行可能推論」の重要性と、モデルの「棄権」行動の偏りが、高信頼性システムの実現におけるボトルネックとなっていることが示されました。