CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

技術的サマリー：CommonWhy

問題定義
大規模言語モデル（LLM）は、事実知識や一般的な常識の符号化において高い能力を示してきたが、実世界における因果関係や制約に関する実体ベースの常識推論能力については、依然として十分に評価されていない。実体ベースの推論に関する既存のベンチマーク（StrategyQA、CREAK など）は、主に演繹的検証やパターンマッチングをテストする真偽問題や多肢選択形式に依存している。これらのデータセットは、「なぜ」という問いに対する回答において、帰納的推論（最良の説明への推論）の能力を明示的に評価できていない。さらに、知識グラフ質問応答（KGQA）データセットは存在するものの、それらは主にファクトイドの検索や多段の事実連鎖に焦点を当てており、事実知識と暗黙の常識的仮定を統合して因果説明を生成するという要件が欠けている。

手法
著者は、実体ベースの因果的常識推論を評価するために設計された 15,000 件の「なぜ」質問からなるデータセットCommonWhyを導入する。データセットの構築は、以下の 3 段階のパイプラインに従う。

1. 公理生成：単純な検索で回答可能な質問になりがちな抽出ベースの手法の限界を克服するため、著者は LLM（GPT-5.1）を活用して「リフトされた」常識的公理を生成する。既存データセット（StrategyQA、CREAK、CoLoTa）から抽出された公理のシードセットを出発点とし、LLM にこれらの公理を創造的に拡張して新しい因果構造へと展開させるよう指示する。生成された公理は、人間の注釈者によって厳格にフィルタリングされ、人間の常識と整合していることを保証する。
2. クエリ生成：検証済みの公理を抽象的な質問 - 回答ペアとして書き換える。その後、Wikidata知識グラフからの具体的実体を用いて抽象変数を具体化（インスタンス化）することで、これらを現実世界に接地させる。著者は SPARQL クエリを使用して、公理の特定の事実的制約を満たす実体を検索し、必要なすべての事実知識が Wikidata 内に存在することを保証する。生成されたクエリは、流暢で自然な言語の「なぜ」質問へと書き換えられる。
3. 多回答注釈：実世界の因果効果はしばしば複数の妥当な説明を許容するという認識に基づき、データセットは多回答形式を採用する。人間の注釈者は、各クエリに関連する Wikidata サブグラフを検査し、事実と常識的仮定によって支えられたすべての妥当な因果説明を特定する。複数の注釈者によって合意された原因のみが、正解（グラウンドトゥルース）として保持される。

データセットは、実体の人気度（Wikidata のトリプル数）に基づいてHead（人気実体）とLong-Tail（長尾実体）のサブセットに分割され、異なるレベルの実体の既知性におけるモデルの堅牢性を評価する。

主な貢献

• CommonWhy データセット：帰納的、実体ベースの因果推論を評価するために設計された初の大規模データセット。事実検索と暗黙の因果推論を組み合わせることを要求することで、常識推論と KGQA の間のギャップを埋める。
• 新たな KGQA パラダイム：事実検索をテストする従来の KGQA ベンチマークとは異なり、CommonWhy は知識グラフ上の説明駆動型推論のベンチマークを確立する。ここでは、答えは KG の事実と常識的公理を統合して合成する必要がある。
• 多回答グラウンドトゥルース：データセットは、各クエリに対して複数の妥当なグラウンドトゥルース回答を提供することで、因果推論の非一意性を明示的にモデル化し、単一回答の制約を超えている。

実験結果
著者は、CommonWhy 上で最先端の LLM（GPT-5.1、Gemini-2.5-Flash、Llama-3.3-70B、OpenAI-o3、DeepSeek-V3.2 を含む）および LLM ベースの KGQA 手法（KB-Binder、KGR）を評価した。主な知見は以下の通りである。

• 推論の限界：最も強力な推論モデルでさえ、このタスクに苦戦している。最高性能を示した OpenAI-o3 でさえ、Head セットで約 68%、Long-Tail セットで約 67% の正解率にとどまった。他のモデルは著しく低い性能を示した（例：DeepSeek-V3.2 は約 41%）。
• 指標の不一致：標準的な長文生成指標（BERTScore、ROUGE-L、METEOR）は、因果の正しさを示す指標として不適切であることが判明した。Gemini-2.5-Flash のようなモデルは高い語彙的類似性スコアを達成したが、論理的正しさが低く、表面的な流暢さが妥当な帰納的推論とイコールではないことを示唆している。
• 実体人気度の影響：Head から Long-Tail 実体へ移行するにつれて、性能は一貫して低下した。これは、背後にある推論パターンが同一であっても、実体の人気度が推論の堅牢性に影響を与えることを確認するものである。
• ハルシネーション：モデルが論理的に正しい回答を生成した場合でも、FActScore によって測定されるように、事実的ハルシネーション（根拠のない原子的事実の主張）を頻繁に示した。この問題は Long-Tail 実体においてより顕著であった。
• KGQA の不十分さ：既存の KGQA 手法はこのタスクに適応できなかった。クエリを SPARQL に変換する KB-Binder は、SPARQL が「なぜ」質問に必要な暗黙の常識を捉えられないため、性能が低かった。KGR は直接プロンプトによる手法と比較して有意な改善を示さず、現在のパイプラインが帰納的因果推論には不十分であることを示している。

意義
本論文は、CommonWhy が現在の LLM の能力における重要なギャップを明らかにしていると主張している。すなわち、既存の演繹的または検証ベースの常識ベンチマークでの成功は、実体ベースの設定における帰納的因果推論には転移しないということである。事実知識（Wikidata）が必要であるが、常識推論なしでは不十分であるというベンチマークを確立することで、CommonWhy は将来の研究のための挑戦的なテストベッドを提供する。それは、事実検索から説明駆動型推論への KGQA 評価の転換をマークし、事実検索と暗黙の因果推論を統合して実世界と効果的に相互作用できる新たな手法の必要性を浮き彫りにしている。