When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

この論文「When Verification Fails: How Compositionally Infeasible Claims Escape Rejection（検証が失敗する時：構成的に非実行可能な主張がいかにして拒絶を免れるか）」は、大規模言語モデル（LLM）による科学的な主張検証（Claim Verification）における構造的な欠陥を特定し、既存のベンチマークがモデルの真の推論能力を過大評価している可能性を指摘した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義：検証の「ショートカット」と構成的非実行可能性

背景:
科学的な主張検証は、証拠（Evidence）に基づいて主張（Claim）が導き出されるかどうかを判断するタスクです。厳密な検証基準として閉世界仮説（Closed-World Assumption: CWA）が求められます。CWA では、主張に含まれるすべての制約（Constraint）が証拠によって正しく支持されている場合にのみ「支持（Accept）」とし、いずれか一つでも支持されないか矛盾すれば「拒絶（Reject）」する必要があります。

既存ベンチマークの限界:
既存のベンチマーク（NLI4CT, SCITAB, SciVer など）では、非実行可能な主張（Negative Claims）を作成するために、単一の目立つ要素（数値の反転、トレンドの逆転、エンティティの入れ替えなど）を改変する「単一制約（Single-constraint）」アプローチが用いられています。
このアプローチでは、モデルが**「顕著な制約チェック（Salient-Constraint Checking）」**というショートカット戦略を採用していても、CWA を厳密に適用しているモデルと区別がつかないという問題が発生します。

• 顕著な制約チェック: 主張の中で最も目立つ（検出しやすい）制約のみをチェックし、それが矛盾していれば拒絶、支持されていれば受容する。
• 結果: 既存ベンチマークでは、モデルが「すべての制約をチェックする」か「目立つ制約だけをチェックする」かを判別できず、モデルの性能を過大評価してしまう可能性があります。

2. 手法：構成的に非実行可能な主張（Compositionally Infeasible Claims）の構築

この研究では、顕著な制約は支持されているが、非顕著な制約（複数の証拠を組み合わせた関係性など）に矛盾が含まれるような「構成的に非実行可能な主張」を新たに構築しました。

データ生成手法（グラフベースの敵対的構築）:

1. 3 層の推論グラフの構築: 既存のベンチマークから抽出した実行可能な主張と証拠に基づき、以下の 3 層のグラフを構築します。
   • 観測層（Observation Layer）: 証拠から直接取得可能な事実（5 ノード）。
   • 文脈層（Context Layer）: 観測事実を組み合わせた中間関係（3 ノード）。
   • 解釈層（Interpretation Layer）: 文脈を組み合わせた高次な結論（3 ノード）。
2. 敵対的改変（Corruption）: 観測層はすべて維持しつつ、文脈層または解釈層のノードを改変します（例：範囲のすり替え、過度な一般化）。
3. 主張の生成: 改変されたグラフから主張を生成します。これにより、主張の表面（顕著な部分）は証拠と一致しますが、複数の証拠を組み合わせることで矛盾が明らかになる「構成的な矛盾」を含みます。

この手法により、モデルが「顕著な制約チェック」しか行っていない場合、矛盾を見逃して誤って「受容」してしまうことを検出できます。

3. 主要な貢献

1. 既存ベンチマークの構造的限界の特定: 単一制約の改変では、厳密な CWA 検証と「顕著な制約チェック」というショートカットを区別できないことを理論的に証明しました。
2. 新しい評価データの構築: 3 つの異なるモダリティ（臨床試験テキスト、科学表、チャート）において、構成的に非実行可能な主張（Adversarial Negatives）を含むデータセットを構築しました。
3. 推論ボトルネックの解明: 既存ベンチマークで高性能なモデルでも、構成的な矛盾に対しては過剰に受容（Over-acceptance）してしまうことを実証し、これが戦略の選択ではなく、構成的推論能力の構造的な欠如（ボトルネック）であることを示しました。

4. 実験結果

評価対象:
GPT-5.4, GPT-4o-mini, Gemini-3.0-Flash, Claude-Sonnet-4.5 などの主要なプロプライエタリモデルと、Qwen3 ファミリーを、NLI4CT, SCITAB, SciVer の 3 つのドメインで評価しました。

主な発見:

• 性能のギャップ: すべてのモデルにおいて、標準的な非実行可能な主張（Standard Negatives）に対する精度は高いものの、構成的に非実行可能な主張（Adversarial Negatives）に対する精度は大幅に低下しました（例：Gemini-3.0-Flash は SCITAB で 15.0 ポイント、SciVer で 26.7 ポイント低下）。
• スケーリング則: モデルサイズを大きくしても（Qwen3 の 0.6B から 32B まで）、この性能ギャップは解消されませんでした。モデルは単純な矛盾検出は向上しますが、複数の情報を組み合わせた推論（Compositional Inference）には依然として失敗しています。
• 証拠条件の分析: 証拠を「観測事実のみ」「観測＋文脈」「完全なグラフ（解釈を含む）」として提供した実験では、完全なグラフを提供してもモデルは構成的推論を自力で行えず、解釈ノードが提供された場合にのみ正解率が向上しました。これは、モデルが事実を「検索」できないのではなく、「組み合わせる推論」ができないことを示しています。
• 介入実験（プロンプト）: 「閉世界仮説（CWA）」や「分解（Decomposition）」を指示するプロンプト介入を行いました。これによりモデルの受容・拒絶の閾値（ROC 曲線上の位置）は変化しましたが、構成的な矛盾に対する根本的な推論能力の向上には至らず、トレードオフ（受容精度の低下と拒絶精度の低下）が生じました。

5. 意義と結論

結論:
現在の LLM は、科学的な主張検証において、**「顕著な制約チェック」**というショートカット戦略をデフォルトで採用しており、閉世界仮説（CWA）に基づく厳密な検証を実行できていません。既存のベンチマークはこの欠陥を検出できず、モデルの能力を過大評価しています。また、この失敗は単なる戦略の選択ではなく、構成的推論（Compositional Reasoning）の構造的なボトルネックに起因しており、プロンプトエンジニアリングや閾値調整だけで解決できる問題ではありません。

意義:

• ベンチマークの再考: 科学的な事実確認やハルシネーション検出において、単一要素の矛盾だけでなく、複数の証拠を組み合わせた構造的な矛盾を検出できる評価指標の必要性を提起しました。
• モデル開発への示唆: 単なるデータ量の増加（スケーリング）や推論戦略の指導（Chain-of-Thought など）だけでは、CWA 的な厳密な検証は達成できない可能性を示唆しています。真の改善には、∀（全称）的な推論を必要とするタスクに対するトレーニングや、構成的推論能力そのものの向上が必要であると考えられます。
• 自己検証への応用: この「顕著な制約チェック」の傾向は、外部検証だけでなく、モデルが自身の出力を検証する「自己検証（Self-Verification）」の場面でも同様に観察されました。

この研究は、LLM の推論能力の限界を特定し、より信頼性の高い AI システムを構築するための重要な診断的ステップを提供しています。