技術要約：CRAFT – 統一された反事実的推論フレームワーク

1. 問題提起

表形式のデータに対する推論は、大規模言語モデル（LLM）にとって依然として重要な課題であり、特に長文かつ構造化された表データに対して多段階の推論を必要とするタスクにおいて顕著です。既存のアプローチの多くは、モデルが仮説を生成し、それを表に対して検証するという単方向の推論に依存しています。この一方向的なアプローチは、モデルが代替となる仮説を探索する能力を制限し、結果としてエラーの検出や反事実的なシナリオの検討に失敗する、脆弱な推論を招くことがよくあります。さらに、現在の手法は異なるバックボーンLLM間での性能差に悩まされることが多く、表形式の質問回答（QA）と表形式の事実検証（FV）を単一のパラダイムの下で統一することにも苦慮しています。

2. 手法：CRAFTフレームワーク

著者らは、QAとFVの両方に適用可能な一般的なフレームワークへと表形式の推論を再定式化する、統一された双方向検証プロセスであるCRAFT（Counterfactual Reasoning Framework：反事実的推論フレームワーク）を提案しています。このフレームワークは、4つの協調的なモジュールを通じて動作します。

2.1 Rewriter（書き換え器）

Rewriterは、オープンエンドな表形式QAタスクを、情報量が多く検証可能な宣言的文へと変換します。

• メカニズム: 正解（グラウンドトゥルース）にアクセスすることなく、質問のセマンティクスから期待される回答タイプ（例：数値、時間、真偽値）を推論します。その後、宣言的文（$S$）をインスタンス化するために、表から型一致する候補値をサンプリングします。
• 目的: これにより、QAとFVの間のギャップを埋め、両方のタスクを文ベースの検証問題として処理することを可能にします。

2.2 Reverser（逆転器）

Reverserは、宣言的文 $S$ に基づいて、最適な反事実的文（$R^*$）を構築します。

• メカニズム: 単純なバイナリ否定を行うのではなく、Reverserは複数の反事実的な方向性を探索します。ルールベースのテンプレートを用いて候補となる反事実的文を生成し、どの候補が推論空間において最大の構造的拡張（生成されたSQLスタイルの検証プログラムの複雑さによってプロキシされる）を誘発するかを評価することで、最適な候補（$R^*$）を選択します。
• 目的: 初期の前提に異議を唱え、代替のシナリオを探索する補完的な推論パスを作成することです。

2.3 Extractor（抽出器）

Extractorは、元の文（$S$）と反事実的文（$R^*$）の両方について、表に基づいたステップバイステップの推論を実行します。

• メカニズム: 2つの推論トレース、$Trace(S)$と$Trace(R^)$を生成します。これらのトレースから証拠アイテム（$e$）を抽出し、それらが表および質問のコンテキストと論理的に整合しているかを評価します。有効な証拠は蓄積され、証拠セット$E(S)$および$E(R^)$ を形成します。
• 目的: 本来の事実および反事実的な仮定の下での本質的な支持証拠を蒸留し、候補となる回答（$A_1$ および $A_2$）を生成することです。

2.4 Rethinker（再考器）

Rethinkerは、証拠と候補回答を集約して最終決定を下します。

• メカニズム: もし $A_1$ と $A_2$ が一致する場合、その回答を返します。両者が異なる場合、このモジュールは各（回答, 証拠）ペアに対して自己整合性スコアを計算します。重み付け決定ルールを採用し、曖昧な場合には、推論の整合性をテストするために反対の証拠の下で候補を再評価します。
• 目的: 両方の推論パスからの証拠の強さを加重することで、検証された最終決定を合成することです。

3. 主な貢献

1. 統一されたフレームワーク: CRAFTは、表形式のQAと表形式の事実検証を、共有された反事実的推論パラダイムの下で統一する最初のフレームワークであり、タスク固有のパイプラインエンジニアリングの必要性を排除します。
2. 双方向の推論: 宣言的文と反事実的文の両方を明示的に構築し、それらに対して推論を行うことで、本フレームワークは単方向推論の限界を克服し、LLMをよりヒューリスティックで洞察力のある推論へと導きます。
3. モデル間の堅牢性: 本フレームワークは、異なるバックボーンLLM間の性能差を大幅に緩和します。これは、反事実的推論がモデル固有の最適化ではなく、一般的なヒューリスティックとして機能することを示しています。

4. 実験結果

著者らは、多様なバックボーンLLM（Deepseek-R1-14B、Qwen2.5-72B、Llama3.3-70B、GPT-5-mini）を用い、2つの標準的なデータセットである WikiTQ（表形式QA）と TabFact（事実検証）でCRAFTを評価しました。

• 性能向上: CRAFTは、代表的なベースライン（Chain-of-Table、Table-Critic、Binderを含む）を一貫して上回りました。
  • WikiTQにおいて、平均精度**82.4%**を達成し、最強のベースラインを4.7ポイント上回りました。
  • TabFactにおいて、**94.6%**を達成し、最強のベースラインを1.1ポイント上回りました。
• モデル非依存性: 特筆すべきは、CRAFTを使用した場合にモデル間の性能階層が逆転したことです。例えば、標準的な設定では通常QwenがLlamaを上回りますが、CRAFTを使用するとLlama3.3-70BがQwen2.5-72Bを上回りました。
• アブレーション研究:
  • RewriterとReverserの両方のモジュールがプラスに寄与しており、その組み合わせが最良の結果をもたらしました。
  • 改善は単なるサンプリングの繰り返しによるものではありませんでした。CRAFTはSelf-ConsistencyやConfidence-Weighted投票法よりも優れた性能を示しており、これは推論の「方向性」（多様な意味領域の探索）がサンプルの「量」よりも重要であることを示しています。
  • 本フレームワークは、異なる表のサイズに対して優れた堅牢性を示し、特に単方向推論が劣化しやすい大きな表においてその傾向が顕著でした。

5. 意義と主張

本論文は、CRAFTが構造化された推論タスクのための、より原理的なパラダイムを確立していると主張しています。反事実的分析を明示的に統合することで、本フレームワークはLLMを固定された推論パターンから、より堅牢でエビデンスに基づいた推論へと導く助けとなります。

著者らは、反事実的推論が単方向推論の脆弱性を効果的に解決していることを強調しています。本フレームワークは大きな可能性を示している一方で、著者らは以下の限界についても謙虚に認めています。

• 表形式データのロングコンテキスト要件のため、実験は大規模モデル（14Bパラメータ以上）に限定されています。
• 現在の実装は表形式の推論に特化しており、意味的な一貫性の確保が困難であるため、他のドメイン（テキストベースのQAなど）への汎用化には課題が残っています。
• Rethinkerモジュールは効果的ではあるものの、まだ反事実的推論のポテンシャルを完全には引き出しきれておらず、さらなる洗練が必要です。

結論として、CRAFTは、反事実的推論を通じて代替の仮説を探索するようにLLMを導くことが、構造化データの理解を強化するための実行可能かつ効果的な戦略であることを示しています。