技術的概要：グループ相対方策最適化による構造的因果モデルへの根拠付けとしての多段推論の定着

1. 問題定義

多段事実検証（MHFV）は、モデルが複数のソースから離散的な証拠を抽出し、複雑な主張を検証するために一貫した推論連鎖を統合することを要求する。大規模言語モデル（LLM）はこの分野に統合されてきたが、重大な限界に直面している：

• 論理的脆弱性: 教師あり微調整（SFT）や思考連鎖（CoT）アプローチを含む既存の手法は、厳密な論理メカニズムではなく統計的相関を学習することが多い。これにより、分断された論理連鎖と「幻覚的な推論」が生じる。
• 因果モデルの欠如: 現在のフレームワーク（例えば、グラフニューラルネットワーク、記号プログラム）は証拠の統合を改善するが、証拠と主張間の内在的な因果依存関係を明示的にモデル化することに失敗しており、検証プロセスの不透明さをもたらしている。
• 複雑性のパラドックス: 著者らは経験的に、推論連鎖の長さと精度の間に「逆 U 字型」の相関が存在することを特定した。長い連鎖は当初、パフォーマンスを向上させるが、過度な構造的複雑性はノイズを導入し、特に複雑なシナリオ（例えば、3 ホップまたは 4 ホップタスク）において精度を低下させる。

2. 手法

提案されるフレームワーク「SCM-GRPO」は、構造的因果モデル（SCM）とグループ相対方策最適化（GRPO）を組み合わせる 2 段階のトレーニングパイプラインを通じて、これらの課題に対処する。

2.1. 構造的因果モデル（SCM）フレームワーク

著者らは、MHFV を単純なラベル予測タスクではなく、構築的な因果推論プロセスとして形式化する。推論プロセスは、タプル $\mathcal{M} = (U, V, F)$ で定義される有向非巡回グラフ（DAG）としてモデル化される：

• 外生変数（$U$）: 証拠ドキュメントから抽出された客観的事実（根ノード）。
• 内生変数（$V$）: 論理的推論を通じて導き出された中間結論と最終的な判定。
• 構造関数（$F$）: 内生変数がその親に依存する因果関係を明示的に定義する写像。

重要な制約が課される：新しい内生変数は、その必要な親の集合が完全に存在する場合にのみ、グラフに追加できる。これによりトポロジカル順序が保証され、論理的飛躍や暗黙の仮定が排除される。

2.2. 蒸留によるデータ構築

この構造化されたパラダイムでモデルをトレーニングするために、著者らは蒸留パイプラインを採用する：

1. シードデータ: 高品質な多段ベンチマーク（HoVer, EX-FEVER）を利用する。
2. 教師蒸留: 強力な「教師」LLM（例：Qwen3-30B-A3B）に、最終ラベルだけでなく、SCM 構成要素（$U, V, F$）を明示的に生成させるようプロンプトする。
3. 検証: 生成された連鎖は、グラウンドトゥルースラベルとの整合性でフィルタリングされ、逐次意思決定形式（$C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$）に組み立てられる。

2.3. 教師あり微調整（SFT）

ベースモデルは、構築された構造化データセット（$D_{struct}$）を用いて、SCM 推論パラダイムと最初に整合させる。目的は、正しい構造化シーケンス（証拠 $\to$ 導出 $\to$ 結論）を生成する尤度を最大化し、追跡可能な検証の基盤を確立することである。

2.4. グループ相対方策最適化（GRPO）による最適化

構造的深さと簡潔さの間のトレードオフ（「逆 U 字型」問題）に対処するため、著者らは GRPO を用いたルールベースの強化学習（RL）戦略を導入する。

• グループサンプリング: 与えられたプロンプトに対して、方策が $K$ 個の推論シーケンスのグループを生成する。
• 複合報酬関数（$R$）: シーケンスの品質は 3 つの構成要素によって評価される：
  1. 正解性（$R_c$）: 回答の精度に基づく二値報酬。
  2. 構造（$R_s$）: 証拠変数（$U$）と推論ステップ（$V$）の比率が高いことを報酬とし、過度な「精神的なアクロバット」を罰することで、オッカムの剃刀（簡素性）を促進する。
  3. 長さ（$R_l$）: 連鎖長を最適区間 $[l_{min}, l_{max}]$ に誘導し、過度に長い連鎖に伴う劣化を回避する。
• 相対的優位性: GRPO は、グループ内のサンプルの相対的なパフォーマンスに基づいて方策を更新し、トレーニング分散を低減し、複雑な推論戦略の学習を安定させる。

3. 主要な貢献

1. 形式的因果フレームワーク: MHFV への SCM の導入により、DAG を通じて証拠と主張間の因果依存関係を明示的にモデル化する、解釈可能な意味的基盤を提供する。
2. 経験的洞察と RL 最適化: 推論連鎖の長さと精度の間の逆 U 字型関係の発見。著者らは、厳密性と簡素さのバランスを取りながら構造的複雑性を適応的に制約する、新しい GRPO ベースの戦略を提案する。
3. 最先端のパフォーマンス: SCM-GRPO フレームワークは、公開ベンチマークで優れたパフォーマンスを達成し、複雑な多段シナリオにおける堅牢な汎化性と論理的整合性を示している。

4. 実験結果

このフレームワークは、直接予測、ProgramFC、FOLK、RAG、Search-o1 など、多様なベースラインに対して HoVer と EX-FEVER ベンチマークで評価された。

• 全体的なパフォーマンス: SCM-GRPO は、すべての評価サブセットで最先端（SOTA）の結果を達成した。
  • HoVer 2 ホップ: 73.42%（Search-o1 の 69.00% 対比）。
  • HoVer 4 ホップ: 60.88%（Search-o1 の 56.60% 対比）。
  • EX-FEVER 3 ホップ: 75.00%（Search-o1 の 72.80% 対比）。
• RL 必要性の検証: 実験により、RL 最適化なしで SCM-CoT を適用すると、パフォーマンスが低下することが示された（例：HoVer 2 ホップにおいて、SCM-CoT のみの使用時、Qwen3-14B の精度は 57.48% から 47.22% に低下）。構造的潜在能力をパフォーマンス向上に変換するには、完全な SCM-GRPO パイプラインが必要であった。
• アブレーション研究: Qwen3-8B バックボーンにおける最適化戦略の比較において、GRPO（精度 75.42%）は、単独の SFT（73.33%）およびコンテキスト選好最適化（CPO）（71.91%）を大幅に上回り、複雑な推論の安定化におけるグループごとの相対的目的の有効性を確認した。

5. 意義と限界

意義:
本論文は、推論を明示的な因果構造に根ざさせることで、複雑な事実検証に対する信頼性が高く解釈可能な解決策を提供すると主張している。トポロジカル妥当性を強制し、RL を用いて推論の深さと簡潔さの間のトレードオフを動的に最適化することで、LLM における「幻覚的な推論」という重要なギャップに対処する。この研究は、構造的複雑性が LLM の推論の信頼性にどのように影響するかに関する新しい経験的洞察を提供する。

限界:
著者らは謙虚に、2 つの主要な限界を認めている：

1. データ依存性: フレームワークのパフォーマンスは、蒸留を通じて生成された自動構築された構造化トレーニングデータの品質に部分的に依存する。
2. 超長連鎖への汎化: 4 ホップを超える推論連鎖に対する汎化能力は、さらに検証される必要がある。

今後の研究として、より堅牢なデータ構築手法の探求と、因果推論フレームワークをより広範な複雑な推論タスクのスペクトラムへ拡張することが提案されている。