技術要約：ProFact – 多段階事実検証のためのエージェンティック強化学習

1. 問題提起

オープンドメインにおける自動事実検証は、主張の分解、証拠の収集、および判定予測を含む、本質的に多段階の意思決定プロセスです。近年の手法は、大規模言語モデル（LLM）と検索拡張推論を組み合わせるものですが、既存の手法は通常、これらのステージを個別に最適化するか、固定されたヒューリスティックに依存して調整を行います。このような分離は、中間的な決定（例：検証用質問の生成）が最終的な目標である正確な判定予測と整合していないという、最適ではない結果を招きます。さらに、検証プロセス全体の軌跡を最適化することは、**疎で遅延した教師信号（sparse and delayed supervision）**のために困難です。最終的な真偽ラベルはプロセスの最後にのみ報酬を提供するため、特定の中間アクション（特定の検索クエリや分解ステップなど）に対してどのようにクレジットを割り当てるべきかを判断することが難しくなります。

2. 手法：ProFact フレームワーク

著者らは、多段階の事実検証の軌跡をエンドツーエンドで最適化するために設計された、エージェンティック強化学習（RL）フレームワークである ProFact を提案しています。

2.1 マルコフ決定過程（MDP）としての定式化

ProFact は、事実検証を有限ホライゾンの MDP ($M = (S, A, P, r, \rho_0, T)$) としてモデル化します：

• 状態 ($S$): 主張、生成された質問、検索された証拠、QAペア、および現在の推論ステージを含みます。
• 行動 ($A$): 単一のポリシー $\pi_\theta$ によって生成される統一されたアクション。これには、検証用質問の生成、検索ツールの呼び出し、証拠に基づいた回答の合成、および最終的な判定の予測が含まれます。
• 軌跡 (Trajectory): 状態と行動のシーケンス $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ であり、完全な検証ワークフローを表します。

2.2 3段階の検証ロールアウト

エージェントは、人間のファクトチェックを模倣した3段階のワークフローを実行します：

1. 質問ステージ (Question Stage): エージェントは、主張を検証用質問（$Q$）のセットへと分解します。
2. 検索ステージ (Search Stage): 各質問に対して、エージェントは構築済みの証拠ストアから反復的な検索を行い（Qwen3-Embedding-0.6B によるセマンティック検索と kNN を使用）、証拠に基づいた回答（$A$）を生成します。不要な拡張を防ぐため、質問ごとにコンテキストはリセットされます。
3. 判定ステージ (Verdict Stage): 蓄積された証拠と回答に基づき、エージェントは最終的な真偽ラベル（支持、反駁、証拠不十分、または矛盾する証拠）を予測します。

2.3 プロセス認識型報酬関数

最終的なラベルの疎性を解決するため、ProFact は、ステージレベルの密な教師信号を提供する プロセス認識型報酬関数 を導入しています：

• 質問ステージ報酬 ($r_q$): 生成された質問とゴールドスタンダードの質問との間の METEOR ベースのマッチングによって計算されます。
• 検索ステージ報酬 ($r_s$): 生成された質問・回答ペアとゴールドスタンダードの証拠アノテーションとの間の METEOR ベースのマッチングによって計算されます。
• 判定ステージ報酬 ($r_v$): 予測されたラベルがゴールドラベルと一致する場合は $1$、一致しない場合は$0$ となる指示関数です。
• 総リターン (Total Return): 軌跡全体にわたる報酬の合計であり、疎な結果信号を中間的な学習信号へと変換します。

2.4 GRPO による最適化

本フレームワークは、学習のために Group Relative Policy Optimization (GRPO) を採用しています。別途クリティックネットワークを使用する代わりに、GRPO は同一の主張に対してサンプリングされた $G$ 個の軌跡グループ間で比較を行うことで、アドバンテージ関数を推定します。アドバンテージ $\hat{A}_{i,g}$ は、グループの平均と標準偏差に対して各軌跡の総リターンを正規化することによって算出されます。これにより、ステージ報酬の異質性や検索への依存関係が困難な状況においても、価値関数の近似を必要とせずに、統一されたポリシーの安定したエンドツーエンドの最適化が可能になります。

3. 主な貢献

1. エージェンティック検証フレームワーク: ProFact は、主張の分解、証拠検索、および判定予測を、明示的な検索アクションを持つ単一のポリシーへと統合し、検証を長期間の（long-horizon）エージェンティックな意思決定問題として定式化しました。
2. プロセス認識型軌跡最適化: プロセス認識型報酬関数の導入により、密な中間フィードバックが可能となり、どの中間的な振る舞い（分解、検索、推論）が最終的な精度に寄与するかをモデルが学習できるようになりました。
3. 実証的検証: 包括的な実験により、ProFact が強力なベースラインと比較して、検証性能と推論効率の両方を向上させることが示されました。

4. 実験結果

実験は AVeriTeC データセットを用い、4つのオープンソース・バックボーンモデル（Qwen2.5-3B/7B, Qwen3-4B/8B）に対して行われました。

• 性能: ProFact は、すべての指標においてベースライン（Consistency, InFact, HerO）を一貫して上回りました。
  • AVeriTeC スコア: ProFact は最高スコアを達成しました（例：Qwen2.5-7B において HerO の 42.80 に対し 48.00）。これは、優れたエンドツーエンドの検証能力を示しています。
  • 精度: ProFact は最終的なラベル予測の精度を向上させました。
  • 中間品質: ProFact は最高の Q-only METEOR スコアを達成し、より強力な主張分解を示したほか、競争力のある Q&A METEOR スコアも達成しました。
• 効率: ProFact は推論効率において大幅な向上を示しました。InFact と比較して、ProFact は 1 つの主張あたりの時間を約 50～70% 短縮し、トークン消費量も大幅に削減しました（例：Qwen2.5-7B において InFact の 0.66M に対し、ProFact は 0.38M の出力トークン）。
• アブレーション研究: プロセス報酬を除去した場合（w/o PR）は、すべてのバックボーンにおいて一貫した性能低下が見られ、最終ラベルの教師信号のみでは効果的な多段階の軌跡を学習するには不十分であることが確認されました。
• アルゴリズム比較: GRPO は、このタスクにおいて PPO、DAPO、および GiGPO よりも優れていることが判明しました。これは、異質なステージ報酬に対して価値関数を学習する複雑さを回避しつつ、安定した軌跡レベルの信号を提供できるためと考えられます。

5. 意義と主張

本論文は、プロセス認識型軌跡最適化 が、多段階の事実検証における極めて重要なメカニズムであることを主張しています。検証を孤立したモジュールのパイプラインとしてではなく、統一された意思決定プロセスとして扱うことで、ProFact は初期の決定（分解など）を後続のステージ（判定予測など）の要件に適応させることができます。結果は以下のことを浮き彫りにしています：

• 長期間のタスクにおける効果的なクレジット割り当てには、中間的な教師信号が不可欠であること。
• プロセス認識型報酬を用いたエージェンティック RL は、より標的を絞った、冗長性の少ない検証戦略を学習することで、精度向上と推論コスト削減を同時に実現できること。
• より大きなモデルであっても、必ずしも証拠に基づいた検証が優れるわけではない（パラメトリックな知識に依存する場合があるため）。しかし、ProFact フレームワークは異なるモデルスケールにおいても有効に機能します。

著者らは、彼らの研究が、自動化された事実検証における複雑な多段階推論ワークフローを最適化するための、エンドツーエンド強化学習の有効性を実証していると結論付けています。