技術的サマリー：StepGap

問題定義

マルチホップ質問応答（QA）では、モデルが複数の中間ステップにわたって証拠を検索、接続、検証する必要があります。しかし、検索を交えたシステムにおける現在の評価および強化学習（RL）フレームワークは、依然として最終結果指向であり、最終回答の完全一致（Exact Match: EM）のみに依存しています。このアプローチは、以下の 2 つの構造的欠陥に悩まされています：

1. 差別化の欠如：EM は、証拠に基づく推論連鎖と、パラメトリックメモリやショートカットから導き出された誤って正しい推論連鎖を区別できません。
2. 局所性の欠如：方策が失敗した場合、EM はゼロ報酬信号を提供するだけで、どのステップが連鎖を破綻させたかを示さないため、モデルがステップ固有の修復行動を学習することを妨げます。

既存のステップレベルチェッカーは、すべてのサブタスクを単一の大型言語モデル（LLM）呼び出しに集約するか、単一の自然言語推論（NLI）呼び出しに依存しています。どちらのアプローチも、特定の誤りタイプを区別するタイプ付きラベルを出力すると同時に、トレーニングに適した決定論的決定に基づいてそれらを裏付けることを同時に実現していません。さらに、事後検証器は完全な回答が生成された後にのみ動作するため、推論プロセス中にジェネレーターをリダイレクトする機会を逃しています。

手法：StepGap

著者は、ステップレベルの証拠ギャップを検出し、それぞれ具体的な修復アクションにマッピングされた 3 つのタイプ付きラベルのいずれかを出力するように設計された、ハイブリッド NLI-LLM 決定木であるStepGapを提案します：

• 矛盾する主張（CONTRADICTED CLAIM: CC）：そのステップが、検索された証拠と矛盾する主張を述べている場合。修復：撤回（Retract）。
• 無関係な証拠（IRRELEVANT EVIDENCE: IE）：証拠が、そのステップに必要なエンティティや関係に対処していない場合。修復：再検索（Re-search）。
• 不足する橋渡し（MISSING BRIDGE: MB）：証拠は関連しているが、主張をまだ導き出していない場合。修復：橋渡し検索（Bridging search）。

アーキテクチャ

StepGap は、各推論ステップ $s_i$（蓄積された証拠 $e_{\le i}$ が与えられた場合）に対して、5 段階のハイブリッド決定木として機能します：

1. ステージ A（LLM）：エンティティ/関係の整合性をチェックします。検索前にそのステップが正しいエンティティ/関係をターゲットにしているかを判定します。ターゲットの誤りにより CC ラベルがトリガーされます。
2. ステージ B（LLM）：保留の妥当性をチェックします。「判断できない」という主張が証拠に基づいているかを確認します。正当化されていない保留により CC がトリガーされます。
3. ステージ C（LLM）：エンティティの整合性と引用抽出をチェックします。検索された証拠が正しいエンティティに関するものかを確認し、検証可能な引用を逐語的に抽出します。不一致により IE がトリガーされます。
4. ステージ D（NLI）：局所含意を実行します。決定論的 NLI モデル（DeBERTa-v3）を使用して、ステージ C で抽出された引用が主張を導き出しているかを確認します。
   • 含意 $\rightarrow$ ギャップなし。
   • 中立 $\rightarrow$ MB。
   • 矛盾 $\rightarrow$ CC。
5. ステージ E（NLI）：ステップ間検証を実行します。局所的な引用がない結論ステップについて、主張が以前の推論ステップからの証拠によって導き出されているかを確認します。失敗により IE がトリガーされます。

プロセス報酬の統合

タイプ付き出力 $\tau_i$ は、ステップごとのプロセス報酬としてGRPO（Group Relative Policy Optimization）に統合されます：

• ベース報酬（$r_{base}$）：ギャップタイプに基づいてスカラー値を割り当てます（例：ギャップなしで +0.20、IE で -0.10、CC の検出で +0.05）。
• シェイピング報酬（$r_{shape}$）：次のステップで実行された修復アクションに条件付けます。正しい修復（IE 後の再検索、CC 後の撤回など）を実行した方策を報酬とし、ギャップを無視したり、ほぼ重複するクエリを発行したりすることを罰します。

主要な貢献

1. タイプ付きギャップ - アクションの結合：この論文は、タイプ付きステップレベルラベルは、特定の修復アクションと結合されて初めて有用であると主張しています。StepGap は、CC、IE、MB をそれぞれ撤回、再検索、橋渡し検索に明示的にマッピングします。
2. ハイブリッド分解可能性対 LLM 単独の相殺：
   • 人間が注釈したベンチマーク（181 ステップ）において、StepGap は sF1 で72.0を達成し、LLM 単独のベースライン（70.1）と統計的に区別がつかない性能を示しました。
   • しかし、アブレーション研究は質的な違いを明らかにしました：StepGap から任意のコンポーネントを削除すると性能が低下します（健全な分解）。一方、LLM 単独ベースラインから 4 つのコンポーネントのうち 3 つを削除すると性能が向上します。これは、LLM 単独システムが競合する誤りの相殺に苦しんでおり、内部ステージが互いの誤りを隠蔽していることを示しており、信頼性の高い RL シグナルには不適切であることを意味します。
3. Q-F1 の罠：著者は、すべてのステップをフラグ付けするチェッカーによって質問レベルの F1（Q-F1）が機械的に膨らむというメトリックの欠陥を暴露します。95% のステップをフラグ付けするチェッカーは、ステップレベルの精度が低いにもかかわらず、ほぼ天井に近い Q-F1 を達成できます。StepGap は、ステップレベルの F1（sF1）とバランスの取れた精度（BA）をバランスさせることで、これを回避します。
4. プロセス報酬の有効性：StepGap をタイプ付き GRPO 報酬として使用すると、Qwen2.5-7B-Instruct の完全一致（EM）が32.1から35.4に向上し（3 つのシード全体で）、回答 - 主張のサポートが**71.5%**に増加しました。

結果

• チェッカー性能：StepGap は、181 ステップの人間ベンチマークにおいて sF1=72.0、Q-F1=81.2、BA=60.6% を達成しました。これは、ギャップタイプの健全な分布（IE 約 38%、CC 約 15%、MB 約 6%）を維持しますが、単一の強力な LLM のような退化した変種は、ほぼすべてを IE（87.8%）としてフラグ付けし、誤りタイプを区別できなくなります。
• RL トレーニング：
  • Typed+Shape（シェイピング報酬を備えた StepGap）は、Search-R1 GRPO ベースラインを平均 EM で**+5.6**上回ります（29.8 $\rightarrow$ 35.4）。
  • また、厳密にドメイン外である MuSiQue データセットにおいても、Search-R1 ベースラインを**+10.9** EM 上回ります。
  • 報酬シグナルは、単に誤りを回避するだけでなく、検索回数（2.5 から 2.8 へ）を増やし、特定の修復を実行するよう方策を促します。
• 蒸留：蒸留された Qwen2.5-7B スチューデントモデルは、推論中に API 呼び出しを必要とせずに、教師モデルの F1 スコアの**87%**を維持し、システムを長い RL 実行に対してスケーラブルにします。

意義と主張

この論文は、StepGap が既存のチェッカーと比較して質的に異なるプロセスシグナルを提供すると主張しています。2 つのシステムが重なり合う F1 信頼区間を持つ場合でも、単調なコンポーネント貢献（StepGap）を持つもののみが、タイプ付き RL 報酬に適しています。LLM 単独のアプローチは、同様の集計精度にもかかわらず、失敗の具体的な性質を曖昧にする誤りの相殺に依存しており、特定の修復を実行する方策をトレーニングするには信頼できません。

著者は、StepGap を単なる優れた検出器ではなく、エージェント型 RAGトレーニングに必要なコンポーネントとして位置づけています。これにより、モデルは最終的な誤りを回避するだけでなく、推論連鎖をどのように修復するか（撤回、再検索、橋渡し）を学習できます。この研究は、「Q-F1 の罠」を回避し、RL トレーニングの改善が誤った相関ではなく、真の推論能力によって駆動されることを保証するために、質問レベルのメトリックではなくステップレベルの診断の必要性を強調しています。

著者が指摘する限界：

• 人間評価セットは小さく（181 ステップ）、ベースラインとの信頼区間が重複しています。貢献は、生粋の F1 勝利ではなく、アーキテクチャ的特性（分解可能性）を中心に構成されています。
• 報酬の大きさは Qwen2.5-7B 用に調整されており、Llama-3.1-8B にはゼロショットで転送されません。
• 撤回検出は表面パターンのマッチングに依存しており、理論的には報酬ハッキングに脆弱である可能性がありますが、200 反復の実行ではこれは観察されませんでした。