EvidenceRL: 信頼性の高い言語モデルのための証拠整合性の強化

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）が高リスク分野（医療、法曹など）で直面する「ハルシネーション（幻覚）」と「証拠の欠如」という課題に対処するため、EvidenceRL（Evidence Reinforcement Learning）という新しい強化学習フレームワークを提案するものです。既存の手法が推論時にフィルタリングを行うか、事後の検証に依存するのに対し、EvidenceRL はトレーニング段階において証拠への準拠を直接的に最適化することで、モデルの生成挙動そのものを変革します。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳述します。

---

1. 背景と問題定義

LLM は流暢な文章を生成しますが、利用可能な証拠に基づいていない「もっともらしい誤った回答（ハルシネーション）」を生成する傾向があります。これは、医療診断や法廷推理など、判断が検証可能な情報に基づいて正当化されなければならない高リスク分野において致命的です。

• 既存手法の限界:
  • RAG（検索拡張生成）: 検索された文書をコンテキストとして渡しますが、モデルがその証拠を無視して事前学習知識（パラメトリック知識）に基づいて回答する「コンテキスト - メモリ衝突」が発生します。
  • 推論時制御: 事後の検証や自己一貫性（Self-Consistency）によるフィルタリングは、生成された出力を選択するだけであり、モデルの生成ポリシーそのものを証拠に基づいたものに変えることはできません。
  • 従来の RLHF: 人間のフィードバックに基づく調整は、事実の正確性よりも「もっともらしさ」を評価する傾向があり、証拠への厳密な整合性を最適化できません。

2. 手法：EvidenceRL

EvidenceRL は、**Group Relative Policy Optimization **(GRPO) を用いた強化学習フレームワークであり、トレーニング中に証拠への準拠を微分可能な目的関数として組み込みます。

2.1 報酬設計（Reward Design）

トレーニング報酬は、構造化、正解性、証拠の根拠の 3 つのコンポーネントに分解されます。

1. **フォーマット報酬 **($r_f$): 出力が構造化された形式（例：有効な JSON）であることを保証するバイナリ信号。
2. **正解性報酬 **($r_c$):
   • 医療分野では、ドメイン固有のエンコーダーを用いた埋め込み類似度（Cosine Similarity）で正解との一致を判定。
   • 法曹分野では、多肢選択問題の正解文字（A-D）との完全一致で判定。
3. **証拠根拠報酬 **($r_g$) （本手法の核心）:
   • Focus-Then-Verify アーキテクチャ: 文書全体を一度に評価すると信号が希薄化するため、「焦点を絞った前提」（Anchor Context + 個々の証拠セクション）を構築し、各文レベルで自然言語推論（NLI）チェックを行います。
   • 評価プロセス: 凍結された NLI モデル（医療用には PubMedBERT-MNLI-MedNLI、法曹用には DeBERTa-v3-large）を使用し、モデルの推論（仮説）が前提（証拠）と「含意（Entailment）」関係にあるか「矛盾（Contradiction）」関係にあるかをスコアリングします。
   • 集計: 最も強い支持または矛盾を示す証拠のスコア（$r_{max}^g$）を採点し、証拠の整合性を数値化します。

最終的な報酬関数は、証拠根拠を重視する重み付け（$w_g=2$）でこれらを結合します：
$$r(x, y) = w_f \cdot r_f(y) + w_c \cdot r_c(x, y) + w_g \cdot \tilde{r}_g(x, y)$$

2.2 最適化

GRPO を用いて、各入力に対してグループ内の複数の生成候補をサンプリングし、グループ内での相対的な優位性（Advantage）に基づいてポリシーを更新します。これにより、人間のラベル付けに依存せず、自動化された NLI と LLM ジャッジによる報酬でトレーニングが可能です。

3. 主要な貢献

1. EvidenceRL の提案: 自動化された NLI と LLM ジャッジ報酬を用いて、証拠の根拠を微分可能なトレーニング目的として強制する強化学習フレームワーク。
2. Focus-Then-Verify 報酬アーキテクチャ: 文書レベルのスコアリングに内在する信号の希薄化を解決するため、文レベルの含意チェックを焦点を絞ったコンテキストウィンドウ内で実行する手法。
3. モデルスケールとドメインを超えた改善: 医療（心臓診断）と法曹（弁護士試験）の両分野において、モデルのサイズ（3B〜120B パラメータ）に関わらず、タスク精度を維持・向上させながら、証拠に基づく推論を大幅に強化し、ハルシネーションを削減することを示した。

4. 実験結果

データセット:

• 医療: MIMIC-IV-Ext（心疾患診断）、ICU 患者データを使用。
• 法曹: BarExam MBE（多肢選択式法律問題）、事実パターンと法的根拠を使用。

主要な成果:

• **医療分野 **(Llama-3.2-3B):
  • F1@3（精度）: 37.0 → 54.5 に向上。
  • **Grounding **(最大根拠スコア): 47.6 → 78.2 に大幅向上。
  • ハルシネーション: 約 5 倍減少（11.6% → 2.4%）。
  • 証拠に基づく診断: 31.8% → 61.6% に増加。
  • **忠実度 **(Faithfulness): 72.5% → 87.5%。
• **法曹分野 **(Llama-3.1-8B):
  • 忠実度: 32.8% → 67.6% に向上。
  • 証拠に基づく推論率: 18.8% → 41.0% に増加。
  • ハルシネーションと「幸運な推測（Lucky Guess）」が大幅に減少。

比較分析:

• **SFT **(教師あり微調整): 精度は維持されるが、証拠の根拠性は崩壊（Gemma 系列で Gavg@3 がほぼ 0 に）。モデルは証拠を引用する形式を真似するだけで、意味的な整合性を学ばない。
• **推論時手法 **(Self-RAG, Self-Consistency): 精度と根拠性の両方を同時に改善できず、既存の生成分布を再分配するに留まる。
• **fDPO **(Faithful DPO): 根拠性は向上するが、精度の向上は限定的。クロスモデルの知識蒸留が混入し、モデル自身の能力向上ではなく他モデルの模倣に寄与する傾向がある。
• EvidenceRL: 精度と根拠性の両方を同時に最大化する「パレート最適」な領域にモデルを誘導する唯一の手法。

5. 意義と結論

EvidenceRL は、高リスク分野における LLM の信頼性向上において重要な転換点となります。

• 推論時制御の限界の克服: 検索やフィルタリングでは変えられない「モデルの推論プロセス」そのものを、報酬設計を通じて証拠に基づいたものへと再構築します。
• 計算効率性: 大規模モデルに依存せず、適切なトレーニング（EvidenceRL）を行うことで、小規模モデル（3B など）がゼロショット推論を行う巨大モデル（70B など）を上回る性能と信頼性を発揮できることを示しました。
• 実用性: 医療や法曹において、単に「正解」を出すだけでなく、「なぜその答えなのか」を提示された証拠に基づいて説明できるモデルの実現に寄与します。

結論:
EvidenceRL は、LLM が文脈内の証拠を無視してパラメトリック知識に依存する傾向を修正し、トレーニング段階で証拠への整合性を強制することで、ハルシネーションを劇的に削減しつつタスク精度を向上させることを実証しました。これは、高リスク分野での AI 導入における信頼性確保のための重要なステップです。