Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

以下は、論文「Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models」の詳細な技術的サマリーです。

1. 問題定義

検索拡張生成（RAG）システムは、大規模言語モデル（LLM）を外部証拠に基づかせるように設計されています。しかし、モデルが検索されたコンテキストを無視し、代わりに内部のパラメトリックメモリ（事前学習中に獲得した知識）に依存する際に発生する不誠実性（unfaithfulness）と呼ばれる重大な失敗モードが存在します。

• 根本原因: 標準的な次のトークン予測損失はすべてのトークンを同様に扱うため、コンテキストから導かれた情報と記憶された事実を区別できません。コンテキストの根拠付けを報酬とする明示的な訓練信号がない場合、モデルは矛盾が生じた際に内部知識をデフォルトとして選択します。
• ギャップ: 既存の解決策は、推論時の矛盾解決（例：Self-RAG、FaithfulRAG）に焦点を当てるか、小規模な評価ベンチマーク（例：FaithEval、約 4.9K サンプル）を提供するかのいずれかです。制御された知識の矛盾を通じて、モデルが内部メモリよりも検索されたコンテキストを優先させるように強制するための大規模かつ高品質な訓練データが存在しません。

2. 手法：Faithfulness-QA の構築

著者らは、完全自動化された 4 段階のパイプラインを通じて構築された99,094 サンプルのデータセットFaithfulness-QAを提案します。中核となるメカニズムは反事実的実体置換（Counterfactual Entity Substitution）であり、これによりコンテキストとモデルの推定されるパラメトリック知識の間に人工的な矛盾を創出します。

A. ソースデータ

このデータセットは、2 つの相補的な抽出型 QA ベンチマークから構築されています。

1. SQuAD: 87,599 対（Wikipedia の段落、中央値 701 文字）。
2. TriviaQA: 87,041 対（より長い証拠文書、中央値 1,581 文字）。

B. 4 段階パイプライン

1. 実体バンクの構築:

   • SpaCy の en_core_web_lg NER モデルを使用して、ソースコンテキストから固有名詞を抽出しました。
   • PERSON、GPE、ORG、DATE、CARDINAL、NORP、LOC、EVENT の 8 種類にまたがる76,953 個の一意の実体からなるバンクをキュレーションしました。
   • 長さ（2〜100 文字）で実体をフィルタリングしました。

2. 回答 - 実体マッチング:

   • 各 QA サンプル $(q, c, a)$ について、システムは回答 $a$ をコンテキスト $c$ 内の認識された NER 実体と一致させようと試みます。
   • 3 つの戦略の連鎖を使用します：完全一致、部分文字列一致、位置的重なり。
   • 固有名詞と一致しないサンプルは除外されます（これが主要なボトルネックです）。

3. 反事実的実体置換（中核ステップ）:

   • 元の回答実体 ($e_{orig}$) とその種類 ($t$) を特定します。
   • 種類 $t$ は共有しつつ $e_{orig}$ とは異なる実体 ($e_{new}$) をバンクからサンプリングします。
   • 長さの互換性を強制します（$0.3 \le |e_{new}|/|e_{orig}| \le 3.0$）。
   • グローバル置換: 文脈 $c$ 内の $e_{orig}$ のすべての大文字小文字を区別しない出現を $e_{new}$ に置換して $c'$ を作成します。
   • 新しい「誠実な」回答は $e_{new}$ となります。

4. 品質フィルタリングと分割:

   • 6 つのルールベースのチェックを適用します（例：新しい実体が修正されたコンテキストに含まれていること、元の実体が削除されていること、コンテキスト長が十分であること、過度な置換がないことなど）。
   • 合格したサンプルを Train/Dev/Test（80/10/10）に固定シード（42）で分割します。
   • パイプライン全体は決定論的であり、単一 CPU で約 5.5 時間で実行され、GPU は不要です。

3. 主要な貢献

1. Faithfulness-QA データセット: パラメトリックメモリよりもコンテキストに従うように RAG モデルを訓練するために特別に設計された大規模（99K サンプル）のリソースです。既存の誠実性評価ベンチマークよりも約 20 倍大きいです。
2. 自動化された構築パイプライン: 完全自動化されたオープンソースのパイプラインであり、監査されたサンプルにおいて56.7% の置換成功率と100% の品質合格率を達成しています。
3. タイプ別実体バンク: 8 カテゴリにわたる 76,953 個の実体からなる再利用可能なリソースであり、再現性が高く拡張可能なデータセット構築を可能にします。
4. 包括的な分析: 実体の分布、コンテキスト長、失敗モードの詳細な統計分析により、SQuAD と TriviaQA ソースの相補性を示しています。

4. 結果と統計

• 規模: 合計 99,094 サンプル（SQuAD 由来 49,094、TriviaQA 由来 50,000）。
• 成功率: 全体で 56.7%（SQuAD は 56.0%、TriviaQA は 57.4%）。
• 失敗分析: フィルタリングの主な理由（64.0%）は、一致する NER 実体がないことです（例：回答が記述的なフレーズやブール値である場合）。これは、タイプ一貫性があり明確に定義された置換を確保するための意図的なトレードオフです。
• 品質監査: ランダムに選んだ 200 サンプルの監査において、4 つの次元（置換の存在、元の削除、コンテキストの修正、長さ比率）で100% の合格率を達成しました。
• 実体分布:
  • TriviaQA はPERSON実体（45.7%）が支配的です。
  • SQuAD は ORG、DATE、PERSON 全体でより均一な分布を示します。
  • この組み合わせにより広範なカバレッジが確保され、タイプ固有の過学習が軽減されます。

5. 意義と応用

Faithfulness-QA は、誠実性の評価から訓練へと焦点を移すことで、RAG エコシステムにおける重要なギャップを埋めます。

• 誠実性認識微調整: 検索された証拠と矛盾するパラメトリックメモリをモデルが上書きして訓練することを可能にします。
• 注意ベースの損失関数: 明示的な修正領域により、クロスアテンション重みの監視を可能にし、モデルがコンテキストに注目することを促します。
• 知識矛盾研究: 外部証拠と内部信念の間の矛盾を LLM がどのように解決するかを研究するための制御された環境を提供します。
• 相補性: FaithEvalは評価のためのベンチマークとして機能する一方、Faithfulness-QAはそうしたベンチマークを合格できるモデルを構築するための訓練リソースとして機能します。

6. 限界と今後の課題

• 限界:
  • 共参照解決が行われていない（置換された実体を指す代名詞は更新されない）。
  • 意味的一貫性のために NLI モデルではなくルールベースのフィルタリングに依存している。
  • 一部の置換は文法的には有効だが、意味的に不自然な場合がある（例："Amritsar, Illinois"）。
  • 現時点では英語に限定されている。
• 今後の方向性: 共参照解決の統合、置換成功率向上のための LLM を用いた実体マッチング、NLI ベースのフィルタリングの適用、オープンソース LLM（Llama-3、Mistral、Qwen）を用いた下流タスクの訓練実験の実施。

結論: Faithfulness-QA は、RAG システムを「検索拡張」から「検索誠実」へと移行させるために必要なインフラを提供し、モデルが事前学習されたバイアスではなく、提供された証拠に真に依存することを保証します。