論文要約：Citation-Enforced RAG for Fiscal Document Intelligence

（引用強制型 RAG による財政文書インテリジェンス：税務コンプライアンスにおける引用と説明可能な知識検索）

この論文は、税務コンプライアンスや監査といった高リスクな規制分野において、生成 AI（Generative AI）を安全かつ信頼性高く適用するための新しいフレームワークを提案しています。特に、大規模言語モデル（LLM）による「幻覚（ハルシネーション）」の抑制と、回答の根拠となる出典の厳格な追跡可能性（アウタビリティ）に焦点を当てています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem Statement)

税務当局や公的機関は、税務申告書、指示書、政策マニュアルなど、膨大で非構造化された財政文書を扱っています。これらの文書解析には、従来のルールベースシステムやキーワード検索では対応しきれない課題があります。

• 既存の RAG（検索拡張生成）の限界: 一般的な RAG システムは、回答の流暢さや意味的関連性を最適化する傾向があり、引用の忠実性や証拠の完全性に対する保証が不足しています。
• マルチモーダル RAG の課題: 画像や表を含む文書を扱う際、LLM が生成した要約を检索対象として用いる手法が多く見られますが、これにより元の文書との紐付けが不明瞭になり、監査や検証が困難になります。
• 幻覚と不確実性のリスク: 税務分野では、根拠のない回答（幻覚）や、証拠が不十分な状況での確信に満ちた誤った解釈は、重大なコンプライアンス違反や誤った監査判断を招くため、許容されません。
• 欠如している機能: 既存システムには、証拠が不十分な場合に「回答を保留する（Abstention）」という重要なメカニズムが欠落しており、誤った確信を持って回答してしまうリスクがあります。

2. 提案手法 (Methodology)

本研究は、**「ソースファースト（Source-First）」**の原則に基づいた、引用強制型かつ保留（Abstention）を考慮したマルチモーダル RAG フレームワークを提案しています。

2.1 ソースファーストの取り込み戦略 (Source-First Ingestion)

• 要約の排除: 画像や表を LLM で要約してから埋め込むのではなく、OCR や構文解析を通じて元の文書から直接抽出したテキストのみを埋め込み対象とします。
• メタデータの保持: 各チャンク（文書断片）には、文書 ID、ページ範囲、セクションタイトルなどのメタデータを厳密に付与し、生成された回答がどの文書のどの部分に基づいているかを追跡可能にします。

2.2 引用強制型回答生成 (Citation-Enforced Answer Generation)

• 証拠のみのプロンプティング: 生成モデル（Llama 3.2 3B）には、検索された文書チャンクのみをコンテキストとして提供し、外部知識や事前学習知識の使用を禁止します。
• 強制された引用: 生成された回答の各段落には、必ず対応する証拠（文書 ID とページ範囲）への引用が含まれるよう設計されています。
• 検証ループ: 生成後に引用の形式と存在をチェックし、要件を満たさない場合は再生成を試みます。それでも満たせない場合は、誤った回答を出すよりも「保留」を選択します。

2.3 保留（Abstention）メカニズム

• 信頼度に基づく判断: 検索されたトップチャンクの類似度スコア（コサイン類似度）が閾値を下回る場合、証拠が不十分と判断し、回答を生成せず「保留」とします。
• 透明性のある出力: 保留する際、なぜ回答できないのか（文書に該当情報がない、曖昧である等）を明確に説明し、人間の分析者が次のアクションを取れるようにします。

2.4 データセット

• 実世界のデータ: 米国 IRS（連邦）、カリフォルニア州 FTB、ニューヨーク州税務局から収集した 298 文書（約 10,491 チャンク）を使用。
• 特徴: 非構造化テキスト、表、スキャン画像などを含む多様な財政文書。合成データは使用せず、実データのみで評価を行いました。

3. 主要な貢献 (Key Contributions)

1. ソースファースト型マルチモーダル RAG アーキテクチャ: LLM 生成の要約ではなく、抽出元の文書コンテンツを直接埋め込むことで、スパンレベル（文書断片レベル）の追跡可能性を実現。
2. 引用強制メカニズム: 生成されたすべての主張に対して、明確な証拠と引用を必須とし、形式検証を自動化。
3. 保留（Abstention）対応の意思決定ポリシー: 証拠が不十分な場合に強制的に回答を保留し、幻覚リスクを低減する設計。
4. 実世界での評価: 合成データを使わず、実際の税務文書を用いた包括的な評価（自動指標と人間による評価の両方）を実施。

4. 評価結果 (Results)

55 件の実用的な税務クエリを用いた評価において、以下の結果が得られました。

• 検索性能: 回答可能なクエリの多くで、トップチャンクの類似度スコアが 0.55 以上となり、明確な証拠が取得できました。
• 引用の忠実性:
  • 引用フォーマット遵守率：100%
  • 引用による主張の裏付け率（人間評価）：94.5%
• 幻覚の抑制: 証拠のない主張（ハルシネーション）の発生率は**1.8%**と極めて低く抑えられました。
• 保留の精度: 情報が存在しない場合の適切な保留判断率は**88.0%**でした。
• 有用性: 分析者支援ツールとしての有用性スコアは4.2/5.0でした。
• 定性評価: 従来の RAG や要約ベースのマルチモーダル RAG と比較し、提案手法は「流暢さ」よりも「検証可能性」と「保守的な挙動」を優先しており、監査用途に適していることが確認されました。

5. 意義と結論 (Significance and Conclusion)

この研究は、生成 AI を高リスクな規制分野（税務、医療、法務など）に導入する際の重要な指針を示しています。

• 信頼性の向上: 「引用強制」と「保留メカニズム」を組み合わせることで、AI が自信を持って誤った回答をするリスクを劇的に低減しました。
• 説明可能性と監査性: 生成された回答の根拠を文書レベルで即座に検証可能にするため、公的機関や監査プロセスでの採用障壁を下げます。
• 責任ある AI 開発: 完全な自動化を目指すのではなく、人間の判断を補完する「分析支援ツール」としての AI 設計の重要性を強調しています。

結論として、このフレームワークは、複雑なマルチモーダル文書に対しても、出典の保存と厳格な生成制約を組み合わせることで、透明性と説明責任を備えた信頼できる AI システムを実現する実用的な道筋を示しました。