論文要約：メタデータ強化型 RAG パイプラインと直接選好最適化（DPO）による法的 LLM の強化

この論文は、大規模言語モデル（LLM）が長文の法的ドキュメントを扱う際に発生する「幻覚（ハルシネーション）」や「信頼性の低下」という課題に対処するため、メタデータ強化型ハイブリッド RAG（検索拡張生成）と直接選好最適化（DPO）を組み合わせる新しいアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義

法的ドメインにおける LLM の応用には、以下の特有の課題が存在します。

• 幻覚の深刻さ: 法的文書では、条文や判例の引用が正確であることが不可欠ですが、LLM は文脈が不十分な場合でも回答を生成し、誤った条項や判例を捏造する（幻覚する）傾向があります。
• RAG の限界: 従来の RAG は文脈を補完しますが、法的コーパス特有の「語彙的な冗長性」や「構造的な類似性」により、ドキュメントレベルの検索ミスマッチ（DRM）が発生し、誤った文書からチャンクを抽出してしまう問題があります。
• デコード時の失敗: 文脈が不十分な場合でも、モデルが「安全に拒否する」のではなく、無理に回答を生成してしまう、あるいは逆に過剰に保守的になり「拒否」しすぎてしまう（過剰拒否）という二極化の問題があります。特に、プライバシー保護のために小規模なローカルモデルを使用する必要がある場合、この問題は顕著です。

2. 提案手法

著者らは、検索段階（RAG）と生成段階（デコーダー）の両方からアプローチする二重の戦略を提案しました。

A. メタデータ強化型ハイブリッド RAG

法的文書の検索精度を向上させるための新しい RAG パイプラインです。

• 再帰的チャンキング（Recursive Chunking）: LangChain の RecursiveCharacterTextSplitter を使用し、セクション、段落、文、文字レベルの境界を考慮して文書を分割します。これにより、法的論理の断絶を防ぎます。
• メタデータ注入: 単なるテキストチャンクに、ドキュメント名、管轄区域、およびローカルウィンドウ要約（隣接する 4 つのチャンクを跨ぐ要約）などのメタデータを付加します。これにより、埋め込みベクトル生成時に文脈情報が強化され、検索の精度が向上します。
• ハイブリッド検索: 密な意味的埋め込み（Dense Embedding）と、BM25 による疎な語彙検索（Sparse Retrieval）を組み合わせます（重み付け：Dense 0.8, Sparse 0.2）。これにより、正確な条文引用や固有名詞の一致を確保しつつ、意味的な関連性も捉えます。

B. 直接選好最適化（DPO）

モデルの「拒否行動」を制御し、安全性と有用性のバランスを最適化します。

• 課題: 単純なプロンプト指示（「文脈が不十分な場合は拒否せよ」）では、モデルが過剰に保守的になり、適切な文脈があっても拒否してしまう（過剰拒否）傾向がありました。
• DPO の適用: 以下の選好ペアを用いてモデルを微調整します。
  • 正しい文脈の場合: 「回答生成」を「拒否」よりも好むように学習。
  • 誤った/不十分な文脈の場合: 「拒否」を「回答生成」よりも好むように学習。
• これにより、モデルは文脈が十分であれば正確に回答し、不十分な場合は確実かつ適切に拒否する「選択的拒否」能力を獲得します。

3. 主要な貢献

1. 法的ドメイン特有の RAG 課題の特定と解決: 法的文書における「ドキュメントレベルの検索ミスマッチ（DRM）」を定量化し、メタデータ注入とハイブリッド検索によってこれを大幅に改善しました。
2. 小規模モデルにおける安全な拒否の確立: 指示チューニングされた小規模モデル（LLaMA 3.2 1B）において、DPO を用いて「過剰拒否」と「幻覚」の両方を同時に抑制し、状況に応じた適切な振る舞いを可能にしました。
3. 包括的な評価フレームワーク: 単なる回答精度だけでなく、検索段階での「DRM（誤った文書からの抽出率）」と「スパンリコール（正解テキストの抽出率）」、そして生成段階での「拒否率」と「BERTScore」を統合的に評価する枠組みを構築しました。

4. 実験結果

PrivacyQA、MAUD（契約分析）、Australian Legal QA の 3 つのデータセットで評価を行いました。

RAG の結果

• メタデータ強化の効果: メタデータ注入により、特に構造化された契約書（MAUD）や判決文（Australian Legal QA）において顕著な改善が見られました。
  • MAUD データセット: スパンリコールが約 25% から 105% へ向上（相対的に 320% 改善）、DRM が 87% から 13% へ大幅に減少しました。
  • Australian Legal QA: スパンリコールが 35-40% 向上し、DRM が 18-28% 減少しました。
• 結論: メタデータは、法的文書のような複雑で構造的なテキストの検索精度を劇的に向上させます。

DPO の結果

• 拒否行動の改善:
  • 正しい文脈: 過剰拒否率が 53.2%（ゼロショット）から 1.5% へ激減しました。
  • 誤った文脈: 適切な拒否率が 87.3% から 99.3% へ向上しました。
• 回答品質: 正しい文脈における回答の質（BERTScore F1）は、0.8526 から 0.9074 へ統計的に有意に向上しました。

エンドツーエンド評価

• 検索（メタデータ強化 RAG）と生成（DPO 適用モデル）を組み合わせることで、ベースラインに対して F1 スコアが 0.8479 から 0.8657 へ向上し、法的 QA タスク全体の性能が向上することが確認されました。

5. 意義と結論

この研究は、法的 AI における信頼性と安全性を高めるための重要なステップを示しています。

• 二重のアプローチの重要性: 検索段階で「正しい文脈」を確実に引き出し、生成段階で「文脈が不足している場合の適切な拒否」を実現することで、LLM の幻覚を効果的に抑制できます。
• 実用性: 小規模なモデル（1B パラメータなど）でも、DPO と適切な RAG パイプラインを組み合わせることで、プライバシーを維持しつつ高精度な法的支援が可能になります。
• 将来展望: 本研究で確立された手法は、医療など他の高リスクドメインへの適用や、モデル規模の影響調査、さらに高度なアライメント技術（RLHF など）との比較検討へと発展させる余地があります。

総じて、メタデータ強化による検索精度の向上と、DPO による生成制御の組み合わせは、法的 LLM の実用化における「精度」と「安全性」の両立を実現する有効な解決策です。