Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA

本論文は、判例中心の既存評価の限界を克服し、法文の階層構造を考慮した検索と、文脈不足時の安全な回答拒否を同時に評価する新たなベンチマーク「SearchFireSafety」を提案し、グラフ導出検索の有効性とドメイン適応モデルのハルシネーションリスクのトレードオフを実証しています。

要約

1. 従来の「法律 AI」の失敗：平らな地図の罠

これまでの法律 AI は、**「判例（過去の裁判の記録）」**を勉強させることに特化していました。

• イメージ： 過去の裁判例は、それぞれが**「独立した物語」**のようなものです。A さんの事件と B さんの事件を比べるだけでいいので、AI は「似ている物語」を探せば正解にたどり着けます。

しかし、今回の研究が注目したのは**「法令（法律そのもの）」**です。

• イメージ： 法令は、**「巨大な木」や「複雑な迷路」**のようなものです。
  • 一番上には「法律（大原則）」があります。
  • その下に「施行令（細かいルール）」、さらに下に「施行規則」「技術基準」と続きます。
  • 問題点： ユーザーが「窓のない階って何？」と聞くと、AI は「窓のない階」という言葉が書かれた一番上の法律を見つけます。でも、本当の答え（具体的な数値や条件）は、一番下の「技術基準」という別の文書に隠れています。
  • これらを繋ぐのは、**「第○条を参照せよ」という小さな注釈（リンク）**だけです。

従来の AI は、この**「上と下が離れている」という構造を理解できず、「答えがないのに、勝手に適当なことを言ってしまう（幻覚）」という致命的なミスをしていました。これを論文では「法令検索のギャップ」**と呼んでいます。

2. 新基準「SEARCHFIRESAFETY」の登場

研究者たちは、この問題を解決するために、「消防法」をテーマにした新しいテスト基準（ベンチマーク）を作りました。名前は「SEARCHFIRESAFETY」（検索・火災・安全）です。

このテストには、2 つの重要な役割があります。

① 「迷路の案内人」テスト（構造を踏まえた検索）

• シナリオ： ユーザーが「学校に手すりをつける場合、1.2 メートル超えは窓とみなされる？」と聞きます。
• AI の仕事： 単に「手すり」や「1.2 メートル」という言葉を探すのではなく、「法律→施行令→技術基準」というリンクを辿って、答えが隠れている一番下の文書までたどり着けるかを試します。
• 結果： 従来の AI はここで迷子になりましたが、**「リンク（引用関係）をたどる」**という新しい方法（グラフ誘導）を使うと、正解にたどり着けることが分かりました。

② 「沈黙の勇気」テスト（安全な判断）

• シナリオ： AI に**「答えに必要な文書の一部だけ」**を与えます（例：答えのヒントがある下の文書を隠す）。
• AI の仕事： 「情報が足りないから、『答えられません』と正直に言うべきか」、それとも「適当に推測して答えるべきか」。
• 重要点： 消防法のような分野では、「間違った答え」を「自信満々に」出すことが、実際に人命に関わる危険です。
• 結果： 多くの AI は、情報が不足していても**「自信を持って嘘（幻覚）」を言いました。特に、法律の専門知識を詰め込んだ AI は、「知らないのに、もっともらしく答える」**傾向が強まりました。

3. 発見された「ジレンマ」と「解決策」

この研究から、2 つの重要な教訓が得られました。

• 教訓 1：検索が良ければ、答えも良くなる
  • 正しい文書（リンクを辿った先）を見つけられれば、AI は素晴らしい答えを出せます。
• 教訓 2：知識を詰め込みすぎると、危険になる
  • 法律の専門知識を AI に学習させすぎると、**「分からない時でも、無理やり答えてしまう」**という癖がついてしまいます。
  • 比喩： 法律を暗記したばかりの新人弁護士は、**「分からないことがあっても、自信満々に推測して答えてしまう」傾向があります。一方、経験豊富な弁護士（あるいは適切な仕組みを持った AI）は、「証拠が足りないなら、黙って『分かりません』と言う」**ことができます。

4. 結論：AI には「沈黙する勇気」も必要

この論文は、法律 AI を作る際には、**「正解を見つける力（検索）」だけでなく、「分からない時に止まる力（安全）」**も同時に評価する必要があると主張しています。

• これまでの評価： 「正解率が高いか？」だけを見ていた。
• これからの評価： 「正解を見つけられるか？」＋**「情報が足りない時に、無理に答えを出さないか？」**の 2 つを測る必要があります。

まとめ

この研究は、**「法律という複雑な迷路を AI に案内させるには、単に言葉の一致を探すだけではダメで、文書同士の『つながり』を辿る力と、情報が足りない時に『沈黙する勇気』を持つことが重要だ」**と教えてくれました。

火災安全のような、人の命に関わる分野では、「自信過剰な嘘」よりも、「正直な『分かりません』」の方が、はるかに安全で信頼できるのです。

技術概要

論文「Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA」の技術的サマリー

本論文は、従来の法律 QA ベンチマークが主に判例法（ケース・ロー）に焦点を当てていたのに対し、法令（Statute）中心の領域における構造的な課題と安全性に特化した新しい評価基準「SEARCHFIRESAFETY」を提案した研究です。特に、韓国の消防安全規制を事例として、大規模言語モデル（LLM）が法令の階層構造をどう理解し、不確実な状況でどう振る舞うかを検証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：法令中心の領域における課題

従来の法律 AI ベンチマークは、判例の類似性を検索する「判例法（Common Law）」の文脈で設計されており、文書が独立した単位として扱われることが多かったです。しかし、法令（Statute）中心の領域（例：データ保護、消防規制など）では、以下のような根本的な違いと課題が存在します。

• 法令の階層性と断片化: 法令は「法（Act）→施行令（Enforcement Decree）→施行規則（Enforcement Rule）→技術基準（Technical Standard）」という階層構造を持ち、具体的な答えは上位の法文ではなく、下位の技術基準に分散して記載されることが多いです。
• 法令検索ギャップ（Statutory Retrieval Gap）: ユーザークエリは上位の法文と語彙的に一致するものの、実際の答えは下位の技術基準にあり、両者は引用関係（Citation）でしか繋がっていません。従来の密な埋め込み（Dense Embedding）に基づく検索モデルは、この意味的な距離が遠く、辞書的な類似性が低い「引用チェーン」をたどるのに失敗し、幻覚（Hallucination）を引き起こす傾向があります。
• 安全性と不確実性: 消防規制のような安全クリティカルな領域では、文脈が不完全な場合に「分からない」と答える（Abstention）能力が不可欠です。しかし、モデルは不足している証拠があるにもかかわらず、自信を持って誤った回答を生成するリスクがあります。

2. 提案手法：SEARCHFIRESAFETY ベンチマーク

韓国消防庁の規制を事例として、構造認識型かつ安全性を考慮したベンチマーク「SEARCHFIRESAFETY」を構築しました。

データセットの構築

1. 法的コーパスの構築: 2025 年 4 月 30 日時点の最新法令（131 件、4,467 個の原子単位）を収集。画像や数式を含む非構造化データを OCR と人間による検証で構造化テキスト化しました。
2. 引用グラフの拡張: 法令間の明示的なハイパーリンク（外部引用）と、同じ法令内の参照（内部引用）を正規表現で解析し、完全な**引用グラフ（Citation Graph）**を構築しました。
3. 二重ソースの QA データ:
   • 実世界専門家 QA（検索重視）: 消防庁の相談窓口から収集した 876 件の実質問。専門家が引用する法令をマッピングし、階層をまたぐ検索タスクを定義。
   • 合成マルチホップ QA（安全性重視）: 2 つの関連法令（A と B）を対として生成した 3,395 件の多肢選択問題。
     • 完全文脈: A+B を提示し、正解を導く。
     • 部分文脈: A のみ提示（B は欠落）。この場合、正解は「情報不足で判断できない」であり、モデルが B の内容を推測して幻覚を起こさないかを評価。

検索手法：構造認識再ランク付け（SAR）

従来の密な検索（Dense Retrieval）の限界を補うため、Structure-Aware Reranking (SAR) を提案しました。

• 仕組み: 初期検索結果（シード）から、明示的な引用リンクをたどって近傍ノードを探索し、グラフ構造に基づいて関連性を伝播させます。
• ロバストな投票: シード文書が持つ意味的スコアを、引用リンクを通じて隣接ノードに伝達します。ハブノード（過度に多くの文書を引用するもの）やスーパーハブ（一般的な条文）によるノイズを抑制するため、次数に基づいたペナルティを適用します。
• 残差融合: 意味的スコアと構造的ボーナスを融合し、意味的に既に高い文書の順位を乱さず、見落とされていた「ギャップ」文書（構造的に重要だが意味的に遠い文書）のスコアを上げます。

評価プロトコル

• 検索タスク: Recall@K, nDCG@K を指標に、SAR の有効性を検証。
• 生成タスク（安全性評価）:
  • Zero-Shot（文脈なし）
  • Full Context（完全な証拠あり）
  • Partial Context（重要な証拠が欠落）
  • Partial Context において、モデルが「分からない」と回答するか、あるいは自信を持って誤った回答（幻覚）をするかを測定。

3. 主要な結果

検索性能の向上

• 密な検索の限界: 従来の BM25 や密な埋め込みモデル（Qwen3-Emb, BGE-M3）単体では、法令の階層をまたぐ検索において Recall が低く、特に「法令検索ギャップ」を埋めきれませんでした。
• SAR の効果: 提案手法 SAR を適用したところ、両方の埋め込みモデルにおいてRecall@50 が 73%〜74% まで向上し、nDCG も改善されました。グラフに基づく再ランク付けが、意味的類似性だけでは見つからない構造的に重要な証拠を復元できることを示しました。

安全性と幻覚のトレードオフ

• ドメイン適応のリスク: 法令コーパスで継続事前学習（CPT）を行ったモデルは、完全な文脈がある場合の精度は向上しましたが、部分文脈（証拠不足）における安全性が著しく低下しました。
• 過信の増加: ドメイン適応されたモデルは、証拠が欠落している場合でも「分からない」と答えることを避け、自信を持って誤った回答を生成する傾向が強まりました。
• GPT-4o の優位性: 部分文脈における「拒絶（Abstention）」能力において、GPT-4o はオープンウェイトモデルよりも高い安全性を示しました。これは、ドメイン特化型モデルが「答えようとする」傾向が強すぎることを示唆しています。

4. 主要な貢献

1. SEARCHFIRESAFETY の提案: 法令中心の領域における「構造的検索」と「安全性（不確実性下での拒絶）」を同時に評価する初のベンチマーク。
2. 引用グラフ注釈付きデータセット: 法令の階層構造と引用関係を明示的にラベル付けし、マルチホップ推論と安全な拒絶を体系的に評価可能なデータセットの公開。
3. 構造認識再ランク付け（SAR）の実証: 密な検索だけでは解決できない法令検索ギャップを、グラフ構造を活用することで埋められることを示しました。
4. 安全性のトレードオフの発見: 法令ドメインへの適応が、不完全な文脈下での幻覚リスクを高めるという重要な知見を提供し、安全な RAG システム設計の必要性を強調しました。

5. 意義と結論

本研究は、法律 AI の開発において、単なる「精度向上」だけでなく、**「いつ答えるべきか（不確実性の認識）」と「法令の構造的なつながりをどう扱うか」**が極めて重要であることを浮き彫りにしました。

• 実用的意義: 消防規制のような安全クリティカルな分野では、モデルが証拠不足を認識し、専門家への相談を促す「拒絶」ができることが、誤った判断による事故を防ぐために不可欠です。
• 将来的展望: 今後の法律 RAG システムは、高精度な検索（SAR のような構造認識型）と、不確実性を適切に扱える生成制御の両立が求められます。SEARCHFIRESAFETY は、これらの要素を評価するための基盤として機能します。

総じて、本論文は法律 AI が実社会で安全に運用されるために必要な、構造的な理解と安全性のバランスを評価する新たな基準を確立した点で画期的です。