From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

技術要約：判決から争点へ：引用のハルシネーション制御を伴う法的推論の構造化抽出

問題提起
現代の司法制度、特にイタリアにおいては、裁判判決が法曹専門家が個別に読み解く能力を超える規模で生成されている。イタリアの税務裁判所のデータベースだけでも、約100万件の判決が含まれており、毎年数十万件単位で増加している。この膨大な量は、二次的な利用（例：先例検索、引用ネットワーク分析、法学NLPシステムの学習）において極めて高い価値を持つが、元のPDFが非構造化であるため、これらのアプリケーションの妨げとなっている。既存の抽出手法は、判決全体を単一の単位として扱うことが多く、手続き上の定型文によるノップスを排除できず、特定の法的論点を孤立させることに失敗している。さらに、大規模言語モデル（LLM）は、法的引用を「ハルシネーション（幻覚）」を起こしやすく、存在しない立法や判例をもっともらしく捏造する傾向があり、これが自動化された法的推論パイプラインの信頼性を損なっている。

手法
著者らは、イタリアの税務裁判判決を個々の法的争点へと分解し、それぞれに対して構造化されたXML表現を抽出するように設計された自動パイプラインを提案している。この手法は、以下の3つのコアコンポーネントで構成されている。

1. 争点ベースの分解とスキーマ設計：
   判決をモノリス（一体的）なブロックとして処理するのではなく、本パイプラインは「法的争点（questione giuridica）」を分析の単位として扱う。これは、判決を下すことは特定の法的問いを解決することであるとする司法判断理論（例：MacCormick, 1994）に合致している。抽出される構造は、IRACフレームワーク（Issue: 争点、Rule: 法理、Application: 適用、Conclusion: 結論）および法的三段論法に基づいている。各争点は、以下の特定のフィールドを持つXML形式でエンコードされる：

• <text>：「Whether + 節（～かどうか）」の形式による法的問い。
• <issue_outcome>：決定事項。受益者（納税者、税務当局、その他）によって分類される。
• <factual_premises>：関連する事実および事象。
• <legal_references>：引用文献（立法、判例、原則、行政実務）のリストと、その種類。
• <citation_reason>：特定の参照が引用された理由の説明。
• <judge_reasoning>：事実への法の適用。
• <summary>：争点の抽象的な要約。

2. 抽出パイプラインとモデル選択：
   パイプラインは、約33万件の一審および二審のイタリア税務裁判判決のコーパスを処理する。処理能力と、数十万件の文書を処理するコストのバランスを取るため、著者らは、良好なコストパフォーマンス（1判決あたり約0.0035ドル）を提供する汎用モデルであるDeepSeek V3を選択した。抽出には、長い判決文に対して2ステップのプロンプティング戦略を用いる：

• ステップ1： 争点を特定し、<text>、<summary>、および <issue_outcome> を抽出する。
• ステップ2： 特定された各争点について、詳細な推論、事実、および引用を抽出する。
  事後的な修正ステップでは、few-shotプロンプティングを用いて、<text> フィールドが厳密に「Whether + 節」の形式に従うように制御する。

3. Linkolnによるハルシネーション制御：
   LLMの引用における信頼性の低さに対処するため、パイプラインはLinkolnライブラリ（Bacci et al., 2019）を用いた検証レイヤーを統合している。このステップでは、以下の処理を行う：

• 元の判決文とLLMの出力の両方にある法的参照を解析する。
• それらを標準的な識別子（URN-NIR、ECLI、CELEX）に正規化する。
• 両方のセットを比較する。LLMの出力には存在するが、ソーステキストには見当たらない参照は、ハルシネーションとしてフラグが立てられ、削除される。
• 法的原則（標準的な識別子を持たないもの）については、専門家によって導出された182の規範的原則のホワイトリストを使用して、一致を確認する。

主な貢献
本論文は、主に3つの貢献を行っている：

1. 構造化スキーマ： IRACおよび法的三段論法に基づき、機械可読であり、人間による照会にも有用で、中程度の性能のLLMでも確実に抽出できるように設計された、新しい争点レベルのXMLスキーマ。
2. ハルシネーション制御を備えたコスト効率の高いパイプライン： ソーステキストに対して引用を正規化し検証する、DeepSeek V3と自動パーサーベースのハルシネーションフィルターを組み合わせたスケーラブルなパイプライン。
3. 専門家による検証済み評価： 2名の税法博士レベルの専門家によってアノテーションされた50件の判決を用いた厳格な検証プロトコル。ここでは、アノテーター間一致度（IAA）、LLM対専門家の一致度、およびハルシネーションフィルターの性能を報告している。

結果
50件の判決サブサンプルを用いた評価により、以下の知見が得られた：

• 争点抽出： LLMは、人間の専門家と比較して、高い適合率（93–94%）を示すが、再現率（70–82%）は中程度である。主なエラーモードは、ハルシネーションではなく、抽出漏れ（争点の欠落）である。抽出された78件の争点のうち、専門家によって存在しないと判定されたのはわずか4件であった。
• 引用抽出： LLMは、専門家の注釈に対して約74%のF1スコアを達成した。モデルは専門家と同程度の数の参照を抽出するが、特定の争点に関連性がないとみなされる参照を含めてしまうことがある。
• ハルシネーションフィルターの性能： フィルターは非常に効果的である。フィルタリング前、ハルシネーション率は11.7%であった。フィルタリング後、それは0.9%に低下した。フィルターは、31件のハルシネーションされた参照のうち29件を削除したが、有効な引用を誤って削除したケースはわずか7件（偽陽性率3.0%）であった。フィルターは「法の原則」に対して最も効果が低く、フィルタリング前のハルシネーション率は69%であった。
• 定性的スコア： 自由記述フィールド（推論、要約、結果）は、専門家から高い平均スコア（4.6–4.9/5）を得た。これらの定性的次元に関するアノテーター間の合意度は非常に高かった（Gwet's AC2 > 0.93）。
• 確率性： 著者らは、固定シードを使用しても、LLMは非決定的な挙動を示すことを指摘している。実行ごとの一致度（争点についてはF1 78%、引用については73%）は、アノテーター間の合意度よりも低いが、LLM対人間の一致度とは同等であり、これはモデルの確率性が性能の差の大部分を占めていることを示唆している。

意義と主張
著者らは、本研究が、イタリアの税務裁判判決に特化した、ハルシネーション制御を備えた初の争点レベルの専門家検証済み構造化抽出パイプラインを提供すると主張している。彼らは、本パイプラインを以下を含むダウンストリーム・アプリケーションの具体的な出発点として位置づけている：

• 争点レベルの検索： 単一の法的問いを孤立させることで、検索精度を向上させる。
• 引用ネットワーク分析： 偶発的な言及ではなく、紛争の決定に実際に使用された参照をエッジとして反映するグラフを構築する。
• データセット構築： 法的推論の構造化された大規模データセットを作成し、法学NLPシステムの学習およびベンチマークに活用する。

論文は、検証サンプル（50件）の小ささ、単一のモデルおよび管轄区域への依存、および判決を争点に分割する際の固有の主観性といった限界を認めつつ、控えめなトーンを維持している。著者らは、提案されたフォーマットが、特定の管轄区域やモデルに依存しない構造化抽出のための方法論的テンプレートとして機能すること、そして適切な検証レイヤーと組み合わせることで、現在のLLMが複雑な法的推論構造を確実にインスタンス化できることを強調している。