技術的概要：LP-Eval：法的命題生成の品質を測定するための評価基準とデータセット

問題提起

法的命題生成とは、法的テキストから規範的命題（規則、原則、条件、および帰結）を抽出するタスクであり、法的推論および法理学的研究の基盤的要素である。法的実務および法的知識の組織化におけるその中心性にもかかわらず、このタスクは法的自然言語処理（Legal NLP）において十分に検討されていない。既存の研究は、主に判例検索、判決予測、または事件要約に焦点を当てており、法的規範を明示的ではなく、暗黙的に扱う傾向がある。

この分野における進展の大きな障壁は、堅牢な評価手法の欠如である。法的命題生成は、複数の有効な出力が存在しうる開放的なタスクであり、わずかな表現の違いが法的意味を変化させる可能性がある。したがって、表面の重なりを測定する BLEU や ROUGE などの標準的な n-gram 指標は、法的忠実度を測定するものではないため、不適切である。さらに、大規模言語モデル（LLM）は評価者として（「LLM-as-a-judge」）有望であるが、幻覚に陥りやすく、構造化されたガイダンスなしには、高品質と低品質の法的抽象化を区別するために必要な微妙なニュアンスを欠くことが多い。

手法

LP-Eval 評価基準

評価のギャップに対処するため、著者らは法的専門家と共同設計した 3 段階の評価基準「LP-Eval」を導入する。この基準は、生成された法的命題（LP）の品質を 2 つの主要なカテゴリに分解する。

1. 形式的妥当性（必須構成要素）: LP が 3 つの特定の構造的要素を含んでいる場合にのみ、有効とみなされる。

   • スタンス: 規範的立場（例：「義務を課す」、「禁止する」）。
   • 対象: 規制されているエンティティまたは権利。
   • 特定: 規則の条件、範囲、または帰結。
   • 注記: どの構成要素でも欠落している場合、その命題は無効とラベル付けされる。

2. 品質次元（スコアリング）: 有効な命題は、5 つの次元において 1〜3 のリッカート尺度でスコアリングされる。

   • ソース独立性: 命題が特定の事件事実から抽象化されている度合い。
   • 事実独立性: ソース独立性に類似し、具体的な事実の詳細の除去に焦点を当てる。
   • 簡潔性: 簡潔さおよび冗長性の欠如。
   • 一般性: 直近の事件を超えた規則の適用可能性。
   • 忠実度: 権威あるソーステキストへの忠実さ。

データセット構築

著者らは、欧州連合司法裁判所（CJEU）の判決からサンプリングされた 50 の段落に由来する、100 の LLM 生成法的命題からなるデータセットを公開した。

• サンプリング戦略: 学習データの暗記を検証するため、データセットには確立された（高頻度で引用され、古い）事件と最近の事件の両方が含まれる。
• 生成: 3 つのモデルが命題の生成に使用された。GPT-OSS（120B パラメータ）、OLMo-3-7B-Instruct、および法的専門特化型の Saul-7B-Instruct。
• アノテーション: 2 人の法専門家（博士課程の研究者と法学部最終学年の学生）が、LP-Eval 評価基準を使用して GPT-OSS および OLMo の出力にアノテーションを付与した。アノテーター間の一致は高く（Gwet の AC1 = 0.96）、評価基準の明瞭性が検証された。

実験設計

本研究は 2 つのタスクを調査する。

1. 生成者としての LLM: 専門家によるアノテーションに対する、LLM によって生成された命題の品質を評価する。
2. 評価者としての LLM: LLM が専門家の判断を再現できるかどうかを評価する。これは 2 つのモードでテストされた。
   • 評価基準ガイド: LLM がステップバイステップの LP-Eval プロトコル（構成要素の確認、その後次元のスコアリング）に従う。
   • 直接スコアリング: LLM が中間ステップなしで総合スコアのみを提供する。

主要な結果

1. 生成品質

• 形式的妥当性: LLM は構造的に有効な命題を生成する強力な能力を示した。生成された 100 の LP のうち 95 が有効と評価された。主な失敗モードは「対象」構成要素（規範的命題）の欠落であり、これは人間のアノテーター間でも合意が最も困難な構成要素であることが判明した。
• 品質スコア: 専門家は忠実度（2.95/3）と事実独立性（2.96/3）に対して高い平均スコアを付与し、モデルがテキストに忠実でありながら特定の事実から成功裏に抽象化できたことを示した。ソース独立性（2.31/3）と簡潔性（2.48/3）はわずかに低いスコアを受け、時折の冗長性または明示的なソース参照を示唆している。
• 事件の顕著性効果: 確立された事件から派生した命題と最近の事件から派生した命題の間には、統計的に有意な差が見られた。確立された事件からの命題は、簡潔性（$p=0.02$）、ソース独立性（$p<10^{-5}$）、および総合品質（$p<0.001$）において有意に高く評価された。これは、LLM がより確立され、おそらくより暗記されている法的議論を持つ事件において、より良いパフォーマンスを発揮することを示唆している。

2. 評価パフォーマンス

• 評価基準の整合性: LP-Eval 評価基準を使用した場合、GPT-OSS は人間専門家との高い一致（AC1 = 0.91–0.93）を達成し、専門家間の一致（0.94）と同等であった。
• 構造の重要性: 評価基準のステップを削除し、直接の総合スコアを要求すると、一致は 0.85 に低下し、構造化されたガイダンスが LLM 評価者にとって重要であることを示した。
• 感度の限界: 評価基準ガイド付きの LLM は総合スコアにおいて専門家とよく一致したが、人間専門家が特定した確立された事件と最近の事件間の統計的に有意な品質の違いを検出することはできなかった。これは、LLM が専門家のスコアリングを模倣することはできるが、事件の顕著性に関連するより微細な質的区別を捉える感度が欠如していることを示している。

意義と貢献

本論文は、法的 NLP の分野に対して 3 つの主要な貢献を行う。

1. LP-Eval 評価基準: 表面的な指標を超えて、形式的妥当性と実質的な品質次元を評価する、法的命題生成に特化した最初の構造化された専門家設計の評価フレームワークを導入する。
2. LP-Eval データセット: CJEU の判決から抽出された 100 の専門家アノテーション付き法的命題のキュレーションされたデータセットを公開し、法的推論および生成における将来の研究のためのベンチマークを提供する。
3. 実証的洞察: 本研究は、以下の点について最初の体系的な証拠を提供する。
   • LLM は高品質で形式的に有効な法的命題を生成できる。
   • 生成の品質はソース事件の顕著性と年齢と相関しており、おそらく学習データの影響によるものである。
   • 評価基準ガイド付きの LLM 評価は、一般的な整合性については人間によるスコアリングの代替手段として viable であるが、現時点では人間専門家が知覚する法的抽象化の微妙な変動を検出する感度が欠如している。

著者らは結論として、LLM は法的命題の生成と評価の自動化において有望であるが、現在のモデルは法的推論に固有の微妙で重大な区別に対して十分に感度が高くなく、微細な評価には引き続き人間の専門知識への依存が必要であると述べている。