技術的サマリー：関連性感受性評価とソルバ基盤推論による信頼性の高い法務 AI への道

1. 問題提起

法的推論は本質的に、法的に重要な変化と無関係な変化を区別することを要求する。法の支配に基づくシステムにおいて、司法判断は形式的合理性を満たさなければならない。すなわち、結論は、統治法令に遡及可能な明示的かつ一般的、かつ論理的に整合性のある規則によって正当化されなければならない。しかし、法務タスク（例えば、質問応答、意見要約、司法試験推論）に適用される現在の大規模言語モデル（LLM）は、この区別において決定的な失敗を呈している。それらはしばしば以下のような状態にある：

• 無関係な摂動に対する不安定性： 法的に無関係な属性（例えば、人口統計学的属性、表現の言い換え、手続的背景）や対立的な枠組み設定に基づいて、決定が変化する。
• 重要な変化への感受性の欠如： 法令の構成要件、心理状態、または適用される例外が変更された際、予測を更新できない。
• 混乱への脆弱性： 表面的な事実が重複しているが適用条件が異なる類似法令を区別することに苦慮する。

既存の評価は、しばしばこれらの現象を個別に研究している（例えば、公平性や頑健性を別々に評価）。モデルが「変えるべきではない」摂動に対して不変性を保ちつつ、「変えるべき」摂動に対して正しく更新されるかどうかを評価する統合的な枠組みが存在しない。

2. 手法

本論文は、新しい評価枠組みと新たな推論アーキテクチャという二つのアプローチを提案する。

2.1 法務関連性感受性評価

著者らは、信頼性の高い法的推論を法務関連性感受性評価問題として定式化する。この枠組みは、司法公平性、頑健性、対立的枠組み設定、および法令混同評価を単一のスイートに統合する。

• 摂動分類： 評価は摂動を以下の 2 種類に分類する：
  1. ラベル保存（変えるべきではない）： 重要な事実を保持しつつ、法的に無関係な情報（例えば、人口統計学的属性、言い換え、無関係な専門家意見、捏造された法的権威）を変更する摂動。信頼性の高いモデルは、$f(x) = f(\tau(x))$ を満たさなければならない。
  2. ラベル変更（変えるべき）： 法的に重要な条件（例えば、行為、心理状態、被害の重大性、法令の例外）を変更する摂動。信頼性の高いモデルは、$f(\tau(x)) = y_{\tau}$ を満たさなければならない。ここで、$y_{\tau}$ は新しい法的に正しいラベルである。
• 指標： この枠組みは、不変性（無関係な変化に対する安定性）、変更整合性（重要な変化に対する正しい更新）、バイアス量、および法令正確性を測定する。

2.2 LexGuard：ソルバ基盤の対話型マルチエージェント枠組み

標準的な LLM の失敗に対処するため、著者らは形式的推論を用いて法的提案と法的検証を分離するLexGuardを導入する。

• 法令の形式化： 法令および司法解釈は、実行可能な制約からなる形式的法知識ベース（$K$）に自動形式化される。各規則は、条件付き制約として表現される：$ARTICLEGUARD \land CLAUSEGUARD \Rightarrow PENALTY$。これらのガードは、主体、客体、行為、意図、被害、因果関係、および例外をチェックする。
• 対話エージェント： 役割を分化させた 2 つの LLM エージェント（検察側と弁護側）が、同一の事件記述から構造化された事実 - 法令論理組を独立して抽出する。
  • 検察側は、責任を支持する事実に焦点を当てる。
  • 弁護側は、欠落した要素、例外、および代替解釈に焦点を当てる。
  • エージェントは、類似クラスタ内の混乱を招く規定について議論し、候補法令を精緻化する。
• ソルバ中心の審判：
  1. システムは、提案された法令に対応する制約を $K$ 内で検索する。
  2. 抽出された事実は精緻化され、必要な法的要素と照合される。
  3. 精緻化された事実と制約は、SMT（Satisfiability Modulo Theories）式（$\Phi$）に符号化される。
  4. SMT ソルバ（Z3）が、条文ガード、条項ガード、および例外ガードの充足可能性をチェックする。
  5. 紛争解決： ソルバが矛盾（例えば、矛盾する事実または互換性のないガード）を発見した場合、紛争を特定する「unsat core」を返却し、事実の再グラウンディングまたは制約の修復をトリガーする。
  6. 最終判断は、ソルバによって検証された法令の適用性のみによって生成され、無関係な事実や幻覚的な法令をフィルタリングする。

3. 主要な貢献

1. 評価枠組み： 信頼性の高い法的推論を法務関連性感受性問題として定式化し、公平性、頑健性、対立的攻撃、および法令混同を網羅する「変えるべき」と「変えるべきではない」摂動の統合スイートで具体化した。
2. LexGuard アーキテクチャ： 法令を実行可能な制約として形式化し、対話エージェントを用いて競合する論理を抽出し、SMT ソルバを用いて論理的整合性と法令充足性を検証する、ソルバ基盤の対話型マルチエージェント枠組み。
3. 実証的検証： 既存の法務 LLM が体系的に無関係な変異に敏感であり、関連する法的要素を区別できないことを示す包括的な実験と、LexGuard が信頼性、公平性、および頑健性を大幅に向上させることを示した。

4. 実験結果

著者らは、公開法務データセット（LeCaRDv2、LEEC）および独自の摂動スイートを用いて LexGuard を評価した。

• 標準予測性能： LexGuard は、LeCaRDv2 および LEEC において、一般規定および特定規定の予測の両方で最良の F1 スコアを達成した。この改善は主に高い精度によって引き起こされたものであり、ソルバが無関係な法令予測を効果的に抑制していることを示している。
• 量刑精度： LexGuard は、「ゴールド」（真値）法令の有無にかかわらず、量刑予測において最小の二乗平均平方根誤差（RMSE）を達成し、高い法的妥当性（ソルバ検証済み）を維持した。
• 関連性感受性（RQ3 および RQ4）：
  • 変えるべき： LexGuard は、法令の構成要件が変更された際に予測を更新する能力において優れており、「変更整合性」においてベースラインを上回った。
  • 変えるべきではない： LexGuard は、対立的枠組み設定（例えば、捏造された権威、役割の乗っ取り）および benign な言い換えに対して強い頑健性を示し、ベースラインが失敗した場所で高い不変性と攻撃感知 F1 スコアを維持した。
• 法令混同（RQ5）： 混乱を招く法令クラスタ（例えば、窃盗対詐欺）を扱うタスクにおいて、LexGuard は「正の完全性（Positive Exactness）」（ベースラインの 58.57% 対 88.71%）を有意に高く達成し、見落としおよび誤った類似法令選択の割合を低く抑えた。
• アブレーション研究： Z3 推論器を除去すると性能が最も大きく低下し、記号的整合性チェックの必要性を浮き彫りにした。対話的議論モジュールを除去しても精度が大幅に低下し、混同されやすい規定間の微細な競争の価値を確認した。

5. 意義と主張

本論文は、法的信頼性は精度だけでなく、法的に重要な変化に対する較正された感受性も必要であると主張する。

• 精度を超えて： モデルが無関係な摂動に対して不安定であるか、重要な変化に対して感受性がない場合、高い精度だけでは法務 AI にとって不十分である。信頼性は、関連する変化と無関係な変化を区別する能力によって定義される。
• 監査可能な推論： 形式的制約と SMT 検証に基づいて意思決定をグラウンディングすることで、LexGuard は明示的な法令規則に対して監査可能な記号的正当化を生み出し、標準的な LLM の「ブラックボックス」性に対処する。
• 頑健性メカニズム： 結果は、対立的攻撃および無関係な摂動に対する頑健性は、プロンプトエンジニアリング（例えば、思考連鎖または数ショットプロンプト）のみでは達成できず、形式的ソルバによる提案と検証の構造的な分離を必要とすることを示唆している。

認められた限界：
著者らは、枠組みの形式化の質が、初期事実と規則を生成するために使用される LLM の精度に依存することを指摘している。現在のシステムは法令規則に限定されており、判例法、開かれたテクストの規範、または発展する法理を完全に捉えてはいない。さらに、多段階プロセスは中程度の計算オーバーヘッドをもたらすが、事件あたりのコストは実用的に許容範囲である。