技術要約：鋭い予測ではなく、較正された信頼（Calibrated Trust）

問題提起

法務AIコミュニティでは、証拠グラフと信念伝播、逐次ベイズオッズ更新、デンプスター・シェーファーの質量結合、および共形予測（conformal prediction）といった複数の不確実性定量化ツールを融合させることで、判例予測のための「画期的な」パイプラインが構築できるという提案が頻繁になされてきた。この仮説は、これらの手法を組み合わせることで、単一の大規模言語モデル（LLM）やより単純なベースラインと比較して、質的に優れた予測器が得られるというものである。

しかし、この提案が、何がどの程度改善されるのかを明示的に説明した上で、実際の法的データに対してエンドツーエンドの経験的検証が行われたことはほとんどない。本研究が取り組む核心的な問題は、このような融合パイプラインが、予測精度（識別能）または較正（calibration）を実際に向上させるのか、そして、容易なケースを自動化し、困難なケースを人間によるレビューへとエスカレーションする（トリアージ）ために、どのようにチューニングできるのかという点である。

手法

本研究では、LexGLUEおよびFairLexベンチマークから抽出された**1,000件の実在する欧州人権裁判所（ECtHR）**の事例を用いて、敵対的な経験的評価を実施した。タスクは、事案の事実関係の段落のみに基づき、裁判所が少なくとも一つの条約違反を認めたかどうかを予測する二値分類である。

実験アーキテクチャ

評価対象となるシステムは、以下の2段階構造に従う。

1. リーダー（Reader）: 事実関係の段落を、違反傾向を示すスコア $[0, 1]$ にマッピングする。
   • LLMリーダー: Anthropic Claude Opus 4.8 および OpenAI GPT-5.5。
   • 単語頻度リーダー: TF-IDF ベクタライザとL2正則化ロジスティック回帰（LLMを使用しない）。
2. アグリゲーター（Aggregator）: 事実ごとのスコアをケースレベルの決定へと統合する。
   • ベースライン: スコアの平均（Mean）および最大値（Max）。
   • 融合手法: ベイズオッズ更新、信念伝播（ダンピングあり）、およびデンプスター・シェーファー結合。
3. 共形レイヤー（Conformal Layer）: アグリゲーターをラップし、有限サンプルにおける被覆保証を提供することで、選択的予測（「進行」するか「レビュー」するかを決定すること）を可能にする。

実験アーム

本研究は約4,750回の制御されたテストを通じて、以下の3つの効果を分離して検証する。

• アームA（生のリキッドLLM）: 融合を行わない直接的なLLM出力。
• アームB（LLM + 融合）: 融合パイプラインを経由するLLMスコア。
• アームC（TF-IDF + 融合）: 同一の融合パイプラインを経由する単語頻度スコア（LLMを使用しないコントロール群）。
• コントロール: 融合の数学的価値そのものを孤立させるため、単純な平均集計を用いたバリアント。

評価指標

• 識別能（Discrimination）: ブートストラップ信頼区間を伴うAUROC。
• 較正（Calibration）: ブリアー・スコア（Brier score）および期待較正誤差（ECE）。
• 選択的性能（Selective Performance）: リスク・カバレッジ曲線、曲線下の面積（AURC）、および選択的精度制約（SAC）。
• トリアージ指標: 自動クリア率（Auto-clear rate）、逸脱エラー率（Escaped-error rate：誤った決定が自動発行された割合）、および捕捉エラー率（Caught-error rate：エラーがレビュー用にエスカレートされた割合）。

主要な貢献と知見

1. 識別能における改善は見られない

融合パイプラインは、予測精度をより単純な代替案よりも向上させることはない。

• すべてのシステムを通じて最も強力な識別器は、直接使用された最先端のLLMであった（GPT-5.5 生のAUROC $\approx 0.85$）。
• LLMを融合パイプラインにルーティングすると、識別能は低下した（$\approx 0.78$）。
• 単語頻度のベースラインを融合パイプラインにルーティングした場合、生のLLMの性能（$\approx 0.83$）と一致しており、これは融合の数学自体が識別能力を付加していないことを示している。

2. 事前分布の不一致による較正の破壊

LLMをベイズオッズおよびデンプスター・シェーファー融合と組み合わせると、較正誤差が2倍以上に増大する（ECEが $\approx 0.16$ から $\approx 0.46$ へ上昇）。

• メカニズム: ベイズ更新により、訓練セットの高い事前分布（違反率89.8%）が、バランスの取れたサンプルで生成されたスコアに再注入され、事後確率を多数派クラスへと引き寄せ、確信度と精度の間のリンクを破壊してしまう。
• 修正: 単一パラメータによる再較正（温度スケーリング）によって、較正が回復される。

3. デンプスター・シェーファーによる積極的な害

デンプスター・シェーファー融合は、長い証拠の連鎖において積極的に有害である。

• 全テストセットにおいて、精度がほぼチャンスレベルまで崩壊する（AUROC $\approx 0.54$）。
• 極めて重要なことに、これはかなりの割合のケースにおいて、自信を持って誤ったラベルを付与する（シングルトン予測においてチャンスレベルを下回る精度を示す）。
• 推奨事項: 法務パイプラインからデンプスター・シェーファーを完全に排除すること。

4. 予測ではなく、トリアージにおける価値

パイプラインの真の価値は、予測的なものではなく、運用的なものである。

• 共形選択的予測レイヤーを経由させた場合、システムは、どのケースを自動化し、どのケースをエスカレーションすべきかを判断する能力が著しく向上する。
• チューニング済みエンジンの結果: デンプスター・シェーファーを除去し、再較正を行い、クラス条件付きリスク制御を適用した後：
  • 自動クリア精度: 96.8%（未チューニングのベースラインの85.9%に対し）。
  • 逸脱エラー: 0.5%（3.8%に対し）。
  • 捕捉エラー: 本来エラーとなるはずのケースの96.3%が人間によるレビューにエスカレートされた（72.1%に対し）。
  • コスト: 自動クリア率は14%に低下した（29%に対し）。これは、認証された精度の底（accuracy floor）のための意図的なトレードオフを反映している。

意義と主張

本論文は、証拠融合パイプラインの貢献を、観察されなかった「鋭い予測」から、**「較正された信頼（Calibrated Trust）」**へと再定義すべきであると主張している。

• 較正された信頼: システムは、自身で決定できるケースと人間へのエスカレーションを要するケースを分離するための、監査可能で保証に基づいた能力を提供する。これは、自信に満ちた誤った判断が専門的な責任問題に直結する、高リスクな法的環境において極めて重要である。
• デプロイメント・アーキテクチャ: 著者は、「有能なリーダー、誠実で較正されたアグリゲーター、およびリスク制御された共形ゲート」からなる「薄い（thin）」エンジンを提案しており、これはコストを考慮したカスケード（安価なリーダー $\to$ LLMによる再スコアリング $\to$ 人間によるレビュー）内で展開される可能性がある。
• ガバナンス: 共形リスク制御によってサンプル外で認証された精度の底は、主観的な確信を統計的な保証（例：「自信のある決定は、最大でも $r$ の割合で誤っている」）へと変換する、規制当局や保険会社に提示可能なガバナンス・ツールとして機能する。

本研究は、特定の融合数学（ベイズオッズ、デンプスター・シェーファー）は予測を改善せず、むしろ有害となり得る一方で、共形予測を再較正されたスコアと統合することは、リスクを増大させることなく人間のレビュー負担を軽減する、安全で選択的な自動化ポリシーを可能にすると結論付けている。