技術要約: LegalHalluLens

1. 問題提起

ワークフロー（契約書レビュー、コンプライアンス、デューデリジェンス）に導入されている現在のリーガルAIシステムは、集計指標では約52%と報告される幻覚（ハルシネーション）率を示している。しかし、本論文は、この平均値は信頼できる展開には不十分であると主張している。なぜなら、この数値は以下の2つの決定的な次元を隠蔽しているからである：

1. 失敗の集中（Failure Concentration）: エラーは一様ではなく、特定の主張タイプ（例：数値および義務条項）に強く集中している。これらのタイプは法的責任が最も高い一方で、他のタイプ（例：時間的要素）は大幅に信頼性が高い。
2. エラーの方向性（Error Direction）: 集計指標は、「欠落」（存在する義務の見落とし）と「捏造」（存在しない条項の捏造）を区別できない。これら2つの失敗モードは異なる法的帰結（例：執行不能な条項 vs 虚偽のリスク上限）をもたらすが、標準的なレポートでは同一に扱われることが多い。

その結果、コンプライアンス担当者は、モデルの選択や介入の設計を行うための実行可能なシグナルを得ることができない。なぜなら、集計された幻覚率が同一であっても、2つのシステムが正反対のリスクプロファイルを持つ可能性があるからである。

2. メソドロジー

著者らは、CUAD v1.0 コーパス（510件の商用契約書、41の条項タイプ、249,252の条項レベルのインスタンス）を用いて評価される、3つのコンポーネントからなる監査フレームワークLegalHalluLensを提案している。

A. タイプ別幻覚プロファイル（Typed Hallucination Profiles）

単一の集計率の代わりに、検証の難易度に基づき、法的に動機付けられた4つの主張カテゴリにエラーを分類する：

• 数値 (Numeric): しきい値や値（例：責任制限額）。
• 時間的 (Temporal): 日付や期限。
• 義務/権利 (Obligation/Entitlement): 法的助動詞、条件、および除外規定。
• 事実 (Factual): 同一性の主張（例：準拠法）。

本研究では、各カテゴリにおける HalTP（検出された条項内における内容の幻覚率）を測定する。また、単一モデル内の最高および最低の幻覚率の差を Typed Gap と定義する。

B. リスク方向指数 (Risk Direction Index: RDI)

エラーの方向的な性質を捉えるために、著者らは リスク方向指数 (RDI) を導入した。これは、矛盾した発見のうち「条件の欠落（omissions）」と「追加の条件（inventions）」の割合から導出される符号付きスカラー指標である。

• 数式: $RDI = p_{extra} - p_{missing}$
• 解釈: 正の値は、捏造主体の失敗（過大評価）を示す。負の値は、欠落主体の失敗（過小評価）を示す。これにより、集計されたエラー率が一致していても、逆の方向的バイアスを持つシステム同士の比較が可能になる。

C. 校正済みマルチエージェント・ディベート・パイプライン (Calibrated Multi-Agent Debate Pipeline)

このフレームワークは、診断出力（Typed Profiles および RDI）を利用して、マルチエージェント・ディベート・パイプラインを校正する。一般的なディベートの設定とは異なり、このパイプラインは測定された失敗モードに特化してチューニングされている：

• タイプ別懐疑派の挑戦 (Typed Skeptic Challenges): 「懐疑派（Skeptic）」エージェントは、主張タイプに基づいた具体的な挑戦を行う（例：数値的主張については値を正確に検証し、義務については助動詞をチェックする）。
• 非対称な構造ゲート (Asymmetric Structural Gates): パイプラインは、追加ゲート (Addition Gate)（条項を追加するには合意と検証を必要とする）と、削除ゲート (Deletion Gate)（検証によって存在が確認された場合は削除を阻止する）を採用している。この非対称性は、対象モデルの偽受容率 (FAR) 対 偽拒絶率 (FRR) のプロファイルに合わせて校正されている。
• 役割: パイプラインには、懐疑派 (Skeptic)、支持派 (Supporter)、再抽出者 (Re-extractor, 構造的エラー用)、仲裁者 (Arbiter)、検証者 (Verifier)、および判事 (Judge) が含まれる。

3. 主な結果

実験 1: タイプ別幻覚プロファイル

• 一貫した失敗の順序付け: 4つの多様なモデル（2つの商用API、2つのオープンソースモデル）において、一貫した失敗の順序付けが観察された：{数値, 義務} ≫ 事実 ≥ 時間的。
• 隠れたギャップ: 集計された HalTP 率が 50.9% から 56.5% の間に密集している一方で、単一モデル内の最も信頼できるタイプと最も信頼できないタイプの間の within-model gap は、約 38〜40 パーセントポイント であった。
  • 数値/義務の条項は、64.8–74.3% の割合で幻覚を起こしていた。
  • 時間的条項の幻覚率は、わずか 29.0–35.1% であった。
• 示唆: 集計レポートは、モデルが責任と執行可能性を決定する条項において、2倍〜2.5倍も信頼性が低いという事実を隠している。

実験 1: リスク方向指数 (RDI)

• 方向性の差別化: ほぼ同一の集計 HalTP（gpt-5.2 は 51.8%、qwen3-32b は 52.1%）を示す2つのモデルが、正反対の RDI 値を示した。
  • gpt-5.2: 正の RDI (+0.161) を示し、追加の条件を捏造する傾向がある。
  • qwen3-32b: 負の RDI (-0.202) を示し、既存の条件を欠落させる傾向がある。
• 重要性: この区別は展開において極めて重要である。欠落主体のモデルはコンプライアンス監視においてリスクを生み、捏造主体のモデルは責任評価においてリスクを生む。

実験 2: 校正による緩和

• パフォーマンス: タイプ別ディベート・パイプラインを小規模なオープンモデル（gemma-4-26B-A4B、4B アクティブパラメータ）に適用することで、商用APIと同等以上の性能を実現させた。
  • ディベートされたモデルは、5つの重み付けスキームのうち4つで総合ランク 1 を達成し、gpt-5.2（ランク2）を上回った。
• 捏造の削減: パイプラインは、捏造された検出 (FAR) を 45% 減少させた（524 インスタンスから 287 インスタンスへ）。
• 標的化された改善: 改善は、実験1で特定された最も失敗の多いカテゴリに集中した：
  • 義務 (Obligation): $\Delta$FAR = -8.2 pp。
  • 事実 (Factual): $\Delta$FAR = -5.8 pp。
  • 時間的 (Temporal): 最小限の変化 (+0.6 pp) であり、これはベースラインのエラー率が低かったことと一致している。
• 方向の修正: パイプラインは、ディベートされたモデルの RDI を、欠落主体のもの（-0.078）から、義務に関する請求に対してほぼ均衡した状態（-0.014）へとシフトさせることに成功した。

4. 重要性と主張

本論文は、LegalHalluLens が、集計精度から方向性を考慮した監査への必要な転換を提供すると主張している。

• 実行可能な診断: タイプ別プロファイルと RDI は、エージェント設計のための校正入力として機能し、特定の失敗モードに基づいた調達決定（例：運用には捏造主体のモデルを、コンプライアンスには欠落主体のモデルを選択するなど）を可能にする。
• コスト効率の高い緩和: 本研究は、汎用的なチューニングではなく、特定の失敗モードに合わせてディベート・パイプラインを校正することで、小さなオープンソースモデル（4B アクティブパラメータ）が商用APIと同等またはそれ以上の性能を発揮できることを示している。
• 限界と範囲: 著者らは、数値結果が CUAD スタイルの英語米国商用契約書 に適用されることを明示している。失敗の順序付けはアーキテクチャ間で一貫しているが、他の管轄区域や文書タイプについては再測定が必要である。
• 安全上の警告: 本フレームワークは診断用であり、クリアランス（合格判定）メカニズムではない。最良の構成であっても、検出された内容の約58%がソーステキストと矛盾していた。著者らは、高リスクなカテゴリにおけるフラグ付き条項については人間によるレビュー (human-in-the-loop) を行うことを推奨し、展開ごとの再測定なしでの自律的な展開に対して警告を発している。

要約すると、本論文は、信頼できるリーガルAIの展開には、単一の集計された幻覚率に頼るのではなく、どの主張が失敗し、どのように失敗するかを知ることが必要であると主張している。