Persuadability and LLMs as Legal Decision Tools

オースィン・サトルとデヴィッド・リリスによる論文「説得性と法的決定ツールとしての大規模言語モデル」の詳細な技術的要約を以下に示す。

1. 問題提起

本論文は、大規模言語モデル（LLM）を法的決定者またはアシスタントとして展開する際の決定的な課題に取り組んでいる。司法および行政上の決定において不可欠な要件は説得性、すなわち対立する当事者からの論争に接し、それによって影響を受ける能力である。しかし、以下のような緊張関係が存在する。

• 硬直すぎる場合: 説得されない決定者は、新たな証拠や論点を考慮しない（audi alteram partemの原則に違反する）。
• 柔軟すぎる場合: 過度に説得されやすい決定者は、事件の法的な妥当性ではなく、弁護士の弁論技術に基づいて決定を下す可能性がある。

著者らは、最先端の LLM がこの緊張関係を乗り越えられるかどうかを調査する。具体的には、**LLM は、法的な事件の客観的な妥当性ではなく、論争を生成する弁護士の「質」（または正体）によってどの程度影響を受けるか？**という問いを検証する。

2. 手法

著者らは、3 者の役割（論争を生成する弁護士、事件を決定する裁判官、およびシナリオ（困難な法的質問））を含む三角的実験フレームワークを設計した。

A. シナリオ（「困難な」質問）

• 出所: 米国控訴裁判所、イングランド・ウェールズ控訴裁判所、アイルランド最高裁判所の分割判決から抽出された 15 のシナリオ。
• 根拠: 分割判決（反対意見を含む）は、単一の正解が存在しない「困難な」法的質問を示しており、決定が判断と説得に依存することを意味する。
• 構造: 各シナリオには、事実と中心的な法的質問が含まれる。

B. 「弁護士」モデル（論争の生成）

4 つの異なる LLM を用いて、対立する双方の論争を生成した。

1. OpenAI gpt-4o
2. Google gemini-3-pro-preview（4k 思考予算）
3. OpenAI gpt-5.1（低推論努力）
4. Anthropic Claude Sonnet 4.5（8k 思考予算）

プロンプト戦略:
実質的な法的コンテンツと弁論形式を区別するため、弁護士モデルには 2 通りの方法でプロンプトを提示した。

1. 事実のみ: 事件の事実と法的質問のみを提供（モデルに新規の論争を生成させる）。
2. 事実＋元の論争: 事実に加え、歴史的な事件で実際に行われた論争の要約を提供（最良の法的ポイントに関する「ヒント」を提供）。

C. 「裁判官」モデル（決定）

• 対象: 20 種類の異なる裁判官モデルをテスト（クローズドウェイトとオープンウェイトの混合、サイズや推論アーキテクチャが異なる）。
• タスク: 1 つのシナリオと、異なる弁護士モデルによって生成された 2 つの競合する論争（双方から 1 つずつ）が与えられた場合、裁判官はその管轄区域の裁判所が事件を決定するように決定を下す。
• 規模: 各裁判官は 1,200 回テストされた（元の論争あり 600 回、なし 600 回）、合計 24,000 回の試行。

D. 説得性の指標

著者らは、論争の質の代理指標としての弁護士の正体に基づいて説得性を定義した。

• ベースライン: 裁判官が説得されない場合、任意の弁護士が 50% の確率で勝利するはずである（ランダム割り当て）。
• ペアワイズ説得性（$p_2$）: 2 つの特定の弁護士が競合する際の、50% ベースラインからの偏差を測定する。
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  （ここで $m$ は各弁護士の勝利数、$n$ は試行数）。
• 集団説得性（$p_{pop}$）: すべての組み合わせにおいて、裁判官が特定の弁護士モデルをどの程度好むかを測定する集計指標。

3. 主要な貢献

1. 概念的フレームワーク: AI による法的決定の文脈において、必要な説得性と過度の感受性の間の特定の緊張関係を特定した。
2. 新規手法: 説得性を測定するための**「弁護士対弁護士対裁判官」という三角的セットアップ**を提案し、従来の二元的（説得者対説得対象）な研究とは区別した。
3. 初の体系的法的探求: 複雑な法的推論の文脈に特化した、LLM の説得性に関する大規模な実証研究を初めて提供した。
4. オープンデータ: 再現性のために、すべてのコード、プロンプト、データ（15 のシナリオ、側面あたり 1,200 の論争、24,000 の裁判官回答）を公開した。

4. 主要な結果

A. 普遍的な説得性

• すべてのモデルが説得される: すべての裁判官モデルは統計的に有意な説得性（$p < 0.05$）を示した。
• 規模: 集団説得性（$p_{pop}$）は0.08 から 0.20の範囲であった。これは、弁護士の正体（ひいては論争の質）が、ランダムなベースラインに対して勝利率を 8〜21% 変化させることを意味する。
• 極端なケース: 特定のペアワイズ比較（例：最強対最弱の弁護士）では、勝利率が63% から 90% 超の範囲に及び、一部のモデルが弁護士の正体に大きく左右されていることを示している。

B. モデルアーキテクチャとサイズ

• サイズ: 証拠は混在している。一般的に、同じファミリー内のより小さな「ライト」バージョン（例：claude-sonnet 対 claude-haiku）よりも、より大きなモデルの方が説得されにくい傾向にあった。ただし、例外も存在した（例：gpt-5-nano は全体として最も説得されにくいモデルであった）。
• 推論アーキテクチャ: 「思考」予算を持つより大きなモデルは一般的に説得されにくく、論争をより批判的に評価していることを示唆している。ただし、この傾向は一部の小さなオープンモデルでは逆転し、「推論」バージョンの方が説得されやすかった。

C. 実質対形式

• コンテンツが重要: 弁護士に「元の論争」（ヒント）が与えられた場合、説得性は一般的にわずかに低下した（コンテンツが標準化されたことを示唆）。
• 統計的有意性: 元の論争を提供する効果は小さかったが、直接対決の試行では、元の論争でプロンプトされた弁護士が、そうでない弁護士よりも有意に多く勝利した（$p=0.0039$）。これは、実質的な法的コンテンツが弁論の流暢さだけでなく、説得において役割を果たしていることを確認するものである。
• 管轄区域の知識: モデルがより多くのトレーニングデータを有する可能性が高い管轄区域（米国 > 英国 > アイルランド）では、説得性は低かった。これは、モデルが法的実体をよりよく理解するほど、形式のみで容易に左右されにくくなることを示唆している。

5. 意義と含意

• AI 裁判官の実現可能性: 結果は、より小さな LLMが司法職には不適切であることを示唆している。その高い説得性は、競合する論争を批判的に評価する能力の欠如（形式に容易に左右されること）に起因する可能性が高いからである。
• 大規模モデル: より大きなモデルは説得されにくい（おそらく実質的な評価の向上による）が、それでも顕著な感受性を示す（ペアワイズシナリオで最大 40% の偏差）。
• 政治的・倫理的側面: 論文は、モデルの説得性のレベルが「許容できる」かどうかを決定することは政治的な問いであると結論づけている。それは、司法制度に対する社会の期待と、それが多様な弁護スキルを持つ当事者をどのように扱うかによって依存する。
• 今後の研究: 著者らは、以下の分野でのさらなる研究を呼びかけている。
  • どのような特定の要素が説得を駆動するか？
  • 論争への曝露が実際に決定の質を向上させるか？
  • 人間の法専門家に対する LLM の説得性のベンチマーク。

結論: LLM は本質的に説得されやすい。より大きなモデルは過度な影響への耐性をより示すが、完全に免疫を持つものはいない。これらを決定者として展開するには、決定が弁論の支配ではなく法的妥当性に基づいていることを保証するため、特定の説得性プロファイルに基づいてモデルを慎重に選択する必要がある。