Persuadability and LLMs as Legal Decision Tools

以下是 Oisin Suttle 和 David Lillis 所著论文《可说服性与大语言模型作为法律决策工具》的详细技术总结。

1. 问题陈述

本文探讨了将大语言模型（LLMs）部署为法律决策者或助手所面临的关键挑战。司法和行政决策的一项基本要求是可说服性（persuadability）：即能够与对立各方的论点进行互动并受其影响的能力。然而，这里存在一种张力：

• 过于僵化：无法被说服的决策者未能考虑新证据或论点（违反“听取双方陈述”原则）。
• 过于灵活：过度易受说服的决策者可能会基于律师的修辞技巧而非案件的法律实质来做出决定。

作者调查了前沿大语言模型能否驾驭这种张力。具体而言，他们提出：大语言模型在多大程度上受到生成论点的律师“质量”（或身份）的影响，而非案件的法律实质？

2. 方法论

作者设计了一个涉及三个角色的三方实验框架：律师（生成论点）、法官（裁决案件）和场景（高难度法律问题）。

A. 场景（“高难度”问题）

• 来源：15 个场景选自分裂的上诉法院判决（美国上诉法院、英格兰及威尔士上诉法院、爱尔兰最高法院）。
• 理由：分裂判决（异议意见）表明存在“高难度”法律问题，即不存在单一的事实真相，使得决策依赖于判断和说服。
• 结构：每个场景包含事实陈述和核心法律问题。

B. “律师”模型（论点生成）

使用四种不同的大语言模型为对立双方生成论点：

1. OpenAI gpt-4o
2. Google gemini-3-pro-preview（4k 思考预算）
3. OpenAI gpt-5.1（低推理强度）
4. Anthropic Claude Sonnet 4.5（8k 思考预算）

提示策略：
为了区分实质性法律内容与修辞形式，律师模型采用两种提示方式：

1. 仅事实：仅提供案件事实和法律问题（迫使模型生成新颖论点）。
2. 事实 + 原始论点：提供事实以及历史案件中实际提出的论点摘要（提供关于最佳法律要点的“提示”）。

C. “法官”模型（决策制定）

• 范围：测试了 20 种不同的法官模型（闭源权重与开源权重的混合，不同规模及推理架构）。
• 任务：给定一个场景和两个相互竞争的论点（分别由不同的律师模型生成，每方一个），法官必须像该司法管辖区的法院那样裁决案件。
• 体量：每个法官模型测试 1,200 次（600 次含原始论点，600 次不含），总计 24,000 次试验。

D. 可说服性指标

作者基于律师的身份作为论点质量的代理变量来定义可说服性。

• 基线：如果法官不可被说服，任何律师应赢得 50% 的时间（随机分配）。
• 成对可说服性（$p_2$）：衡量当两个特定律师竞争时，偏离 50% 基线的程度。
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  （其中 $m$ 为每位律师的获胜次数，$n$ 为试验次数）。
• 总体可说服性（$p_{pop}$）：衡量法官在所有配对中对特定律师模型的偏好程度的综合指标。

3. 主要贡献

1. 概念框架：确定了人工智能法律决策背景下，必要的可说服性与过度易受性之间的特定张力。
2. 新颖方法论：提出了一种**三方“律师对律师对法官”**的设置来衡量可说服性，区别于以往的双边（说服者对受说服者）研究。
3. 首次系统性法律探索：提供了针对复杂法律推理背景下大语言模型可说服性的首次大规模实证研究。
4. 开放数据：发布了所有代码、提示和数据（15 个场景、每方 1,200 个论点、24,000 个法官回复）以供复现。

4. 主要结果

A. 普遍的可说服性

• 所有模型均可被说服：每个法官模型均显示出统计显著的可说服性（$p < 0.05$）。
• 幅度：总体可说服性（$p_{pop}$）范围在 0.08 至 0.20 之间。这意味着律师的身份（从而论点的质量）使胜率在随机基线之上提高了 8% 至 21%。
• 极端案例：在特定的成对比较中（例如最强律师对最弱律师），胜率范围从 63% 到超过 90%，表明某些模型极易受律师身份的影响。

B. 模型架构与规模

• 规模：证据不一。通常，同一系列中较大的模型比较小的“精简版”模型更不易被说服（例如 claude-sonnet 对比 claude-haiku）。但也存在例外（例如 gpt-5-nano 是整体最不易被说服的模型）。
• 推理架构：具有“思考”预算的较大模型通常较不易被说服，表明它们能更批判性地评估论点。然而，这一趋势在某些较小的开源模型中发生了逆转，其中“推理”变体反而更易被说服。

C. 实质与形式

• 内容至关重要：当律师获得“原始论点”（提示）时，可说服性通常略微下降（表明内容被标准化了）。
• 统计显著性：虽然提供原始论点的影响较小，但直接对抗试验显示，获得原始论点提示的律师比未获得的律师获胜频率显著更高（$p=0.0039$）。这证实了实质性法律内容在说服中发挥作用，而不仅仅是修辞流畅度。
• 司法管辖区知识：在模型可能拥有更多训练数据的司法管辖区，可说服性较低（美国 > 英国 > 爱尔兰）。这表明当模型更好地理解法律实质时，它们不太容易仅受形式影响而动摇。

5. 意义与影响

• AI 法官的可行性：结果表明，较小的大语言模型可能不适合担任司法角色，因为它们的高可说服性可能源于无法批判性地评估相互竞争的论点（它们极易受形式影响）。
• 大型模型：虽然大型模型较不易被说服（可能归因于更好的实质性评估），但它们仍表现出显著的易受性（在成对场景中偏差高达 40%）。
• 政治/伦理维度：论文结论指出，确定模型的可说服性水平是否“可接受”是一个政治问题。它取决于社会对司法系统的期望，以及该系统如何对待具有不同辩护技能的各方。
• 未来工作：作者呼吁进一步研究：
  • 哪些具体特征驱动了说服？
  • 接触论点是否真的能提高决策质量？
  • 将大语言模型的可说服性与人类法律专家进行基准测试。

结论：大语言模型本质上具有可说服性。虽然大型模型显示出更强的抵御不当影响的能力，但没有一种是完全免疫的。将它们部署为决策者需要仔细选择模型，依据其特定的可说服性概况，以确保决策基于法律实质而非修辞优势。