Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
本研究评估了一款顶尖大语言模型在处理欧洲人权法院案例时进行具有法律意义的推理能力，发现虽然该模型能生成结构完整但实质浅薄的分析，且自动化评估器无法与人类判断保持一致，但专家级提示词可以在不提升预测准确性的情况下提高推理深度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在法律的高风险世界里，法官的判决绝非仅仅是猜测；它是缜密、循序渐进推理过程的结果。法官必须审视案件的事实，检查法律是否得到遵守，判定政府的行为是否有正当理由，并最终权衡这些行为在自由社会中是否必要。这一过程赋予了法律裁决权威性，并使人们能够理解决策背后的原因。如今，被称为大语言模型的强大计算机程序可以阅读海量文本并回答复杂问题，这引发了许多人的疑问：这些机器是否也能进行这种深度的法律推理。问题不仅在于计算机能否预测法院案件的结果，还在于它能否以人类律师认可的合理且有意义的方式来解释其思考过程。
一组研究人员试图通过使用欧洲人权法院来测试这一想法，这是一个专门审理国家是否侵犯了公民权利的真实法院。他们专注于一个涉及言论自由的特定案例组，在这些案例中，法院必须判定政府对言论的限制是否合理。研究人员从该法院的官方记录中提取了三十个近期的案例，并要求一个顶尖的计算机模型扮演法官。他们向模型提供了每个案例的事实，并要求其生成一份法律评估，在预测最终判决之前，逐步解释其推理过程。为了观察模型的表现如何，他们将模型的解释与真实人类法官在这些案例中使用的实际推理进行了对比。他们还在不同的条件下测试了模型：一次是在没有特殊指令的情况下，一次是使用由法律专家编写的详细指南，另一次是使用针对该特定法律的官方指南，要求模型自行找出推理步骤。
结果显示，计算机所能做到的与真正的法律推理要求之间存在显著差距。该模型在遵循法律论证的基本结构方面表现得惊人地好。在几乎所有案例中，它都能产生一个看起来像法律判决的答案，为分析的每个步骤都设有清晰的段落。它正确地识别出言论受到了限制，检查了是否存在相关法律依据，并考虑了政府是否有正当目标。然而，当研究人员深入观察时，他们发现模型的推理往往流于表面。虽然结构完整，但实质内容却缺失了。模型经常给出模糊的结论，而非坚定的决定，过度依赖已被推翻的下级法院的认定，并且未能掌握真实法官所进行的微妙且务实的平衡行为。例如，在一个涉及囚犯收信权利的案例中，真实的法院理解到，审查数千份复印件以评估安全风险对监狱工作人员来说是不合理的负担，而模型完全忽略了这个细微之处。
或许最令人惊讶的发现是，模型的推理质量与它是否猜对了结果几乎没有关系。该模型预测正确答案的概率约为百分之八十，但这种准确性很大程度上是因为它简单地猜测发生了违规行为，而这恰好是他们研究的案例中最常见的结果。当模型得出正确答案时，其推理过程往往与其得出错误答案时一样浅薄。这表明模型并非在真正“思考”法律问题，而是在识别模式并根据过去案例中的多数情况进行猜测。即使研究人员向模型提供了详细的、专家编写的推理指南，模型虽然产生了更全面的解释，但这并未提高其预测的准确性。
该研究还探讨了如何衡量计算机生成的法律论证的质量。研究人员让法学院学生和其他计算机模型充当法官来评判推理质量。他们发现，虽然计算机法官彼此之间保持一致，但它们与人类专家并不一致。计算机法官往往更加宽容，并且会漏掉人类所能察觉到的深层缺陷。这表明，使用另一个计算机程序来评估第一个计算机程序的工作并不是确保质量的可靠方法。人类专家发现，模型的推理虽然在结构上是完整的，但缺乏法律判决应有的深度和确定性。模型经常采取模棱两可的态度或未能做出明确结论，而真实的法官必须是果断的。
最终，研究表明，尽管这些先进的计算机模型可以模仿法律推理的外在形式，但它们尚未具备以具有法律意义的方式进行推理的能力。它们可以产生看起来像法院意见的书面文本，但其内部逻辑往往是肤浅的，且与复杂的法律现实脱节。这项研究警告说，依赖这些模型进行法律决策，或信任自动化系统来评估自身的工作，是危险的。预测的准确性不应被误认为是背后推理的质量。在这些系统能够展示对法律原则的真正理解而非仅仅是模式匹配之前，它们应当仅作为辅助人类律师的工具，而非取代法律体系中至关重要的人类判断。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。