💬 NLP

LEXam: Benchmarking Legal Reasoning on 340 Law Exams

本文介绍了 LEXam，一个源自 116 门法律课程 340 场考试的基准测试，包含 7537 道英德双语法律试题及推理指导，旨在评估大语言模型在长篇幅、多步骤法律推理任务中的能力，并通过结合人类专家验证的 LLM 裁判范式实现了可扩展的推理质量评估。

原作者： Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexa

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexander Stremitzer, Christoph Engel, Elliott Ash, Joel Niklaus

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 LEXAM 的新项目，你可以把它想象成给大型人工智能（AI）模型举办的一场"超级法律期末考试"。

以前，AI 在数学或科学题上表现不错，就像是个只会做标准答案的“优等生”。但在法律领域，事情变得复杂多了。法律不仅仅是背条文，更需要像律师一样进行逻辑推理、发现关键问题，并在模糊的情境中做出判断。

为了测试 AI 到底有没有真本事，研究团队从瑞士苏黎世大学的法学院收集了 340 份真实的期末考试卷，涵盖了 116 门不同的课程。这就像是从全球最顶尖的“法律训练营”里，把过去几年的考题都搬到了 AI 面前。

以下是这篇论文的通俗解读：

1. 考试长什么样？（数据集）

这次考试包含 7500 多道题，分为两种形式：

简答题（开卷大作文）：这是最难的部分。题目会给出一个复杂的案例（比如：A、B、C 三人签合同，其中有条款说“要么在瑞士仲裁，要么在法国法院打官司”，这到底算不算数？）。AI 需要像法学生一样，一步步写出推理过程，引用具体的法律条款。
选择题（多选）：题目给出几个陈述，让 AI 判断哪些是对的。为了增加难度，研究人员故意把选项数量从 4 个增加到 32 个，就像在 32 个嫌疑人里找那个唯一的真凶，以此测试 AI 是否真的懂，还是靠瞎蒙。

特别之处：这些题目有英文和德文两种语言，而且不仅考瑞士法律，还涉及国际法和比较法。这就像要求 AI 同时精通“本地方言”和“国际通用语”。

2. 谁来当考官？（评估方法）

以前我们怎么知道 AI 答得对不对？通常是看它最后的答案跟标准答案字面像不像。但这在法律界行不通，因为法律推理的过程比结果更重要。

以前的做法：像批改语文作文，看字数和关键词。
LEXAM 的做法：他们请来了一个"超级考官团"。
- 首先，他们找了几位拥有博士学位的真人法律专家，给 50 道题打分，确立了“人类标准”。
- 然后，他们训练了一个由多个顶尖 AI 组成的"AI 考官团"（Ensemble LLM-as-a-Judge）。这个考官团非常严格，它会检查 AI 是否引用了错误的法律条款，逻辑是否通顺，有没有“胡编乱造”（幻觉）。
- 关键点：他们发现，只要这个"AI 考官团”设计得好，它的打分和真人专家的高度一致。这意味着以后我们可以用 AI 来大规模、低成本地给法律 AI 打分，而不需要每次都请昂贵的律师来阅卷。

3. AI 考得怎么样？（实验结果）

结果有点让人“清醒”：

推理能力仍是短板：即使是目前最聪明的 AI（比如 GPT-5、DeepSeek-R1 等），在面对需要多步推理的复杂法律案例时，依然会犯错。它们经常像“死记硬背的学生”，能背出法律条文，但不会灵活运用。
选项越多越容易晕：在选择题中，当选项从 4 个增加到 32 个时，AI 的准确率大幅下降。这说明它们有时候是靠“排除法”或“猜谜”在做题，而不是真正理解了逻辑。
语言和文化差异：AI 在英文题目上表现通常比德文好，这可能是因为训练数据中英语法律资料更多。
小模型 vs 大模型：有趣的是，一些经过专门“推理训练”的小模型，在某些任务上甚至能打败那些参数巨大的旧模型。

4. 为什么这很重要？（意义）

不仅是考试，更是体检：LEXAM 不仅仅是一个排行榜，它像是一次全面的“体检”，告诉我们 AI 在法律领域哪里强、哪里弱。
防止“一本正经地胡说八道”：法律是高 stakes（高风险）领域。如果 AI 给律师或法官提供错误的法律建议，后果不堪设想。这个基准测试能帮助开发者发现 AI 的“幻觉”和逻辑漏洞。
未来的方向：研究团队表示，这只是第一步。他们计划把考试范围扩大到美国、中国、欧盟等更多地区，让 AI 真正学会处理全球复杂的法律事务。

总结

简单来说，LEXAM 就是给 AI 法律能力的一次“高考”。它告诉我们：现在的 AI 虽然能写写法律文书，但在处理复杂的逻辑推理和真实案例时，离真正的“法律专家”还有很长的路要走。而且，我们终于有了一套科学的方法，能像人类老师一样，严格地给 AI 的“法律作业”打分了。

这是一份关于 LEXAM（Legal Exam Benchmark）的论文详细技术总结。LEXAM 是一个旨在评估大语言模型（LLM）在法律推理能力上的综合性基准测试，特别是针对长文本、多步骤的法律推理任务。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

法律推理的挑战性：尽管 LLM 在 STEM 领域的推理任务（如数学、物理）上取得了显著进展，但在法律领域，尤其是需要长文本理解、多步骤逻辑推导和复杂情境应用的“长形式法律推理”（Long-form legal reasoning）方面，仍面临巨大挑战。
现有基准的局限性：
- 缺乏过程评估：现有的法律基准（如 LegalBench, LawBench 等）多侧重于最终答案的正确性（Outcome-based），往往忽略了法律推理的过程（Process-based），即模型是否遵循了正确的法律逻辑链条（如：识别问题、检索规则、适用法律）。
- 数据单一性：许多基准主要基于美国或中国的法律数据，缺乏多语言（特别是德语/英语）和跨法系（大陆法系与普通法系）的覆盖。
- 评估不可靠：在法律这种高风险领域，简单的自动评估指标（如 BLEU, ROUGE）无法准确反映法律推理的质量，而通用的 LLM-as-a-Judge 可能存在偏见或无法理解专业法律细节。
核心问题：如何构建一个能够全面评估 LLM 在法律领域“过程”与“结果”正确性的基准，并建立一套可靠、可扩展的评估机制？

2. 方法论 (Methodology)

2.1 数据集构建 (Dataset Construction)

LEXAM 数据集源自瑞士苏黎世大学法学院（欧洲最大、最负盛名的法学院之一）2016 年至 2023 年间 340 场考试，涵盖 116 门课程。

规模与构成：共包含 7,537 道法律试题，分为两类：
- 开放式问答题 (Open-ended Questions)：2,841 道。包含详细的参考答案（Reference Answers）和明确的法律推理指导（如问题识别、规则召回、规则应用）。
- 多项选择题 (MCQs)：4,696 道。包含不同数量的选项（4 到 32 个），用于测试模型在干扰项增加时的鲁棒性。
语言与法域：数据包含英语和德语（非平行翻译，而是独立考试），涵盖瑞士国内法、国际法及跨学科领域。
元数据：每道题都标注了法律领域（私法、公法、刑法、跨学科）、法域（瑞士、国际、通用）、语言、年份等丰富元数据。

2.2 评估框架 (Evaluation Framework)

为了解决法律评估的复杂性，论文提出了一套集成 LLM-as-a-Judge（Ensemble LLM-as-a-Judge） 的评估范式，并辅以严格的人类专家验证。

LLM 裁判设计：
- 设计了专门的提示词（Prompt），引导裁判模型模仿法学教授的思维模式（基于苏黎世大学的标准答案结构）。
- 裁判不仅评估最终结论，还重点检查法律推理步骤的准确性、法条引用的精确性（如具体的条款号、段落）以及是否存在幻觉。
集成裁判策略 (Ensemble Strategy)：
- 为了减少单一模型的偏差（Self-bias）和家族偏差（Family-bias），研究采用了最小分数集成（Minimum-score ensemble） 策略。
- 具体组合：GPT-4o（闭源）、Qwen3-32B（开源）、DeepSeek-V3（开源）。取三个模型评分的最小值作为最终得分。
- 优势：这种策略能有效抑制模型对自己或同家族模型生成的答案给予过高的分数，确保评估的保守性和准确性。
人类专家验证 (Expert Validation)：
- 招募了 3 位拥有法学博士学位的专家进行人工评分。
- 使用 Alternative Annotator Test (Alt-test) 统计方法，证明集成 LLM 裁判的表现显著优于或等同于人类专家，且通过了严格的统计检验（Winning Rate $\omega = 1.00$ ）。

2.3 实验设置

模型选择：评估了 35 种 LLM，包括推理模型（Reasoning Models，如 GPT-5, DeepSeek-R1, Claude 3.7/4.5）、大模型（Large Models）和小模型（Small Models）。
鲁棒性测试：通过改变 MCQ 的选项数量（4, 8, 16, 32 个）和题目表述（肯定/否定），测试模型的稳定性。

3. 主要贡献 (Key Contributions)

首个综合法律推理基准：推出了 LEXAM，这是目前唯一包含大量长形式、多步骤法律推理问题，且提供详细推理指导（Chain-of-Thought）和参考答案的基准。
过程与结果双重评估：不仅关注答案对错，更强调对法律推理过程（Issue spotting, Rule application）的评估，填补了现有基准的空白。
可靠的评估协议：建立了一套经过人类专家验证的、可扩展的“集成 LLM-as-a-Judge"评估流程，解决了法律领域难以自动化评估的痛点。
多语言与跨法系覆盖：提供了英语和德语的双语数据，涵盖大陆法系（瑞士）和国际法，有助于研究模型的文化偏见和跨法系推理能力。

4. 实验结果 (Results)

4.1 开放式问题表现

推理模型优势：专门优化的推理模型（如 GPT-5, Gemini-2.5-Pro, Claude-3.7-Sonnet）表现最佳，GPT-5 在开放式问题上获得了最高分（70.20）。
小模型困境：小参数模型（<10B）在复杂法律推理上表现较差，得分普遍较低（如 Llama-3.1-8B-it 仅得 10.00 分）。
语言差异：所有模型在英语题目上的表现均优于德语题目，小模型的差距尤为明显。
领域差异：跨学科和公法领域的得分高于刑法和私法领域。

4.2 多项选择题 (MCQ) 表现

选项数量敏感性：随着干扰项（选项）数量的增加，所有模型的准确率显著下降。
- 例如，Gemini-2.5-Pro 在 4 个选项时准确率为 68.6%，但在 32 个选项时降至 35.6%。
- DeepSeek-V3 在 32 个选项时准确率暴跌至 16%，显示出对复杂干扰项的极度脆弱性。
负向表述影响：当问题以否定形式（如“以下哪项不正确”）提出时，所有模型（包括推理模型）的性能均出现显著下降，这违背了直觉，表明模型在处理逻辑否定方面存在缺陷。

4.3 评估系统的可靠性

Alt-test 验证：集成裁判（GPT-4o + Qwen3-32B + DeepSeek-V3）在替代标注者测试中，以 100% 的胜率击败了人类专家，证明了其作为人类专家代理的统计有效性。
偏差控制：最小分数集成策略有效降低了模型对自身输出的过度自信评分。

5. 意义与影响 (Significance)

推动法律 AI 研究：LEXAM 为 NLP 社区提供了一个高难度、高保真的法律推理测试床，揭示了当前 SOTA 模型在处理结构化、多步骤法律推理时的具体短板（如法条引用错误、逻辑链条断裂）。
评估范式的转变：论文证明了在高风险领域，仅靠最终答案的准确率是不够的。通过引入“过程评估”和“集成裁判”，为未来评估专业领域 AI 提供了可复制的方法论。
教育与实践工具：该基准不仅可用于学术研究，还可作为法律教育中评估 AI 辅助工具能力的工具，帮助识别 AI 在法律实践中的潜在风险（如幻觉、错误引用）。
未来方向：研究指出了当前模型在多语言（特别是德语法律术语）和跨法系推理上的不足，并计划在未来扩展更多法域（如美国、中国、欧盟）的数据。

总结：LEXAM 不仅是一个数据集，更是一套完整的评估体系。它通过严谨的数据构建和创新的评估方法，揭示了当前大模型在法律推理领域的真实能力边界，强调了推理过程的重要性，并为构建更可靠、更安全的法律 AI 系统指明了方向。