💬 NLP

BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law

本文介绍了 BenGER，这是一个用于评估大语言模型在德语法律中基于包含关系的法律推理能力的综合性基准数据集，研究表明封闭的旗舰模型引领了性能表现，而人机协同创作显著优于无辅助的人类工作，所有结论均通过稳健的“大语言模型作为裁判”框架得到验证。

原作者： Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何成为律师。但并非任何律师，而是专攻德国那种具体、僵化且高度结构化法律体系的律师。在这个体系中，解决法律问题并非靠猜测正确答案，而是遵循一种名为“涵摄”（subsumption）的严格配方。

将其想象成烘焙蛋糕：食谱要求你列出每一种食材，精确解释其为何符合食谱，并证明它如何与其他食材混合，之后你才能说“蛋糕做好了”。如果你跳过任何一步，或者仅仅说“这是蛋糕”，即便蛋糕味道很好，你也会失败。

本文 BenGER 是一项全新的庞大测试，旨在考察现代人工智能（大语言模型）是否真的能遵循这种严格的德国法律配方。

以下是他们所做工作的分解，辅以简单的类比：

1. 测试厨房（数据集）

研究人员建立了一个名为 BenGER 的巨大“测试厨房”。它包含三种类型的挑战：

大型考试： 596 个长篇、复杂的法律案例（类似于法学院学生的期末考试），要求 AI 撰写完整、结构化的解决方案。
快速测验： 531 个关于法律原则的简短问题。
“基准马拉松”（人机实验室）： 一组特殊的 15 个新问题，研究人员不仅要求 AI 解决这些问题，还要求真实人类以两种方式解决：
1. 单人模式： 人类仅依靠书籍和互联网独立工作。
2. 共创模式： 人类与 AI 助手协作撰写解决方案。

2. 评委（评分方式）

给法律论文评分 notoriously 棘手。即使是人类专家也常常意见不一。一位教授可能给某篇论文打"A"，而另一位教授对同一份作品却打"C"。

为了解决这个问题，研究人员没有只请一个人给 AI 评分，而是构建了一个“机器人评委”（作为评委的 LLM），该评委基于非常具体的评分标准（评分清单）进行了训练。

评分标准： 想象一张包含 10 个类别的记分卡，例如“你是否找到了正确的法律？”、“你是否将事实与法律联系起来了？”以及“你的写作是否有条理？”。
验证： 为了确保他们的机器人评委没有偏见或失常，他们将其评分结果与一个由三位真实人类专家组成的评审团进行了对比，这些专家在不知情的情况下对相同的答案进行了评分。
结果： 机器人评委出奇地公正。当他们用机器人评委替换掉一位人类评分员时，最终的小组总分并未发生太大变化。机器人评委的可靠性与人类专家相当。

3. 结果（谁赢了？）

他们测试了 12 种不同的 AI 系统，范围从最强大的“旗舰”模型（AI 世界的超级计算机）到更小、更快的“效率”模型。

冠军： 大型闭源“旗舰”模型（如来自 OpenAI、Anthropic 和 Google 的模型）脱颖而出。它们得分最高，经常获得可与顶尖法学生相媲美的“及格分数”。
黑马： 开源模型（可免费下载）表现尚可，但总体上落后于大型商业模型。
神奇组合： 最令人惊讶的发现是关于人机共创。当人类被允许使用 AI 协助撰写答案时，他们的分数飙升。他们不仅做得和 AI 一样好，而且比独自工作的人类做得更好，甚至击败了独自工作的 AI。这就像一位人类厨师使用高科技搅拌机，烘焙出了比厨师独自制作或机器独自制作都要更好的蛋糕。

4. “陷阱”（论文对我们的警示）

作者非常诚实地指出了局限性：

黑箱： 他们通过 API 测试了面向公众销售的 AI。他们无法看到引擎盖下的“引擎”，因此不知道确切原因为何一个模型优于另一个，只知道它确实更好。
配方的特异性： 此测试严格针对德国法律。德国律师的思维方式（即“涵摄”配方）不同于美国或英国的律师（后者更依赖先例）。你不能拿这些结果来说“这个 AI 在纽约会成为一名优秀的律师”。
记忆风险： 部分测试题目来自公开期刊。AI 有可能只是从互联网上记住了答案，而非真正“思考”了问题。然而，新的“基准马拉松”问题（AI 此前未曾见过）显示了类似的结果，这表明 AI 实际上是在学习逻辑，而不仅仅是在作弊。

核心结论

这篇论文指出："我们建立了一个针对德国法律推理的严格、公正的测试。目前最好的 AI 模型在遵循规则方面已经非常出色，但尚未完美。然而，当人类与 AI 携手合作时，他们变成了超级律师，其表现超越了单独工作的人类和 AI。"

他们还证明，聪明的机器人评委可以几乎像满屋的人类教授一样可靠地给这些论文评分，这有助于在未来扩大法律教育和测试的规模。

技术摘要：BenGER——德国法中基于涵摄的法律推理大语言模型系统基准测试

问题陈述

评估大语言模型（LLM）在法律推理方面的表现 inherently 困难，原因在于人类专家判断的“噪声”性质。在德国法律教育和实践中，即使在专家之间，评分也存在显著变异性；相同的答案根据评分者的不同可能获得截然不同的分数。这给构建可靠基准带来了挑战，因为单一的“真实标签”往往是对一系列合理专家评估分布的过度简化。

此外，现有的法律自然语言处理（NLP）基准主要侧重于分类任务、短形式问答或依赖判例推理的普通法辖区（例如美国、英国）。它们在很大程度上未能解决基于涵摄的推理问题，而这是德国大陆法系教义的核心范式。该范式要求一个结构化的四步生成过程（Obersatz–Definition–Subsumtion–Ergebnis，即大前提–定义–涵摄–结论），其中系统必须将具体事实锚定在成文法规范之下。目前的基准测试未能充分检验这种结构化生成能力，也未能针对德国国家考试中使用特定评分细则的评分惯例来评估系统。

方法论

BenGER 数据集

作者引入了BenGER（德国法律基准），该数据集包含三个不同部分，共计超过 1,100 项任务：

ZJS 语料库：581 份来自《法学研究杂志》（Zeitschrift für das Juristische Studium）的公开可用、考试风格的自由文本法律案例任务，涵盖民法、刑法和公法，涉及不同教育层级。
Benchathon 语料库：15 份新收集的中等难度考试风格任务。关键的是，该子集包含220 份人类解决方案（65 份传统无辅助，155 份人机共创），这些解决方案在受控环境中生成，用作人类基线。
教义原则语料库：531 项短形式推理项目（问答对），用于探测核心法律原则和近期判例法。

评估框架

本研究评估了12 个当代大语言模型系统，将其分为封闭旗舰型、效率导向型和开放权重参考模型。该评估采用混合方法论以应对法律评分的变异性：

LLM 作为法官：一位专门的大语言模型法官（主要是 GPT-5-mini）与德国法律评分细则保持一致。它根据10 个维度评估解决方案：结果正确性、问题识别、法律依据、教义知识、涵摄质量、问题深度、方法论结构、组织、术语和形式正确性。分数被汇总为 0–100 的原始分数，并映射到德国 0–18 的绩点量表。
人工验证：LLM 法官在 Benchathon 子集上与多评分者人工协议进行交叉验证。每份选定的解决方案接受三次独立的盲审和一次作者知情创建者审查。
统计分析：本研究将评估视为对合理专家评估的分布，而非确定性标签。它利用皮尔逊/斯皮尔曼相关系数、科恩的 $\kappa$ 、组内相关系数（ICC）以及Calderon 替代评分者测试等指标，来确定用 LLM 法官替代人工评分者是否会降低与完整人工评分池的一致性。

实验设置

生成：所有系统均使用相同的德语指令进行提示，这些指令镜像了Gutachtenstil（鉴定风格）的脚手架结构。
指标：评估包括自动表面指标（BLEU、ROUGE、METEOR、BERTScore 等）和与评分细则对齐的 LLM 法官分数。
条件：人类基线在“传统”（无辅助）和“共创”（AI 辅助）条件下进行测试，以衡量 AI 工具对人类绩效的影响。

主要结果

1. 系统性能（RQ1 & RQ2）

封闭旗舰型主导：封闭旗舰型系统（OpenAI、Anthropic、Google）在所有三个语料库的排行榜上均处于领先地位。在 Benchathon 子集上，顶级模型（例如 Sonnet-4.6、Opus-4.7、GPT-5.4）的原始分数达到 80 多分的中低段，通过率接近 100%。
开放权重差距：强大的开放权重系统（DeepSeek-V4-Pro、Qwen3-235B）在 Benchathon 上落后于顶级封闭模型约 9–20 个原始分数，尽管这一差距在 ZJS 语料库上有所缩小。
系统层级：旗舰型与开放权重系统之间的性能差距显著，但在中端层级有所收窄。效率型封闭系统和开放权重模型形成了一个重叠的中段带。

2. 评估有效性（RQ3）

词汇与语义指标：与长文本的预期相反，词汇表面指标（METEOR、ROUGE、BLEU）与评分细则对齐的 LLM 法官的相关性比语义嵌入指标（BERTScore、Sentence-BERT）更强。这归因于德国法律写作的高度模板化性质，其中高质量答案在成文法引用和结构脚手架方面共享大量的 n-gram 材料。
指标局限性：仅依赖词汇指标会在旗舰型与中端层级的边界处，导致系统排名与评分细则对齐的法官相比出现偏差。

3. 人机共创（RQ4）

性能提升：人机共创的表现显著优于无辅助的人类工作。共创解决方案的平均法官得分为82.2（原始分），而无辅助的传统解决方案为62.3——相差 +19.9 个原始分数。
基准测试：共创人类解决方案的平均性能落在封闭旗舰型 LLM 层级的 95% 置信区间内，显著优于无辅助人类和较弱的开放权重模型。

4. 评分可靠性（RQ5）

LLM 法官有效性：LLM 法官与人类平均值的偏差与人类评分者之间的评分者间变异性相当。
- 相关性：法官与盲审人类评分者平均值的一致性为皮尔逊 $r=0.78$ 。
- Calderon 测试：在评分者池中用 LLM 法官替代一名人类评分者，其与完整人类参考的一致性降低程度不高于完全移除该人类评分者（对于法官替代池和人类留一法池， $r$ 均为 0.96）。
稳定性：LLM 法官在多次运行中的自我一致性（标准差 2.51）高于人类评分者彼此之间的一致性（离散度 23.9 个原始分数）。
维度一致性：在结构化维度（结果正确性、问题识别）上的一致性最高，在基于呈现的维度（组织、术语）上的一致性最低。

意义与主张

本文声称有三项主要贡献：

新基准：BenGER 提供了德国法中基于涵摄的法律推理的第一个综合基准，解决了现有法律 NLP 资源偏向普通法或分类任务的空白。
实证评估：它对 12 个大语言模型系统相对于人类基线进行了严格评估，揭示虽然封闭旗舰型模型领先，但人机共创产生了最高性能，超越了无辅助的人类专家。
方法论创新：本研究验证了一个与评分细则对齐的 LLM 作为法官框架，该框架考虑了法律评分的固有变异性。通过证明 LLM 法官可以替代人类评分者而不降低评估池的可靠性（根据 Calderon 测试），本文支持将 LLM 作为可扩展的评分者与人类一起使用，而不是作为独立的真实标签。

作者强调，该基准旨在用于研究规模的评估，尚未被验证为法律教育中的分级评估工具或法律实践中的部署工具。这项工作突出了德国法律推理的结构要求，以及 AI 在共创能力下增强而非取代人类法律分析的潜力。