💬 NLP

By Their Fruits You Will Know Them: Comparing Formalizations of Law by the Decisions They Encode

本文提出了一种通过枚举并阐述法律形式化表述存在分歧的边界案例来系统比较这些表述的方法，结果表明结构相似性并不能保证行为一致性，且大语言模型生成的形式化表述可能产生具有法律意义的显著分歧。

原作者： Julius Vernie, Matthias Grabmair

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Julius Vernie, Matthias Grabmair

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一份用略显模糊的语言写成的、极其复杂的法律规则食谱。你请了九位不同的专家厨师（即人工智能模型）将这份食谱翻译成一份严格、循序渐进、可供机器人执行的流程图。

问题在于：即使这些厨师使用相同的食材，并按相似的顺序写下步骤，他们也可能对少数关键指令产生隐秘的不同解读。一位厨师可能认为“加盐”意味着“一小撮”，而另一位则认为意味着“一杯”。如果你只是将他们的流程图并排查看，它们可能看起来有 90% 是相同的。但是，如果你向机器人提供一组特定且棘手的食材组合，一位厨师的机器人可能会说“端上这道菜”，而另一位则会说“把这道菜扔掉”。

本文介绍了一种新方法，旨在在任何人受到伤害之前发现这些隐藏的分歧。

核心问题：“凭他们的果子，就可以认出他们”

标题源自一句古语：你不能仅凭树的外观来判断它，你必须品尝它的果实。在人工智能与法律的世界里，“树”是形式化的规则（即流程图），而“果实”则是该规则在具体案例中所做出的决定。

作者认为，仅仅比较两个由人工智能生成的法律规则的结构是不够的。两条规则在纸面上可能看起来几乎完全相同，但在现实场景中却会产生截然相反的结果。他们希望找到一种系统性的方法，来发现“边缘案例”——即当对同一法律的不同人工智能解释发生冲突时，那些怪异且具体的情境。

方法：三步侦探流程

研究人员构建了一个用于捕捉这些分歧的流程，他们称之为“凭他们的果子”。以下是其工作原理，使用一个简单的类比：

1. 翻译（形式化）
首先，他们选取了 10 部不同的欧盟法律（如《通用数据保护条例》或《人工智能法案》），并要求 9 个不同的一流人工智能模型将每部法律转化为“决策树”。这就像请九位不同的建筑师根据一段模糊的描述，为同一栋房子绘制蓝图。

2. 制图（匹配）
接下来，他们必须比较这些蓝图。但建筑师们为相同的房间使用了不同的标签。一位称之为“厨房”，另一位称之为“烹饪区”。研究人员利用人工智能充当翻译，将不同树中代表相同法律概念的节点（即步骤）进行匹配。他们构建了一张“共享地图”，标示出这些树的重叠之处。

3. 压力测试（SAT 求解器与边缘案例）
这是神奇的部分。一旦拥有了共享地图，他们就使用一种数学工具（SAT 求解器）充当压力测试工程师。他们问道：“什么样的绝对最小、最怪异的事实组合，会导致这两份蓝图给出不同的答案？”

该工具找到了这些“边缘案例”——即规则产生分歧的具体事实组合。例如，它可能会发现，只有当机器人被警方使用，且数据是合法收集的，但并非用于特定医疗目的时，规则才会产生分歧。

4. 故事化（语言化）
最后，原始的数学结果（看起来像是一系列“真/假”变量）既枯燥又难以让人理解。因此，他们利用另一款人工智能将这些数学问题转化为简短、逼真的故事。

不再是： “输入 A=真，输入 B=假，输入 C=真。”
而是得到： “一家公司向警方出售面部识别系统以识别种族。数据是合法收集的，但该系统并未用于筛选。”

他们的发现

当他们在 10 部欧盟法律和 9 个人工智能模型上运行这项实验时，发现了一些令人惊讶的结果：

表象具有欺骗性： 规则在结构上的相似程度与其在结果上产生分歧的频率之间，几乎没有任何关联。两个模型可能拥有 95% 匹配的结构，但在 50% 的边缘案例上仍然存在分歧。
真实的法律戏剧： “果实”（即边缘案例）揭示了在法律应如何解释方面存在的真实且根深蒂固的分歧。
- 示例： 关于用于警务工作并按种族对人们进行分类的人工智能，人工智能模型的意见平分秋色。一半认为这是严格禁止的；另一半则认为，如果数据是合法收集的，则是允许的。这并非计算机错误，而是反映了人类法律专家之间关于法律实际含义的持续争论。
隐藏的错误： 该方法还捕捉到了明显的错误。一个人工智能模型意外地添加了一条额外的规则，使得某项法律条件的满足难度远高于法律本意。“果实”（即边缘案例）立即暴露了这一错误。

结论

该论文得出结论：要真正理解人工智能是否正确解释了法律，你不能仅仅查看其代码或流程图。你必须针对具体且棘手的场景对其进行测试。

他们的方法就像一盏聚光灯，照亮了不同人工智能对法律的解释发生碰撞的确切时刻。它将抽象的数学差异转化为具体的人类律师可以阅读、理解并辩论的故事。它并不能告诉你哪个人工智能是“正确”的（那是人类专家的工作），但它确保你确切地知道它们在哪里以及为什么存在分歧。

技术摘要：凭他们的果子认出他们

问题陈述

将法律条款形式化为机器可读结构，有望实现自动化法律推理和机器可访问的法律。随着大语言模型（LLM）的出现，直接从成文法文本生成这些形式化表述已成为可能。然而，任何形式化过程都 inherently 涉及隐含的解释性选择。当 LLM 作为作者时，这些选择是不透明的，且不同解释所产生的后果难以预测。一个在结构上看似合理的形式化表述，在其起草者未曾设想的边缘案例中，可能会产生不公正或错误的裁决。

本研究的核心挑战在于：如何系统地比较同一法律条款的多种形式化表述，以识别它们在逻辑结果上的分歧点，而不仅仅是比较其结构相似性。现有方法通常依赖于结构匹配或与“黄金标准”进行对比，但作者认为，在不预设真实情况（ground truth）的前提下，相互比较形式化表述对于揭示真正的解释性歧义和错误是必要的。

方法论

作者提出了一个四阶段流程，用于比较由 LLM 生成的法律条款形式化表述：

形式化：
指令九个前沿 LLM 为十条不同的欧盟法律条款（涵盖 GDPR、《人工智能法案》、《数字市场法案》等）生成形式化表述。每种形式化表述被表示为一棵有根、带标签的树，其中叶节点为输入变量（事实），内部节点为逻辑运算符（AND、OR、NAND、NOR）。根节点代表二元法律后果（例如，“禁止”或“允许”）。
匹配（等价类图构建）：
为了比较结构可能不同的树，该方法识别不同形式化表述中代表相同法律概念的节点。一个 LLM（具体选用 Claude Opus 4.6，因其一致性而被选中）将所有形式化表述中的节点分组为等价类（ECs）。这为比较创建了一个共享词汇（接口）。匹配过程确保每种形式化表述向任何给定的 EC 最多贡献一个节点，从而形成一个概念的有向无环图（DAG）。
边缘案例分析（基于 SAT 的枚举）：
对于每一对形式化表述，该方法基于两者共有的最深 EC 定义一个共享接口。它将此接口之上的子树转换为布尔函数（ $f_A$ 和 $f_B$ ）。
- 系统计算分歧函数 $f_A \oplus f_B$ 。
- 使用 SAT 求解器（Z3），枚举该分歧函数的质蕴含项（prime implicants）。质蕴含项代表一组最小的输入条件（部分赋值），无论其他未赋值变量的值如何，都会迫使两种形式化表述产生分歧。
- 这些质蕴含项被视为“边缘案例”。
言语化：
原始的质蕴含项对人类而言不可解释。作者应用了一个选择流程，将边缘案例集缩减为代表性子集（按分歧的“根本原因”进行分组）。随后，由 LLM 将这些选定的案例言语化为具体、现实的事实场景。言语化内容包括场景、具体的法律问题以及对解释性分歧的分析，使法律专家能够审查具体的争议点。

主要贡献

本文做出了三项主要贡献：

比较形式化框架： 一种系统比较同一法律条款不同形式化表述的方法，通过枚举它们产生分歧的具体输入案例，而非依赖整体结构相似性。
边缘案例的言语化： 一种将 SAT 推导出的逻辑边缘案例（质蕴含项）转化为法律专家可评估的具体事实场景的技术，弥合了形式化验证产物与人类法律推理之间的鸿沟。
LLM 形式化表述的实证研究： 将上述方法应用于九个前沿 LLM 对十条欧盟条款的形式化表述。研究表明，行为分歧与结构一致性 largely 不相关，且言语化案例揭示了 qualitatively 不同类型的分歧，包括那些反映法律评论中真实争议的分歧。

结果

该研究生成了 90 种形式化表述（9 个模型 × 10 条条款），并分析了 360 对组合。

结构分歧与行为分歧： 作者发现，高结构一致性（通过共享接口的覆盖率衡量）并不能保证逻辑等价。即使形式化表述在概念上匹配良好（高覆盖率），它们也经常在结果上产生分歧。相反，低覆盖率的对子往往仅仅是因为缺乏可产生分歧的结构而 trivially 等价。
模型差异： 不同模型之间的分歧率差异显著（从约 32% 到约 71% 的对子不等价），但没有单一模型在所有情况下都表现出“边缘”行为。行为高度依赖于具体条款，某些模型在不同条款间的分歧率从 0% 波动至 100%。
定性发现：
- 解释性歧义： 在《人工智能法案》第 5 条（关于执法部门的生物识别分类）的案例中，模型在特定例外是否适用上平分秋色（4 比 4）。这种分歧反映了法律评论中关于该例外范围的一个真实且持续的争议。
- 形式化错误： 在《不公平合同条款指令》（UCTD）第 3 条的案例中，一个模型（Kimi K2.5）错误地将程序性举证责任规则编码为额外的实质性要求（将析取误编码为合取），导致定义过于受限。
- 局限性： 该流程仅能揭示分歧；它无法检测所有模型共同存在的错误（例如，如果所有模型都遗漏了法律中的交叉引用）。

意义与主张

本文主张“了解法律即是了解其裁决”。其意义在于将法律形式化表述的评估从静态结构分析转向动态的、基于结果的比较。

审计辅助而非自动化： 作者明确指出，其流程旨在作为“人机回环审计辅助”，而非自动化法律决策系统的组成部分。这些形式化表述尚未经过验证以用于自主决策。
揭示隐藏分歧： 该方法证明，纯粹的结构比较是不够的。两种形式化表述可能看起来相似，但在特定的边缘案例中会产生截然不同的法律结果。
映射法律话语： 言语化的边缘案例成功揭示了与法律学术界真实且未解决的辩论相对应的分歧，这表明 LLM 并非在随机幻觉，而是在应对人类专家所面临的同样的歧义。

作者总结道，尽管其方法存在局限性（依赖 LLM 进行匹配、缺乏外部法律背景、以及在没有黄金标准的情况下无法验证正确性），但它提供了一种必要的机制，通过其形式化表述所编码的裁决来“了解”法律。