技术摘要：自信地出错：前沿大语言模型规则评估中的异常链崩溃

1. 问题陈述

本文识别了前沿大语言模型（LLM）在处理涉及嵌套条件规则的任务时，存在一种特定的、系统性的失效模式，称之为**“异常链崩溃”（exception chain collapse）**。这类规则的形式为：“要求 A，除非 B 适用，除非 C 覆盖 B。”

虽然前沿 LLM 在处理简单的多路径逻辑（例如简单的 OR 分支）时表现良好，但在被要求评估多级异常链（特别是三层深度）时，其性能会显著下降。论文记录了两种截然不同的失效模式：

1. 豁免锚定（Exemption Anchoring）： 模型将豁免视为次于主路径的存在。如果主路径失败，模型会“锚定”在该失败上，无法独立评估有效的替代豁免路径。
2. 异常链崩溃（Exception Chain Collapse）： 模型无法正确嵌套多级 UNLESS 逻辑，通常会将独立的豁免路径混淆（例如，将“退伍军人”豁免视为依赖于“年龄”豁免）。

核心不稳定性： 一个关键发现是，前沿模型在这些任务上的准确率是一个“移动的合规边界”。在 2026 年 3 月至 4 月期间，在相同的模型别名下（如 GPT-5.4 和 Claude Opus 4.6），特定基准测试中的失效单元在没有版本更新的情况下发生了无声的闭合。这使得在需要一致性的监管工作流中，基于基准测试时间的准确率声明变得不可靠。

2. 方法论

作者提出并评估了 Aethis 资格模块（Aethis Eligibility Module），这是一种旨在将规则编写与规则执行分离的神经符号架构。

架构

• 阶段 1：自动化规则编写（LLM）： LLM 阅读权威法律来源（立法、政策指南），并将规则生成为受限领域特定语言（DSL）中的结构化代码。此阶段包含一个溯源链，其中生成的每条规则都链接到特定的来源引用（文档 ID、章节路径、直接引用）。
• 阶段 2：资格模块（确定性引擎）： 生成的 DSL 被编译为形式化的满足性模理论（SMT）约束。随后，SMT 求解器根据结构化的申请人数据对这些约束进行评估。
  • 关键机制： 该引擎将每条资格路径视为通过析取（OR）组合的形式上独立的布尔分支。它确定性地评估这些分支，不受模型漂移、推理努力或提示词格式的影响。

基准测试设计

作者构建了一个包含 225 个场景 的基准测试，涵盖四个领域：

1. 英国生活（Life in the UK）： 真实的英国移民立法（1981 年《英国国籍法》）。
2. 英语语言熟练程度： 真实的英国移民指南。
3. 航天器认证： 一个模仿英国立法结构的合成法规，具有三级异常链。
4. 建筑保险： 一个模仿伦敦市场 DE3/DE5 条款的合成保单措辞，具有五级异常链。

该基准测试针对来自 Anthropic 和 OpenAI 的 八个 LLM（四个前沿模型，四个生产级模型）进行了评估，并将其与确定性资格模块进行了对比。

3. 核心贡献

1. 失效模式分类学

论文正式将“异常链崩溃”和“豁免锚定”表征为嵌套异常链评估中的系统性错误。研究表明这些失效具有以下特征：

• 组合性（Compositional）： 它们源于逻辑的深度（三层），而非缺乏法律知识。
• 对提示词具有鲁棒性（Robust to Prompting）： 增强型提示（例如，“一步步思考”、“独立评估豁免”）无法修复该问题；相反，它们是以牺牲假阴性来换取假阳性，从而降低了净准确率。
• 不稳定（Unstable）： 特定的失效点会在模型更新过程中发生无声偏移，使得前沿模型在处理高风险、审计关键的决策时变得不可靠。

2. Aethis 资格模块

论文提出了一个神经符号系统，将不确定性从推理边界（在 LLM 中是沉默且连续的）转移到了规范边界（即有意识且可审计的）。

• 保证： 执行层提供数学定义的语义。如果规则包被正确形式化，其执行过程将 100% 符合规范。无论模型版本或配置如何变化，执行结果都是一致的。
• 可审计性： 每次判定都包含一个溯源链，将结果直接链接到特定的立法条款及所经过的逻辑路径。

3. 实证证据

• 基准测试结果： 资格模块在所有 225 个场景中达到了 100% 的准确率。
• LLM 表现： 前沿模型在异常链任务上表现出显著退化。例如，在 2026 年 3 月的快照中，Claude Opus 4.6 在航天器部分得分为 89.7%（61/68），其中 7 个特定场景在多次独立运行中均出现了 0/3 次失败。
• 对抗性扩展： 在 v3.8 对抗性扩展（20 个新的建筑保险场景）中，确定性引擎得分为 20/20。虽然一些前沿模型在原始套件上达到了 100%，但它们在更深的对抗性案例中失败了（例如，Claude Opus 4.7 在 20 个案例中失败了 2 个，GPT-5.4 默认版失败了 1 个）。
• 外部验证： 在来自九个 LegalBench 任务的 949 个留存案例中，资格模块的准确率显著高于三个前沿模型（结合 McNemar's $p \le 0.003$），其中在多重规则应用任务上的领先幅度最大（+41 个百分点）。

4. 重要性与主张

论文并非声称 LLM 普遍不可靠或无法用于法律推理。相反，它提出了一个适度的、具体的观点：

• 不确定性的重新定位： 其主要贡献在于架构。通过使用 LLM 进行编写（发挥其流畅性的优势）并使用 SMT 求解器进行执行（需要确定性），该系统使不确定性变得可控。不确定性被转移到了规则形式化步骤（第 2 层），这一步可以通过测试驱动的验证进行管理，而不是留在推理步骤（第 3 层）中，因为在推理步骤中，不确定性是沉默且不可观测的。
• 监管可辩护性： 对于高风险领域（移民、保险、安全认证），其中假阴性会剥夺权利且解释性是强制性的，确定性执行层提供了前沿 LLM 无法提供的属性：不变性（invariance）。编译后的规则包在今天和六个月后产生的执行结果是一致的，无论底层模型权重如何发生无声变化。
• 局限性： 作者明确指出，该系统保证的是对规范的正确执行，而非规范本身的正确性。规则包的质量取决于 LLM 将源文本形式化的能力（第 2 层），这一点虽然得到了缓解，但并未完全消除。目前该系统需要结构化输入，且无法处理非结构化文档提取。

总而言之，论文认为，对于监管工作流中的嵌套异常链评估，确定性的形式化执行是建立信任的必要条件，而神经符号架构提供了一条实现这一目标的可行路径，同时无需牺牲 LLM 在规则提取方面的效用。