An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

本文提出了一种基于多智能体协作的框架，通过利用大语言模型自动生成高阶元测试关系来克服法律关键软件（以税务申报为例）中的测试用例生成难题，实验表明该方法在使用较小模型时比前沿大模型展现出更高的复杂任务通过率，从而为从自然语言规范构建可靠的法律软件提供了新路径。

要点

这篇论文讲述了一个关于如何用人工智能（AI）来编写“法律级”严谨软件的故事，特别是以美国报税软件为例。

想象一下，你要让一个超级聪明的 AI 去写一个报税程序。这个程序不能出错，因为一旦算错，纳税人可能会少交钱（被罚款）或者多交钱（被坑）。但是，税法就像一本几千页的、充满歧义和复杂逻辑的“天书”，直接让 AI 去读并写代码，它很容易“胡编乱造”（AI 幻觉）或者理解偏差。

为了解决这个问题，作者们设计了一个名为 Synedrion 的“智能团队”系统。

1. 核心难题：没有“标准答案”的考试

在普通软件里，如果我们要测试一个计算器，输入 2+2，我们期待输出 4，这就是“标准答案”（Oracle）。
但在税法里，情况很复杂。比如，一个盲人纳税人和一个视力正常的人，收入一样，盲人的税应该更少。但具体少多少？如果没有专家，你很难确定一个绝对的“正确答案”。这就是所谓的**“预言机问题”（Oracle Problem）**：我们不知道标准答案是什么，怎么判断 AI 写的代码对不对？

2. 解决方案：组建一个“虚拟税务局”团队

作者没有让一个 AI 单打独斗，而是组建了一个多智能体（Multi-Agent）团队，就像一家真实的软件开发公司，每个人分工明确：

• 税务专家（TaxExpertAgent）： 就像一位老练的税务律师。它的任务不是写代码，而是把那些晦涩难懂的法律条文（比如“盲人额外扣除 1650 美元”）翻译成结构清晰的JSON 数据清单。它确保规则被正确理解，而不是被误解。
• 初级程序员（Coder Agents）： 就像初级工程师。它们拿着“税务律师”整理好的清单，开始写具体的 Python 代码。
• 高级程序员（Senior Coder Agent）： 就像技术主管。它负责审查初级程序员写的代码，看看有没有硬编码（把数字写死）或者逻辑错误，并指挥他们修改。
• 变态测试员（Metamorphic Agent）： 这是整个系统的灵魂人物，也是最大的创新。

3. 核心创新：高阶“变形测试”（Metamorphic Testing）

这是论文最精彩的部分。既然没有“标准答案”，我们怎么测试呢？
作者用了一个**“比较法”，就像法律中的“先例原则”**（类似案件类似判决）：

• 普通测试（一阶）： 比如，收入增加，税应该增加。如果收入增加了，税反而少了，那就是错了。但这还不够，因为有些错误很隐蔽。
• 高阶测试（作者的创新）： 想象你在测试**“累进税率”**（收入越高，税率越高）。
  • 错误场景： 假设 AI 写错了，不管收入多少，都按 12% 收税（flat rate）。
  • 普通测试： 收入从 1 万涨到 2 万，税确实增加了，普通测试会认为“通过”。
  • 高阶测试： 我们的“变态测试员”会问：“收入从 1 万涨到 2 万，税率增加的比例，和从 2 万涨到 3 万，税率增加的比例，是否符合法律规定的阶梯？”
  • 比喻： 就像你开车上坡。普通测试只看“车是不是在往上走”。高阶测试员会检查“坡度是不是越来越陡”。如果法律规定是“越往上坡越陡”，但你的车（软件）却一直是“平路爬坡”，那虽然车在动，但逻辑是错的。

这个“变态测试员”会自动生成这种复杂的对比测试用例，专门抓那些系统性错误。

4. 惊人的发现：小模型也能打败大模型

通常我们认为，越大的 AI 模型（如 GPT-4o, Claude-3.5）越聪明。但在这个实验中，作者发现了一个反直觉的现象：

• 单打独斗时： 最大的模型（GPT-4o）在简单任务上表现很好，但一旦遇到复杂的税务逻辑（比如退休金的特殊计算），它们也会犯错，甚至只有 15% 的通过率。
• 团队协作时： 当使用较小的模型（如 GPT-4o-mini，参数少，速度快，便宜）配合上述的“虚拟团队”流程时，效果竟然超过了那些顶级大模型！
  • 在复杂的税务场景下，小模型团队的通过率达到了 45%，而顶级大模型单打独斗只有 9%-15%。

为什么？ 因为小模型虽然“记性”或“理解力”稍弱，但在结构化流程（律师翻译规则 -> 主管审查 -> 测试员找茬 -> 反复修改）的引导下，它们能更稳定地输出正确结果。这就像让一个聪明的实习生，在严格的导师和质检员指导下工作，往往比一个天才但独断专行的专家更靠谱。

5. 总结与意义

这篇论文告诉我们：

1. 不要只依赖 AI 的“智商”： 在法律、医疗等高风险领域，单纯让 AI 写代码是不够的。
2. 流程比模型更重要： 建立一个像“税务局”一样的协作流程（专家解读 + 多人写代码 + 严格的对比测试），可以让普通的 AI 模型发挥出惊人的能力。
3. 未来的方向： 这种方法不仅可以做报税软件，还可以用来做社会福利发放系统、医疗合规软件等任何需要严格遵循法律条文的领域。

一句话总结：
作者们没有试图造一个“全知全能”的 AI 法官，而是造了一个由 AI 组成的“税务局”，通过分工合作和一种叫“高阶变形测试”的找茬游戏，成功地把复杂的法律条文变成了准确、可靠的软件代码，甚至让“小个子”AI 打败了“大个子”AI。

技术摘要

论文技术总结：面向法律关键软件的 LLM 智能体方法——以税务申报软件为例

1. 研究背景与问题定义 (Problem)

随着大语言模型（LLM）在自然语言和编程语言处理能力的提升，利用 LLM 将复杂的法律条文（如美国联邦税法）自动转化为可执行代码成为可能。然而，在法律关键（Legal-Critical）领域（如税务、金融、医疗），软件开发的准确性、一致性和合规性要求极高。

核心挑战包括：

• 法律语言的模糊性： 自然语言法律条文存在歧义，直接翻译为代码容易产生逻辑错误。
• 幻觉问题： LLM 倾向于生成看似合理但实际错误的代码（例如，错误地应用最高税率而非累进税率）。
• 测试预言机缺失（Oracle Problem）： 在税务计算中，确定给定输入下的“正确输出”往往需要复杂的法律解释，难以获得绝对正确的基准答案（Ground Truth）。
• 现有测试方法的局限性： 传统的成对（Pairwise）变换测试（Metamorphic Testing）虽然能解决部分预言机问题，但容易漏掉系统性错误（例如，错误地应用统一税率可能仍满足“收入越高税越多”的单调性，但违反了累进税制的本质）。

2. 方法论：Synedrion 智能体框架 (Methodology)

作者提出了 Synedrion，一个基于多智能体（Multi-Agent）协作的框架，旨在将法律文档转化为可执行的税务软件。该框架模拟了现实世界软件开发团队的角色分工，并引入了**高阶变换测试（Higher-Order Metamorphic Testing, HMT）**作为核心验证机制。

2.1 智能体架构与分工

Synedrion 包含五个专用智能体，通过协作完成从法律文本到代码的生成与验证：

1. TaxExpertAgent（税务专家智能体）：
   • 职责： 解析法律文本，将其转化为结构化的 JSON 规范。
   • 功能： 定义函数的输入、输出、计算步骤及边界情况（如税率档次、扣除额）。它确保数据结构符合预定义的模式（Schema），为后续代码生成提供精确的“蓝图”。
2. CoderAgent（编码智能体）：
   • 职责： 根据 JSON 规范生成 Python 代码。
   • 机制： 采用两个实例并行生成，避免硬编码常量，而是通过 JSON 键值引用规则，便于更新和维护。
3. SeniorCoderAgent（高级编码智能体）：
   • 职责： 协调和审查。
   • 功能： 评估 CoderAgent 生成的代码，提供反馈并指导修正。它充当“代码审查员”，确保实现符合规范。
4. MetamorphicAgent（变换测试智能体）：
   • 职责： 生成测试用例并检测系统性错误。
   • 创新点： 不依赖绝对输出，而是基于高阶变换关系（Higher-Order Relations）。
     • 传统变换测试（4-ary）： 检查输入变化方向是否导致输出方向变化（如收入增加，税额增加）。
     • 高阶变换测试（n-ary, HMT）： 检查变化率的一致性。例如，在累进税制下，当收入跨越税率档次时，边际税率应发生“跳跃”。HMT 通过比较不同收入区间内的税额变化率（斜率），检测是否存在系统性错误（如错误地应用了统一税率）。
   • 测试类别： 包括比例增加（Proportional Increase）、阈值跳跃（Threshold Jump，检测税率档次跨越）、饱和（Saturation，检测上限）。

2.2 工作流程

1. 规范生成： TaxExpertAgent 将法律条文转换为结构化 JSON。
2. 代码生成： CoderAgent 基于 JSON 生成代码，SeniorCoderAgent 进行迭代审查和修正。
3. 验证与修复： MetamorphicAgent 生成基于 HMT 的测试用例（反例）。如果发现违规（如税率变化率不符合法律逻辑），它将具体的反例反馈给 SeniorCoderAgent，触发代码的迭代修复。

3. 关键贡献 (Key Contributions)

1. 高阶变换测试（HMT）的引入：
   • 超越了传统的成对比较，提出了一种基于变化率和多实例比较的测试方法。
   • 能够有效检测系统性逻辑错误（如平摊税率错误、阶梯税率逻辑缺失），这些错误是传统单调性测试无法发现的。
2. 基于 LLM 的智能体协作范式：
   • 证明了通过角色分工（专家、编码、审查、测试），即使是较小参数量的模型（如 GPT-4o-mini）也能在复杂任务中超越前沿大模型（如 GPT-4o, Claude-3.5）。
   • 解决了单一模型在处理长上下文、复杂逻辑推理和幻觉控制上的局限性。
3. 法律关键软件的开发新路径：
   • 为将非结构化法律条文转化为高可靠性可执行代码提供了一套可验证的自动化框架，特别适用于税务、福利政策等频繁变更且容错率极低的领域。

4. 实验结果 (Results)

研究者在 6 个不同复杂度的美国联邦税务场景（从基础税率计算到复杂的 1099-R 退休分配）中进行了评估。

• 基准模型表现（RQ1）：
  • 在零样本（Zero-shot）和思维链（CoT）提示下，大模型（GPT-4o, Claude-3.5）在简单场景表现良好，但在复杂场景（如场景 6）中性能急剧下降（Pass@10 仅为 14%-31%）。
  • 小模型（Llama-8B, GPT-4o-mini）在复杂场景下几乎完全失败。
• 智能体框架表现（RQ2）：
  • 小模型逆袭： 使用 GPT-4o-mini 作为基础模型的 Synedrion 框架，在场景 6 中的 Worst@10（最差情况通过率）达到了 45%，远超其作为单一模型时的 9%。
  • 大模型增强： 使用 Claude-3.5 的框架在场景 6 中达到了 78% (Worst@10) 和 93% (PP@1)。
  • 结论： 智能体协作显著提升了小模型处理复杂法律逻辑的能力，使其性能媲美甚至超越未加协作的前端大模型。
• 变换测试的贡献（RQ3）：
  • 引入 4-ary 变换测试（MT）提升了鲁棒性。
  • HMT 的关键作用： 引入高阶变换测试（HMT）后，GPT-4o-mini 在场景 6 的 Worst@10 从 45% 提升至 69%；GPT-4o 从 72% 提升至 88%。HMT 成功捕捉并修复了传统测试遗漏的系统性逻辑错误。
• 成本分析（RQ4）：
  • 虽然 HMT 增加了 Token 消耗（复杂场景下从约 11 万 Token 激增至 45 万 Token），但显著提高了代码的准确性和鲁棒性，证明了在关键领域“以计算换可靠性”的可行性。

5. 意义与影响 (Significance)

1. 解决“预言机问题”的新思路： 通过利用法律中的“先例原则”（Stare Decisis）和相对一致性（即相似情况应产生相似结果），HMT 提供了一种不依赖绝对正确答案即可验证软件正确性的方法。
2. 降低法律软件开发的门槛与成本： 证明了利用较小、更经济的 LLM 配合智能体架构，即可构建高可靠性的法律关键软件，减少了对昂贵超大模型的依赖。
3. 提升公共服务的透明度与问责制： 该方法可将复杂的法律条文转化为透明、可验证的代码，有助于减少税务申报软件中的错误（如 OpenTaxSolver 和 TaxSlayer 曾发生的错误），保障纳税人权益。
4. 通用性潜力： 虽然以税务软件为例，但该框架（法律解析 + 智能体协作 + 高阶变换测试）可推广至其他法律关键领域，如贫困资格认定系统、医疗合规软件等。

总结： 该论文提出了一种创新的 LLM 智能体框架，通过引入高阶变换测试和角色分工协作，成功解决了法律关键软件中“代码生成难”和“测试验证难”的两大痛点，为自动化生成高可靠性、合规的法律软件提供了切实可行的技术路径。