💬 NLP

AppellateGen: A Benchmark for Appellate Legal Judgment Generation

本文提出了首个专注于二审的法律判决生成基准 AppellateGen，包含 7351 个案件对，并设计了基于司法标准作业程序的多智能体系统（SLMAS）来模拟二审流程，实验表明尽管该方法提升了逻辑一致性，但当前大语言模型在应对复杂的二审推理方面仍面临显著挑战。

原作者： Hongkun Yang, Lionel Z. Wang, Wei Fan, Yiran Hu, Lixu Wang, Chenyu Liu, Yu Zeng, Shenghong Fu, Lei Gong, Zhengxin Zhang, Haoyang Li, Jiexin Zheng, Xin Xu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongkun Yang, Lionel Z. Wang, Wei Fan, Yiran Hu, Lixu Wang, Chenyu Liu, Yu Zeng, Shenghong Fu, Lei Gong, Zhengxin Zhang, Haoyang Li, Jiexin Zheng, Xin Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 AppellateGen 的新项目，以及一个用来解决法律难题的“智能法官团队”系统。为了让你更容易理解，我们可以把法律审判想象成一场**“体育比赛”**，把这篇论文的核心内容拆解为三个部分：发现了什么新问题、造了什么新工具、怎么用的。

1. 发现了什么新问题？（从“初赛”到“复赛”的跨越）

想象一下，现在的法律 AI 就像是一个只看过“初赛”录像的解说员。

现状（一审）： 以前的法律 AI 主要研究“一审”。这就像看一场足球赛，裁判（法官）根据场上的事实（谁犯规了、球进了没）直接吹哨判罚。AI 的任务就是根据这些事实，预测裁判会怎么吹哨。这相对简单，因为事实是固定的。
痛点（二审）： 但是，现实中的法律案件往往会有**“二审”（上诉）**。这时候，情况变了！
- 输的一方（上诉人）不服气，说：“裁判，我有新证据！或者你当时看错了！”
- 二审法官不仅要重看一遍比赛，还要对比“一审的判罚”和“新出现的证据”，看看一审是不是判错了。
- 难点： 以前的 AI 就像个死板的机器，它只懂“事实 $\rightarrow$ 判决”的直线逻辑，不懂这种**“辩论”和“纠错”**的过程。如果 AI 不能理解“新证据”如何推翻“旧判决”，它写出来的二审判决书就会胡编乱造（幻觉），甚至逻辑不通。

论文的贡献： 他们造了一个**“二审模拟考场”（AppellateGen 数据集）**。这里面有 7000 多对真实的“一审判决书”和“二审判决书”。这就好比给 AI 提供了一套完整的“初赛 + 复赛”题库，强迫 AI 学习如何像真正的法官一样，去审视旧判决、分析新证据，最后写出一个有说服力的二审判决。

2. 造了什么新工具？（SOP 智能法官团队）

为了解决这个难题，作者没有让一个超级 AI 单打独斗，而是组建了一个**“模拟人类法官工作流程的智能团队”（SLMAS）**。

你可以把这个团队想象成一家顶级律师事务所的“流水线”，而不是一个全能的“超人”。他们把写判决书这件大事，拆成了四个步骤，每个步骤由一个专门的“小 AI 员工”负责：

找茬员（争议识别 Agent）：
- 任务： 先读一审判决书，再读上诉人的新证据。
- 比喻： 就像挑刺的质检员。他会问：“上诉人到底在吵什么？是觉得事实查错了，还是觉得法律用错了？”他把核心矛盾提炼出来。
查书员（法律检索 Agent）：
- 任务： 根据“找茬员”提炼的矛盾，去法律数据库里找对应的法条。
- 比喻： 就像图书管理员。既然知道要解决什么争议，就去书架上精准地找到那本《民法典》或《刑法》里的具体条款，而不是漫无目的地乱翻。
预判员（判决预测 Agent）：
- 任务： 结合事实和法条，在动笔之前先在心里打个草稿：这案子是维持原判，还是改判？
- 比喻： 就像老练的教练。在正式开赛前，先分析局势，给出一个“大概率会赢”的结论，确保后面的写作不跑偏。
主笔员（文书生成 Agent）：
- 任务： 拿着前面三个人的成果（争议点、法条、预判结论），正式撰写判决书。
- 比喻： 就像金牌写手。因为有前面的人把逻辑理清楚了，他只需要把故事讲圆、把法理写透，就不会胡编乱造。

为什么要这么做？
这就好比让一个实习生（普通 AI）直接写复杂的法律报告，他很容易因为想太多而编造事实。但如果把这个任务拆给四个专家，每个人只负责自己最擅长的一环，最后拼出来的报告就逻辑严密、有据可依。

3. 结果怎么样？（通用大脑 vs. 专业书呆子）

实验结果很有趣，甚至有点反直觉：

通用 AI 赢了： 那些在通用领域（比如聊天、写代码、逻辑推理）训练得很强的 AI（比如 Qwen3、Gemini），在这个“二审”任务上表现最好。
专业 AI 输了： 那些专门在“法律数据”上训练过的 AI，反而表现一般。
原因： 二审判决需要的不是死记硬背法条（像背单词），而是**“动态的逻辑推理”**（像下围棋）。通用 AI 擅长这种复杂的逻辑推演，而专门的法律 AI 可能太依赖死记硬背，遇到“新证据推翻旧事实”这种灵活场景就懵了。

总结

这篇论文就像是在说：

“以前的法律 AI 只会做‘填空题’（给事实填判决），但真正的法律世界充满了‘辩论题’（二审）。我们造了一个‘二审题库’，并发明了一套**‘专家流水线’系统**，让 AI 学会像人类法官一样，先找矛盾、再查法条、最后做决定。结果显示，逻辑推理能力强的通用 AI，比死记硬背的专用 AI 更适合干这个活。”

这不仅是一个技术突破，更是让 AI 从“法律书记员”向“法律分析师”迈进的重要一步。

这篇论文提出了一项名为 AppellateGen 的新基准，旨在解决法律智能领域中二审（上诉）法律判决生成的任务。现有的研究主要集中在一审（初审）判决，通常基于静态事实到判决的映射，而忽略了上诉审查中固有的辩证性质（即对初审判决与上诉理由及新证据的对比分析）。

以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem & Challenges)

现有局限：目前的法律 NLP 研究多关注“事实 $\to$ 判决”的单向映射（一审视角），缺乏对二审程序的建模。二审程序具有辩证性，需要模型对比初审判决与上诉人的申诉理由，并处理动态更新的事实（如新证据）。
数据缺失：缺乏将初审判决与二审结果（维持或改判）关联起来的大规模数据集。
推理复杂性：二审判决生成需要处理冲突的叙事、长上下文证据以及复杂的因果推理（识别事实认定错误或法律适用错误），这导致当前的大语言模型（LLM）容易产生幻觉（Hallucinations）和逻辑不一致。
司法实践差异：特别是在大陆法系（如中国），二审法院拥有“续审制”原则，可以重新审查事实并采纳新证据，这使得任务比普通法系的纯法律审更为复杂。

2. 核心贡献：AppellateGen 基准 (The AppellateGen Benchmark)

作者构建了首个专注于二审法律判决生成的大规模基准：

数据规模：包含 7,351 对高质量的法律案件数据，每对数据包含“初审判决”和对应的“二审判决”。
数据来源：从中国裁判文书网收集了 2021-2024 年的原始文书，通过多阶段流水线匹配同一案件的不同审级，并经过人工专家验证（一致性约 96%）。
细粒度标注：除了生成判决文本外，数据集还包含以下关键标注，用于评估模型的推理能力：
- 判决结果分类：维持（Affirm）或改判/发回重审（Reverse）。
- 改判理由：识别是事实认定错误、法律适用错误还是程序违规。
- 新事实/新证据识别：提取仅在二审中出现的、导致判决变化的新证据。
- 法条引用提取：提取二审法院作为裁决依据的具体法律条款。
统计特征：数据集中约 10.7% 为改判案例，89.3% 为维持原判，平均文本长度较长（二审约 5752 字），体现了长上下文推理的挑战。

3. 方法论：基于司法 SOP 的法律多智能体系统 (SLMAS)

为了应对二审推理的复杂性，作者提出了一种基于司法标准作业程序（SOP）的法律多智能体系统（SLMAS）。该系统模仿人类法官的工作流，将生成过程分解为四个离散的阶段，由四个专用智能体协同完成：

争议焦点识别 (Analysis)：
- 智能体：Disputed Issues Identification Agent。
- 任务：分析初审判决与新证据之间的差异，提炼出上诉的核心争议点（ $z_{issue}$ ）。
法律检索 (Search)：
- 智能体：Legal Retrieval Agent。
- 任务：基于识别出的争议点，从外部法律知识库中检索相关的法律条文和司法解释（ $z_{law}$ ），确保推理有据可依。
改判预测 (Predict)：
- 智能体：Reversal Prediction Agent。
- 任务：模拟法官的内部 deliberation，结合案情、争议点和法律依据，预测二审结果是维持还是改判，并生成预测理由（ $z_{verdict}$ ）。这是一个逻辑检查点。
判决撰写 (Write)：
- 智能体：Document Generation Agent。
- 任务：基于上述所有中间推理状态（ $z = \{z_{issue}, z_{law}, z_{verdict}\}$ ），生成最终的二审判决书。

核心思想：通过显式地建模中间推理状态，强制模型遵循逻辑链条，从而减少幻觉并提高逻辑一致性。

4. 实验结果 (Experimental Results)

作者在构建的测试集（1000 个案例，维持与改判各半）上评估了多种模型：

基线模型：包括通用大模型（Qwen3, Gemini 2.5, gpt-oss 等）、法律领域专用模型（DISC-LawLLM, Wisdom Interrogatory）以及单智能体基线（配合 Self-Consistency 和 Self-Reflection）。
主要发现：
- SLMAS 性能优越：SLMAS 框架显著提升了所有规模模型的表现。例如，使用 Qwen3-235B 时，SLMAS 将平均生成质量评分从 2.257 提升至 2.536，改判预测准确率从 61.42% 提升至 67.24%。
- 通用模型 > 专用模型：具有强推理能力的通用 LLM（配合 SLMAS）表现优于传统的法律领域专用模型。这表明在复杂的二审推理任务中，认知灵活性比静态的领域知识预训练更为重要。
- 消融实验：证明了“争议焦点识别”模块至关重要。如果移除该模块，检索模块缺乏方向，导致法律适用错误。
- 指标分析：SLMAS 在逻辑推理（Logical Reasoning）和法律适用（Legal Application）等语义指标上表现优异，尽管在 ROUGE-L 等基于 n-gram 重叠的指标上可能略低（因为模型进行了逻辑重构而非简单复制），这证明了语义评估的必要性。

5. 意义与结论 (Significance & Conclusion)

范式转变：AppellateGen 将法律 NLP 的研究重心从静态的一审预测推向了动态的、辩证的二审生成，填补了该领域的空白。
方法论创新：提出的 SLMAS 框架展示了通过结构化分解（SOP）和多智能体协作来解决复杂长程推理任务的有效性，为减少法律 AI 中的幻觉提供了新思路。
实际价值：该基准和系统为评估法律 AI 处理动态证据和复杂因果推理的能力提供了严格的测试床，有助于推动辅助司法决策系统的发展。
局限性：目前数据集仅限于中国大陆法律体系（中文），且尽管 SLMAS 提升了性能，但绝对分数（约 2.5/5）表明当前模型在完全模拟人类法官的辩证推理方面仍有差距，未来需要更强大的因果推理架构。

总结：这篇论文通过构建 AppellateGen 基准和 SLMAS 框架，证明了在二审法律判决生成任务中，引入司法工作流（SOP）的多智能体协作机制，能够显著提升模型的逻辑一致性和推理准确性，且通用大模型在此类复杂推理任务中展现出比传统法律专用模型更强的潜力。