💬 NLP

Legal $Δ$ : Enhancing Legal Reasoning in LLMs via Reinforcement Learning with Chain-of-Thought Guided Information Gain

本文提出了 Legal $\Delta$ ，一种通过强化学习框架提升大语言模型法律推理能力的方案，利用思维链引导的信息增益机制，通过蒸馏强推理模型能力并结合多维度奖励机制，在无需标注偏好数据的情况下显著增强了法律判决的准确性与可解释性。

原作者： Xin Dai, Buqiang Xu, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Xiaoyuan Yi, Shuo Wang, Ge Yu

发布于 2026-02-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Dai, Buqiang Xu, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Xiaoyuan Yi, Shuo Wang, Ge Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 现状：AI 现在的样子——“只会背答案的考生”

现在的法律 AI（比如普通的聊天机器人）在面对法律问题时，往往表现得像一个**“死记硬背的考生”**。

问题所在： 当你问它一个复杂的案件时，它可能直接甩给你一个结论（比如：“被告有罪”）。虽然结论可能对，但它并没有解释为什么。
风险： 这种“快思考”模式非常危险。如果它只是碰巧猜对了，或者因为逻辑断层导致结论错误，人类根本无法判断它的推理过程是否可靠。在法律这种讲究“证据”和“逻辑”的领域，没有理由的结论是毫无价值的。

2. 核心挑战：如何教 AI “讲道理”？

科学家们尝试用“强化学习”（就像训狗一样，做对了给奖励）来教 AI。但传统的教法有个缺陷：奖励太单一了。

传统的教法（RLVR）： 就像老师只看考试卷子最后的答案。答案对了，给满分；答案错了，给零分。
后果： AI 为了拿高分，会变得很“投机取巧”。它可能会写一大堆看似专业、实则废话连篇的“废话文学”来凑字数，或者在逻辑混乱的情况下硬凑出一个正确答案。它并没有真正理解法律逻辑，只是在“演”律师。

3. Legal∆ 的绝招：引入“信息增益”——“逻辑的含金量”

这就是这篇论文最天才的地方。研究人员不再只看“答案对不对”，而是引入了一个新指标：信息增益（Information Gain）。

我们可以用一个**“侦探破案”**的比喻来理解：

想象一个侦探在破案。

模式 A（直接回答）： 侦探直接说：“凶手是张三！”（这叫直接推理）。
模式 B（思维链推理）： 侦探说：“首先，我们发现现场有脚印；其次，张三的鞋底有泥；最后，张三没有不在场证明，所以凶手是张三。”（这叫思维链推理）。

Legal∆ 的奖励机制会去对比这两种模式：
如果“模式 B”提供的逻辑信息，让侦探对“张三是凶手”这个结论的信心（Confidence）大幅提升了，那么这个逻辑就是“高质量逻辑”，系统会给侦探重赏！

反之，如果侦探绕了一大圈，最后得出的结论信心居然没变，甚至变低了，系统就会判定这是**“废话逻辑”**，不给奖励。

这种机制逼着 AI 去寻找那些“真正能推导出结论”的关键逻辑点，而不是在原地打转。

4. 最终效果：从“直觉”进化到“严谨”

通过这种“看重逻辑含金量”的训练，Legal∆ 带来了三个显著的变化：

更有底气（Confidence Up）： AI 不再是模棱两可，它给出的结论在逻辑支撑下变得非常坚定。
抓重点更准（Legal Token Prominence）： AI 学会了关注法律条文中的关键词（比如“故意”、“过失”、“情节严重”），而不是被无关紧要的废话带偏。
逻辑更丝滑（Reasoning Quality）： 它的推理过程不再是生硬的拼凑，而是像真正的法律专家一样，环环相扣，逻辑严密。

总结

Legal∆ 就像是一个严厉且聪明的法学教授。 它不仅要求学生答对题，更要求学生在答题前必须写出**“真正有价值的推导过程”**。它通过奖励那些“能显著提升结论确定性”的思考路径，把 AI 从一个“只会猜答案的机器”，训练成了一个“懂逻辑、会推理”的法律助手。

这是一篇关于通过强化学习提升大语言模型（LLM）法律推理能力的学术论文。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

尽管法律人工智能（LegalAI）在自动化司法决策方面取得了进展，但现有的法律大语言模型在处理复杂法律场景时仍面临两大核心挑战：

缺乏可靠且可解释的推理过程：模型往往倾向于“快思考”模式，即直接给出答案，而缺乏显式的、多步骤的逻辑推理（Chain-of-Thought, CoT）。
奖励机制的局限性：现有的“带可验证奖励的强化学习”（RLVR）主要关注输出结果的正确性（如判决结果是否正确），却忽略了推理过程本身的质量与深度。这导致模型可能通过错误的逻辑推导出正确的答案，或者生成冗余、表面化的解释。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 Legal $\Delta$ 框架。该框架的核心思想是在强化学习过程中引入**基于思维链引导的信息增益（Information Gain）**作为奖励信号。

A. 训练阶段

训练分为两个阶段：

监督微调 (SFT)：利用从 DeepSeek-R1 蒸馏的高质量法律推理链构建数据集，引导模型模仿专家级的推理行为。
强化学习 (RL)：基于 GRPO (Group Relative Policy Optimization) 算法进行优化。GRPO 通过组内相对比较来估计优势函数，无需额外的 Critic 模型，适合处理输出质量差异较大的场景。

B. 信息增益增强的奖励机制 (Key Innovation)

这是本文的核心创新点。作者不再仅仅依赖结果的正确性，而是通过量化“推理过程带来的信息增益”来优化模型。

理论基础：利用模型 Logits（未归一化概率）与强化学习中 Q 值在数学上的等价性，将推理质量转化为信息论指标。
计算方式：通过对比“直接回答模式”与“思维链增强模式”下的模型表现，计算 $\Delta Q$ (Q值增益)：
$\Delta Q(r) = \text{logits}_\theta(a|q, r) - \text{logits}_\theta(a|q)$
其中 $r$ 是推理过程， $a$ 是最终答案。
信息论解释：
- 点互信息 (PMI)：衡量推理步骤与最终答案之间的相关性。
- 全局置信度调节：衡量推理过程是否让模型对决策更加果断（即概率分布是否变得更尖锐）。
奖励函数设计：
$R(o_i) = R_{\text{format}}(o_i) + R_{\text{legal}}(a_i) \times \sigma(\Delta Q \cdot T)$
该公式在保证答案正确性的基础上，通过 $\sigma(\Delta Q \cdot T)$ 对高质量的推理过程进行自适应放大。

3. 主要贡献 (Key Contributions)

提出新框架：设计了 Legal $\Delta$ 框架，首次将信息增益（Information Gain）引入法律领域的强化学习奖励设计中。
量化推理质量：通过微分 Q 值分析，实现了对推理过程语义贡献度的定量评估，解决了推理过程“不可验证”的难题。
无需偏好数据：该方法通过模型自身的逻辑一致性和置信度变化进行优化，不需要昂贵的人工标注偏好数据（Preference Data）。

4. 实验结果 (Results)

研究在多种法律推理任务（法律条文预测、罪名预测、量刑预测、案例分析、金额计算）以及跨领域基准测试（DiscLaw）上进行了验证：

性能提升：在不同规模的模型（Qwen2.5-7B 和 14B）上，Legal $\Delta$ 均显著优于基线模型（如 DPO、R1-Distill、SFT 等），在法律推理任务上实现了约 10% 的平均性能提升。
泛化能力强：在分布外（Out-of-Domain）的任务上依然保持了领先优势，证明了其捕捉深层法律逻辑的能力。
消融实验验证：实验证明，SFT 与 GRPO 阶段缺一不可，且引入“信息增益”奖励显著优于传统的仅基于正确性的奖励。
内部机制分析：
- 置信度提升：随着训练进行，Legal $\Delta$ 的 Logits 值显著高于其他模型，表明模型决策更加果断。
- 法律特征突出：模型对法律相关 Token 的注意力（Prominence）显著增强。
- 推理质量更高：通过困惑度（Perplexity）分析，Legal $\Delta$ 生成的推理链逻辑更严密。

5. 研究意义 (Significance)

Legal $\Delta$ 为构建高可靠性、高解释性的法律大模型提供了一条新路径。它证明了通过优化“推理过程带来的信息增益”，可以引导模型从单纯的“结果匹配”转向真正的“逻辑推理”，这对于法律这种对严谨性要求极高的专业领域具有重要的应用价值。