Does the Competitive Component of Adversarial Self-Play Improve Legal Reasoning? A Controlled Negative Result

技术摘要：对抗性自我博弈中的竞争组件是否能提升法律推理能力？

问题陈述
本文研究了法律人工智能领域的一个特定假设：对抗性自我博弈中的竞争组件（即实时对手和“生存”奖励机制）是否能比非竞争基准带来可衡量的提升。虽然直觉认为，训练模型去应对反驳以实现“生存”，会产生更稳健的论证，但作者指出，这种直觉混淆了“暴露于经过对抗性选择的困难数据”与“竞争机制本身”。核心科学问题在于：当课程、数据和计算量保持不变时，竞争是否增加了价值。

方法论
作者构建了一个受控实验，使用基于可验证奖励（RLVR）的法律论证生成技术。

• 实验设置： 一个“学生”模型负责起草法律论证。在实验组（竞争模式）中，一个对手（学生模型的冻结副本，定期更新）会对论证进行攻击。只有当学生的引用权威依据与对手的反驳权威依据均通过引用校验器时，学生才会获得“生存奖励”。这确保了生存判定是基于经过验证的法律依据，而非修辞上的流利度或虚假的引用。
• 对照组： 一个非竞争运行版本，使用完全相同的课程和可验证奖励（引用正确性、法律要素覆盖率、模式符合度），但没有实时对手或生存奖励。
• 评估策略： 作者通过四项不同的方法论测试及一项后续试点研究对两个运行版本进行了比较：
  1. 自助法比较（Bootstrap Comparison）： 分析主要的留出集推理指标。
  2. 双种子重复实验（Two-Seed Replication）： 使用两个独立的随机种子重复比较。
  3. 配对逐案对抗鲁棒性（Paired Per-Case Adversarial Robustness）： 测量论证在受到攻击后的“保留”得分，进行逐案配对。
  4. 盲测头对头评判（Blinded Head-to-Head Judgment）： 由一个独立的裁判模型在随机排序的论证之间选出胜者，以防止位置偏见。
  5. 强化对手试点研究（Strengthened-Adversary Pilot）： 为了排除“弱对手”这一干扰因素，进行了一项后续研究，采用了真正的多轮自我博弈循环，其中对手在每一轮都会更新至最新的检查点。

关键结果
在所有测试中，竞争组件并未产生可靠的收益。结果一致指向了零效应（null effect）：

• 自助法与双种子测试： 竞争组仅显示出微小且不显著的 F1 差异（例如 +0.0042 和 +0.0068），其置信区间包含零。
• 配对鲁棒性（反转现象）： 最初针对 $n=18$ 的测试显示竞争模型具有巨大的 +29% 优势。然而，在将样本扩大到 $n=29$ 后，该效应发生了反转，变为轻微劣势（$\Delta \approx -0.0069$），其中 29 个案例中有 28 个为平局。最初的 +29% 被认定为小样本偏差产生的伪影。
• 盲测评判： 竞争模型赢了 28 次，输了 29 次，平局 9 次（胜率为 49%），二项分布 $p \approx 1.000$。
• 强化对手试点研究： 即使使用了显著更强的多轮对手，胜率也正好是 50%（32 胜、32 负、2 平），$p \approx 1.000$。

识别出的测量陷阱
论文强调了研究过程中发现的两个关键“测量陷阱”，这构成了其研究的重要贡献之一：

1. $n=18$ 的幻象： 小型对抗集可能会制造出看似合理且巨大的效应，而这些效应会在样本量稍作增加后消失或发生反转。
2. 奖励向召回率的坍缩： “生存”指标最初旨在衡量金标准权威依据的保留情况。然而，作者发现，一个强大的对抗代理自然会引用相反的权威依据，而非金标准依据。因此，该指标在无形中退化为了普通的 F1 召回率度量，未能捕捉到预期的对抗鲁棒性。这使得转向盲测胜负判断成为必要。

意义与主张
作者将这项工作呈现为一次诚实的负面结果以及一项可复现性贡献，而非一种新方法。

• 规模适度： 论文明确承认这是一项规模较小、统计效力不足的试点研究。它并不声称竞争组件绝不会产生帮助，而仅表示在其特定的、受控的实验设置中没有产生帮助。
• 核心结论： 该领域的多元教师课程的价值在于构建一个可验证的环境（即引用校验器和结构化反馈），而非竞争本身。
• 一致性： 该领域的零结果再次证实了其在编程领域伴随研究（Kim, 2026）中的发现，表明如果环境已经是可验证的，那么对抗性自我博弈中的“竞争”环节可能是冗余的。
• 对领域的价值： 本文旨在防止其他研究人员浪费精力去重新发现这些特定的测量陷阱（小样本幻象和奖励坍缩），并鼓励业界对竞争组件的价值进行诚实的定价。