CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law

论文标题

CALRK-Bench：评估韩国法律中的情境感知法律推理

1. 研究背景与问题定义 (Problem)

现有的法律大语言模型（LLM）基准测试（如 LegalBench, LexGLUE 等）主要关注规则应用（Rule Application），即在事实和法律条文均明确且固定的假设下，评估模型对 IRAC（问题 - 规则 - 应用 - 结论）结构的执行能力。

然而，现实中的法律推理远比单纯的规则匹配复杂，存在以下现有基准无法捕捉的**情境感知（Context-Aware）**挑战：

• 法律规范的时效性：法律会随时间修订、废止或违宪失效，模型需判断在特定时间点哪条法律有效。
• 信息充分性：在法律咨询中，提供的信息可能不足以做出判决，模型需识别何时需要更多信息，而非强行基于不完整信息得出结论。
• 判决变更的归因：法律判决会因社会观念、法律条文修改或判例解释的变化而改变，模型需准确识别导致判决变化的具体结构性原因，而非仅仅预测结果。

核心问题：当前的 LLM 是否具备在规则应用之前，识别法律规范的有效性、评估信息充分性以及理解判决变化动因的能力？

2. 方法论 (Methodology)

2.1 基准测试设计 (CALRK-Bench)

该基准基于韩国法律体系构建（大陆法系，成文法为主，便于界定规范的有效性），包含三个核心任务类型，旨在作为“压力测试”（Stress Test）：

1. Type-TCR (Temporal Context Recognition，时间情境识别)

   • 任务：给定一个基于真实判例的判决摘要及后续的法律规范变更描述，模型需判断在哪个时间点（结合违法行为发生时间、审判时间、法律变更时间）能得出与原案相同的结论。
   • 构造：通过宪法无效宣告、法律修订、判例变更等场景，将时间线划分为不同区间，测试模型对法律规范时间效力的推理能力。
   • 数据量：100 个样本。

2. Type-ISR (Information Sufficiency Recognition，信息充分性识别)

   • 任务：判断给定的法律条文是否足以回答法律咨询问题。
   • 分类：
     • 充分 (Sufficient)：提供所有必要条文。
     • 部分 (Partial)：仅提供部分必要条文。
     • 不充分 (Insufficient)：提供看似相关但无法直接作为判决依据的条文（硬负样本）。
   • 构造策略：采用硬负样本挖掘（Hard Negative Mining）。利用共引模式（Co-citation patterns），从真实判例中提取与正确答案条文经常共同出现但法律效果冲突或限制彼此适用范围的条文作为干扰项，迫使模型区分“相关”与“充分”。
   • 数据量：279 个样本。

3. Type-JSA (Judgment Shift Attribution，判决变更归因)

   • 任务：给定判决摘要和变更描述，识别导致判决变化的直接原因。
   • 分类：
     • 规范前提 (Normative premises)：社会观念、惯例变化。
     • 规范文本 (Normative text)：法律条文的颁布、修订或违宪失效。
     • 解释规则 (Interpretive rules)：判例推翻（如韩国大法院大法庭判决）。
     • 事实前提 (Factual premises)：技术或社会环境变化导致事实认定改变。
   • 数据量：100 个样本。

2.2 数据构建与验证

• 来源：韩国法律数据库（Lawnb）、韩国法律援助公团咨询记录、AI Hub 数据、政府立法信息中心的判例。
• 专家验证：所有任务定义、选项构建及时间/类别划分均经过法学教授和法律从业者的多轮审查，确保法律逻辑的严谨性和类别的互斥性。
• 质量控制：优先保证案例的严谨性（明确的可变性）而非数据规模，排除模糊或争议极大的案例。

2.3 实验设置

• 模型：测试了包括 GPT-5, Gemini Flash, LLaMA 3.3, Qwen3 等在内的多个 SOTA 模型。
• 变量控制：测试了不同推理深度（Reasoning Effort，如 CoT, Thinking 模式）对性能的影响。
• 评估指标：准确率（Accuracy），并针对每个任务类型进行细分分析。

3. 关键贡献 (Key Contributions)

1. 提出首个情境感知法律推理基准：CALRK-Bench 填补了现有基准仅关注“固定规则应用”的空白，首次系统性地评估模型在法律规范动态变化、信息边界及判决归因方面的能力。
2. 创新的硬负样本构建方法：在信息充分性任务中，利用真实判例的共引关系构建具有高度迷惑性的法律干扰项，有效区分了模型的“记忆检索”与“逻辑推理”能力。
3. 揭示 LLM 在法律推理中的结构性缺陷：通过实验证明，即使是最先进的模型，在处理法律规范的时效性、识别信息不足以及归因判决变化时，仍存在系统性失败。
4. 开源数据集与代码：提供了基于韩国法律的高质量数据集及评估代码，为后续研究提供了基准。

4. 实验结果 (Results)

实验结果显示，即使是 SOTA 模型在 CALRK-Bench 上的表现也普遍较低，暴露了以下问题：

• Type-TCR（时间情境）：
  • 模型在“变更后规范适用”的场景下表现尚可，但在“变更前规范适用”（需同时考虑行为时间与审判时间的复杂逻辑）时表现极差。
  • 增加推理深度（如 CoT）并未显著提升性能，甚至在某些情况下导致性能下降，表明模型难以处理复杂的时间逻辑推理。
• Type-ISR（信息充分性）：
  • 在“信息充分”条件下准确率较高，但在“部分信息”条件下准确率大幅下降。
  • 过度自信：模型倾向于在信息不足时，利用内部参数知识（Parametric Knowledge）强行得出结论，而非识别信息缺失。
  • 上下文注入实验：注入无关上下文（如中文法律 QA）能轻微提升部分模型在“部分信息”下的表现，暗示模型容易受内部知识干扰，而缺乏对外部证据的严格依赖。
• Type-JSA（判决归因）：
  • 模型表现出明显的类别偏差（Category Bias）。例如，Gemini 倾向于将变化归因于“规范前提”（社会观念），而 GPT 倾向于归因于“事实前提”。
  • 这表明模型可能过度依赖训练数据中常见的英美法系（Common Law）模式（社会变化直接导致判例改变），而未能准确区分大陆法系中制度性程序（如法律修订、大法庭判决）的作用。

5. 意义与局限性 (Significance & Limitations)

意义

• 重新定义法律 AI 评估标准：指出法律 AI 不应仅停留在背诵法条或预测结果，必须具备理解法律**上下文（Context）和动态性（Dynamics）**的能力。
• 揭示幻觉与过度自信：证明了 LLM 在法律领域存在严重的“信息充分性幻觉”，即在缺乏依据时仍自信地给出答案，这对法律应用的可靠性构成重大风险。
• 跨法系视角的启示：虽然基于韩国法律，但其揭示的“规范时效性”和“判决归因”问题是全球法律系统共有的，为评估其他法系的法律模型提供了方法论参考。

局限性

• 法系特定性：基于韩国（大陆法系）构建，直接应用于普通法系（Common Law）模型评估可能存在偏差，尽管方法论通用。
• 数据规模：由于明确的可变性案例（如判例推翻、法律大修）在现实中稀缺，且经过严格的人工验证，数据集规模相对较小（约 479 个样本）。
• 案例明确性：为了评估的客观性，排除了现实中常见的模糊、渐进式法律变化案例，可能无法完全覆盖真实法律纠纷的复杂性。

总结

CALRK-Bench 是一项重要的工作，它通过构建高难度的情境感知任务，有力地证明了当前 LLM 在法律推理中仍停留在“规则匹配”的初级阶段，缺乏对法律规范动态演变、信息边界及判决深层动因的深刻理解。这为未来开发真正具备法律推理能力的 AI 系统指明了方向。