LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

以下是论文"LEGALMIDM：面向韩语大语言模型的用例驱动法律领域专业化”的详细技术总结。

1. 问题陈述

开源大语言模型（LLM）的迅速 proliferation 推动了创建领域专用专家模型的努力。然而，现有的领域专用大语言模型（尤其是法律领域）往往存在一个关键的脱节：

• 与现实需求的错位：许多模型基于对实用性的朴素假设进行训练，而非基于实际法律工作流程中细微且高风险的严格要求。
• 缺乏严谨性：现有方法往往未能解决法律任务中固有的歧义性，也未能合理论证其数据构成及输入/输出格式。
• 灾难性遗忘：将通用模型适配到特定领域时，往往面临在通用任务上性能下降或无法维持模型身份（例如回答“你是谁？”）的风险。
• 背景：虽然韩国法律界对人工智能的需求很高，但缺乏将开源大语言模型专门适配于韩国法律的系统化框架。

2. 方法论

作者提出了LEGALMIDM，这是一个基于Mi:dm-2.0-Base（一个 115 亿参数的韩语 - 英语双语模型）构建的韩语法律领域垂直大语言模型。该方法论是一个用例驱动的端到端框架，包含四个关键支柱：

A. 需求调研与任务选择

作者没有进行通用训练，而是分析了 20 个运营中的法律科技服务（美国和韩国），并咨询了执业律师。他们确定了六个高需求任务：

1. 文档摘要（DS）
2. 基于文档的问答（DQA）
3. 开放式问答（Open QA）
4. 起诉状起草（DD）
5. 诉状起草（DD）
6. 多项选择问答（MC）

B. 数据策划与构建

• 人工策划数据：由法律专业学生、行业专业人士和律师组成的团队构建了高质量数据集。这包括每个任务 100 个留出的测试样本。
• 自动合成数据生成：为了扩大数据规模，他们利用了韩国立法信息中心（Korean Legislative Information Center）的法令。使用 GPT-4o，他们生成了问答对，提示模型引用具体的法律条款。
  • 验证：通过字符串匹配验证步骤，确保引用的参考文献是源法令的实际子字符串，从而保证事实依据。
• 通用领域保留：为了防止灾难性遗忘，作者分析了真实用户查询（来自 ChatKoAlpaca）以识别常见的身份问题（例如“你是谁？”），并在训练混合中包含了通用领域数据（KoAlpaca, KOpen-HQ）。

C. 训练流程

训练过程涉及两个阶段，并通过特定的消融研究来确定最佳策略：

1. 持续预训练（CPT）：将基础模型适配到法律领域。
2. 指令微调（IT）：针对特定任务优化模型。

关键设计决策（通过消融验证）：

• 数据构成：在 CPT 和 IT 阶段均整合通用领域数据（通用：法律比例为 7:3），其表现优于仅使用法律数据训练。这在增强法律专业化的同时保留了通用能力。
• 合成数据格式：作者测试了法律参考文献（$R$）的三种格式：
  1. $M(Q) \to A$（无参考文献）
  2. $M(Q) \to A + R$（输出中包含参考文献）
  3. $M(Q + R) \to A$（输入中包含参考文献）
  • 发现：虽然在文档任务中在输出中生成参考文献效果良好，但这会导致多项选择题的不稳定。最佳策略是在所有任务中将法律参考文献置于输入端（$Q + R$）。
• 系统提示优化：作者测试了使用与不使用系统提示（将模型定义为"Mi:dm"）的训练。
  • 发现：不使用系统提示进行训练获得了最佳的法律性能。系统提示应仅在推理时应用，以确保模型在不损害特定任务推理能力的情况下正确识别自身。

3. 主要贡献

1. 用例驱动框架：提供了一套将开源大语言模型转化为法律专家的系统化方案，该方案基于实际行业需求而非理论假设。
2. LEGALMIDM 模型：发布了一个专用的 115 亿参数韩语法律大语言模型，其在韩语法律基准测试中的表现显著优于规模大得多的模型（例如 Llama-3.3-70B, Qwen2.5-32B）。
3. 训练策略的实证验证：
   • 证明了混合通用领域数据对于保持鲁棒性至关重要。
   • 确定了在合成数据中，将法律参考文献作为输入优于生成参考文献。
   • 证明了系统提示应与训练数据解耦，并仅在推理期间应用。
4. 高质量数据集构建：通过法律专家参与和自动化验证的严格流程，创建了具有事实依据的法律数据集。

4. 结果

该模型在六项法律任务和两项通用基准测试（KMMLU, HAERAE）上进行了评估。

• 法律性能：LEGALMIDM（115 亿参数）在所有法律任务（起诉状、摘要、诉状、问答、机器阅读理解、多项选择）中均取得了最高分数。
  • 示例：在起诉状任务中，LEGALMIDM 的 Rouge-L 得分为67.67，显著优于 Llama-3.3-70B（53.40）和 Qwen2.5-32B（58.81）。
  • 它在所有项目上也获得了最高的 LLM 裁判分数（由 GPT-4o 评估）。
• 通用性能：尽管规模较小，LEGALMIDM 在通用基准测试（KMMLU, HAERAE）上保持了具有竞争力的性能，与或优于大得多的模型，证实了包含通用数据防止了灾难性遗忘。
• 消融洞察：
  • 从 CPT/IT 中移除通用数据导致法律任务性能显著下降。
  • 在输入中包含参考文献（$Q+R$）在稳定性和准确性方面始终优于其他格式。

5. 意义

本文通过将重点从“更多数据”转向“更好、与用例对齐的数据和训练策略”，解决了法律部门人工智能部署中的一个关键差距。

• 实用价值：该框架提供了一条可复现的路径，用于开发垂直领域大语言模型，这些模型不仅在理论上可行，而且在起草起诉状和诉状等高风险任务中具有实际效用。
• 效率：它证明了当训练流程针对特定领域的约束进行优化时，一个较小且经过良好调优的模型（115 亿参数）可以在特定领域超越巨大的基础模型（700 亿参数以上）。
• 韩国法律人工智能：它填补了韩国法律科技领域的特定空白，提供了一个基于韩国法令和文化背景训练的模型，这对于该司法管辖区的准确法律推理至关重要。

总之，LEGALMIDM 确立了领域专业化的新标准，证明了严格的数据策划、战略性的数据混合以及特定的架构选择（如基于输入的引用）比单纯扩大模型规模更具影响力。