Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain
本文介绍了 Mecellem，这是一个针对土耳其法律领域适应性的框架，其特点是采用了基于 ModernBERT 的编码器（该编码器通过一种创新的检查点选择策略在 1127 亿个 token 上从头开始预训练），以及通过四阶段持续预训练课程增强的基于 Qwen 的解码器模型，这些技术共同实现了最先进的检索性能、显著的困惑度降低以及更高的计算效率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：构建一个土耳其法律大脑
想象你有一位才华横溢、精通多种语言的学生（大语言模型），他几乎读过了互联网上所有的英文内容。他很聪明，但如果你问他关于土耳其法律的问题，他就会语塞。他不了解特定的词汇、复杂的句子结构，也不了解土耳其法律体系的严格规则。
这篇论文的作者想要解决这个问题。他们构建了 Mecellem，这是一个专门为土耳其法律世界设计的专业化 AI 框架。他们不仅仅是向这个学生“教”几个新单词；他们还通过两种不同类型的强化训练，使其成为一名法律专家。
策略 1：“专业图书管理员”（编码器模型）
目标： 创建一个像超级快速的图书管理员一样的模型。当你提出问题时，它不会写一篇长篇大论，而是能瞬间从庞大的图书馆中找到你需要的精确法律文件。
他们是如何做到的：
他们没有试图教一个现有的英文图书管理员如何说土耳其语，而是从零开始构建了一个新的图书管理员。
- 训练过程： 他们向这位新图书管理员喂入了 1127 亿个土耳其语词汇。这包括法院判决、学术论文和法律条文。
- “金发姑娘原则”式的发现（寻找平衡点）： 通常在训练模型时，我们会在“错误率”（模型犯错的次数）最低时停止。作者发现了一个转折：表现最好的图书管理员并不是那个错误率最低的。
- 类比： 想象一个正在为考试学习的学生。如果他一直学习直到完美地背下了每一个事实（错误率最低），他可能会忘记如何将这些事实应用到现实世界的问题中。作者发现，模型在完成所有记忆之前的某个“甜点区”（sweet spot）表现最好。如果训练得太久，它在寻找答案方面的表现反而会变差。
- 结果： 他们创建了一个小型且高效的图书管理员（仅有 1.55 亿个“脑细胞”或参数），其表现与规模更大、速度更慢的图书管理员不相上下。这就像拥有一辆紧凑型跑车，其行驶速度却能媲美大型卡车。
策略 2：“法律学者”（解码器模型）
目标： 创建一个能够阅读法律问题、理解深层推理并撰写法律答案或解释的模型。
他们是如何做到的：
他们采用了两个现有的强大模型（Qwen3-1.7B 和 Qwen3-4B），并为它们制定了一套特殊的课程表，类似于法学院的教育。
- 课程学习法（Curriculum Learning）： 他们并没有一次性把所有的法律书籍都丢给学生。他们使用了四个阶段的计划：
- 第一阶段： 阅读简单的通用土耳其语文本，以熟悉语言。
- 第二阶段： 开始阅读法律文章和法院摘要。
- 第三阶段： 深入研究长篇、复杂且困难的法律文件（如完整的法院判决书）。
- 第四阶段： 进行专门的精炼，以磨练技能。
- 为什么这很重要： 如果你在学生还没掌握基本语法之前就扔给他一篇博士论文，他会感到困惑并忘记已有的知识（这被称为“灾难性遗忘”）。这种循序渐进的方法确保了模型在学习复杂的法律术语时，不会丧失说正常土耳其语的能力。
- 结果： 该模型的土耳其法律文本理解能力显著提升，其困惑度（perplexity）降低了约 36%。
“质量控制”过滤器
最大的挑战之一是清洗数据。法律文件非常杂乱：它们包含表格、扫描图像和奇怪的格式。
- 类比： 想象你试图用一本缺页、沾满咖啡渍或用另一种语言编写的教科书来教学生。
- 解决方案： 作者利用先进的 AI（视觉语言模型）构建了一个精密的“清洗机器”，用以读取扫描文档并完美提取文本。他们还使用了一个基于土耳其语语法规则的特殊过滤器。
- 类比： 土耳其语是一种“黏着语”（agglutinative language），这意味着你可以通过在单词上粘贴许多小的部件（后缀）来改变其含义。作者创建了一个过滤器，检查文本是否以自然、丰富的方式使用这些“词块”。如果一段文本过于重复或机械化（像模板一样），过滤器就会将其剔除。这确保了模型是从高质量、具有人类感的法律写作中学习。
给普通读者的核心要点
- 不要仅仅追求最低错误率： 在为复杂任务训练 AI 时，模型在训练过程中出错最少的那个点，并不一定是它最有用的时候。有时，提前停止训练反而能得到一个更聪明的模型。
- 小巧也可以很强大： 你不需要一个庞大、昂贵的计算机大脑也能精通土耳其法律。一个经过良好训练的小型模型可以超越巨大的通用模型。
- 循序渐进才有效： 教授模型复杂的法律推理时，最好的方法是从简单概念开始，逐渐增加难度，而不是一开始就让它应接不暇。
- 语言至关重要： 适用于英语的方法并不一定适用于土耳其语。由于土耳其语在语法上如此复杂，AI 需要专门针对该语言进行构建和训练，而不仅仅是将其从英语翻译过来。
简而言之，作者通过从底层构建、采用智能的循序渐进式课程进行训练，并精准掌握何时停止训练以获得最佳效果，打造出了一个专门的土耳其法律 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。