Soro: A Lightweight Foundation Model and Chatbot for Tajik
本文介绍了 Soro，这是一系列基于 Gemma 3 构建的轻量级、塔吉克语专用的对话大语言模型，它们在塔吉克语任务和教育领域实现了卓越性能，同时保持了英语能力，并通过量化支持高效的边缘部署。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，人工智能的世界是一座庞大而繁忙的图书馆。多年来，这座图书馆的藏书几乎全是英文和中文书籍，专门用于其他语言的书架寥寥无几。如果你走进去寻找一本塔吉克语（一种在塔吉克斯坦使用、采用西里尔字母书写、与波斯语相关的语言）书籍，你会发现书架几乎空空如也。
这篇论文介绍了Soro，一个专为填补塔吉克语使用者书架空白而设计的新项目。不妨将 Soro 想象成一位并非从零开始建造新图书馆，而是一位精通业务的图书管理员：他利用几本现有的高质量书籍（来自名为Gemma 3的模型），将它们重写、翻译并完全重新组织成塔吉克语。
以下是他们如何做到的，使用了简单的类比：
1. 配方：“持续预训练”与“指令微调”
团队并非从零开始。他们从一个聪明且开源的模型（Gemma 3）入手，该模型对塔吉克语略知一二，但尚未精通。
第一步：“沉浸式课程”（持续预训练）： 想象将那位聪明的图书管理员送往一个只说塔吉克语的夏令营。他们阅读了19 亿个塔吉克语单词的文本。这些文本并非随意的网络闲聊，而是经过精心筛选的。其中包括：
- 过滤后的网络文本： 塔吉克语互联网中的“最佳”部分。
- PDF 和文档： 官方文件和报告。
- 学校教科书： 至关重要的是，他们扫描并输入了塔吉克斯坦学校（5 至 11 年级）使用的实体教科书。这使人工智能能够深入理解在塔吉克斯坦教授的塔吉克历史、文学和科学。
- 翻译的教育材料： 他们将高质量英语科学和历史书籍翻译成塔吉克语，以填补空白。
第二步：“教师培训”（指令微调）： 阅读是一回事，聊天是另一回事。随后，团队教导该模型如何成为一名乐于助人的教师。他们创建了40,000 个问答示例，采用“教师风格”撰写。这些示例教导人工智能如何简明扼要地解释事物、使用比喻，并提出后续问题以帮助学生理解，而不仅仅是罗列事实。
2. “融合”魔法
在人工智能学习了所有这些塔吉克语知识后，团队担心它可能会忘记如何说英语或处理通用话题。为了解决这个问题，他们使用了一种称为线性融合的技术。
这就像混合两种冰沙。
- 冰沙 A： 原始的 Gemma 3 模型（通用知识丰富，塔吉克语尚可）。
- 冰沙 B： 新的 Soro 模型（塔吉克语专家，通用英语能力可能略有减弱）。
- 结果： 他们将两者混合，保留了约80% 的新塔吉克语专家能力和20% 的原始通用能力。这创造了一个既是塔吉克语专家，又能记得如何说英语并处理通用任务的模型。
3. 使其装入背包（量化）
塔吉克斯坦的计算机硬件有限，尤其是在农村学校。你无法在普通笔记本电脑上运行庞大的 AI 模型；这就像试图把一台全尺寸冰箱塞进自行车篮子里。
团队使用量化技术来缩小模型体积。
- FP8（半尺寸）： 他们压缩了模型，使其占用内存减少约一半，就像把一件厚重的外套折叠起来塞进一个小包里。
- INT4（超小尺寸）： 他们进一步压缩（4 位），使其小到足以在标准游戏笔记本电脑甚至功能强大的手机上运行。这对于互联网信号不稳定的偏远地区学校至关重要；AI 可以在学校的本地计算机上运行，而无需持续连接到巨大的服务器农场。
4. “试驾”（基准测试与试点）
由于当时没有现成的塔吉克语 AI 测试，团队必须自行构建。他们创建了一套6 项新考试（就像 AI 的驾照考试），涵盖以下内容：
- 塔吉克历史与文学： 它是否学习了萨曼王朝的故事和著名诗人的作品？
- 语言学： 它是否理解塔吉克语的语法和拼写？
- 通用知识： 它能回答关于塔吉克地理和机构的问题吗？
结果：
- Soro 在这些塔吉克语测试中的得分显著高于同规模的其他模型。
- 它没有丧失英语能力；其英语技能保持强劲。
- 即使是微小的压缩版本（INT4）的表现也几乎与巨大的未压缩版本一样好。
5. 现实应用：学校试点
论文描述了一项名为Soro 项目的真实试验。
- 地点： 塔吉克斯坦的 100 所学校，从首都杜尚别到偏远的山区。
- 人员： 770 名教师和 2000 多名学生。
- 运作方式：
- 对学生而言： 它充当私人辅导员。害羞的学生可以请 Soro 用塔吉克语解释一道困难的数学题，而无需在全班面前感到尴尬。
- 对教师而言： 它帮助起草教案并总结材料，为他们节省时间。
- 目标： 作为国家战略的一部分，将“人工智能导论”作为一门学校科目进行教学。
6. 他们的发现（以及未发现的）
- 成功： 教师和学生喜爱该 AI 能流利、自然地讲塔吉克语。感觉就像与一位博学的当地朋友交谈。它帮助学生更积极地参与课程。
- 挑战：
- 速度： 在某些地方，AI 回复稍慢，这使得在课堂上的实时使用变得棘手。
- 准确性： 偶尔，它在非常具体的本地事实（如地方政府的近期变化）上会出错，这表明它仍需要更多的“本地知识”训练。
- 安全性： 团队承认 AI 有时会“产生幻觉”（编造内容），因此他们正在构建过滤器，以确保内容对儿童安全。
总结
Soro 是一款专为塔吉克斯坦打造的轻量级、专业化 AI 聊天机器人。它将一个聪明、通用的 AI 模型，教导其掌握关于塔吉克文化和学校课程所需的一切知识，将其缩小以适应本地计算机，并将其投入学校工作以帮助教师和学生。它证明，将现代 AI 引入低资源语言并不需要超级计算机；你只需要正确的数据和一点点工程创造力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。