Enhancing Multilingual LLM Pretraining with Model-Based Data Selection
该论文提出了一种基于模型的跨语言数据筛选框架，利用 Transformer 和 FastText 分类器从多语言数据集中高效识别高质量样本，实验表明该方法仅需少量训练 token 即可在保持基准性能的同时显著提升多语言大模型表现并缓解“多语言诅咒”，且已扩展至 20 种语言并开源了优化后的预训练数据集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲述了一个关于如何给大型语言模型（LLM）“喂”出更聪明大脑的故事。
想象一下，你要教一个超级天才（也就是大语言模型）学习人类的所有知识。以前，大家觉得“吃得越多越好”，于是拼命往它嘴里塞海量的互联网数据（就像把整个图书馆的书都塞进它的嘴里）。但这有个大问题：图书馆里不仅有珍贵的百科全书，还有大量的垃圾广告、重复的废话和毫无营养的段子。如果模型吃了太多垃圾，它不仅学不精，还会变得“语无伦次”或者“偏科”（这就是论文里提到的“多语言诅咒”）。
这篇论文的作者（来自 EPFL 的研究团队）提出了一套**“智能挑食”系统**，专门用来帮模型挑选高质量的食物。
核心比喻：从“大锅饭”到“米其林精选”
1. 背景：以前的做法
以前的做法像是开了一家**“自助大食堂”**。不管什么菜（数据），只要量大，就一股脑端上去。
- 问题：虽然总量很大，但里面混进了很多“泔水”（低质量数据）。而且，以前这套“挑食”系统主要是用英语训练的，对于中文、法语、德语等其他语言，系统就像个“文盲”，分不清好坏，导致这些语言模型的表现远不如英语模型。
2. 创新：我们的“智能选菜员”
作者开发了一套基于模型的“智能选菜员”。这个选菜员不是靠死板的规则（比如“字数少于 10 个字的不要”），而是靠**“理解”**。
它是怎么工作的？
想象选菜员手里有两样工具：- 工具 A（FastText）：像一个经验丰富的老厨师。它反应极快，能迅速闻出文档的“味道”（比如是不是结构清晰、有没有干货）。它便宜、快速，适合在资源有限时使用。
- 工具 B（Transformer/XLM-RoBERTa）：像一个拥有高学历的美食评论家。它能深入理解文档的上下文和深层含义，判断这是否是一篇有知识含量的好文章。虽然它计算起来稍微慢一点，但眼光更毒辣。
它吃什么“标准”？
为了让选菜员学会什么是“好菜”，作者给它看了一些**“样板菜”**（训练数据）：- 比如：百科全书式的问答、结构严谨的考试题目、清晰的对话记录。
- 选菜员的任务就是：“在海量互联网数据中，找出那些长得像‘样板菜’的文章，把剩下的垃圾扔掉。”
3. 实验结果：少即是多
作者用这套系统，从原本庞大的 FineWeb-2 数据集中，只保留了10% 到 15% 的“精华数据”。
- 惊人的效果：
- 省料：模型只吃了原来15% 的“食物”（Token），但考试分数（MMLU 等基准测试）却和吃满整个自助餐的模型一样高，甚至在某些方面更高！
- 去毒：这套方法不仅提升了英语模型，还让中文、德语、法语等语言的模型表现突飞猛进。
- 打破诅咒：以前，多语言模型因为要学太多语言，导致每个语言都学不精（多语言诅咒）。但用了这套“精选食谱”后，多语言模型反而比单语言模型表现得更好，就像是一个博学的通才，而不是一个只会背书的书呆子。
4. 为什么这很重要？
- 省钱省力：训练大模型非常烧钱（需要成千上万的显卡）。如果能把数据量减少 85% 还能保持高性能，那就意味着训练成本大幅降低，让中小机构也能玩得起大模型。
- 公平性：以前英语模型独霸天下，其他语言像是“二等公民”。这套方法让中文、阿拉伯语等语言也能享受到“精选食谱”的待遇，缩小了语言间的差距。
- 开源共享：作者不仅发布了方法，还直接公开了筛选好的 20 种语言的高质量数据集，就像把“米其林精选菜单”免费发给了全世界。
总结
这就好比以前我们教孩子读书，是把整个图书馆的书堆在他面前，让他自己瞎看；现在，我们请了一位博学的图书管理员，帮他挑出了图书馆里最精华的 10% 的书。结果发现，孩子只读这 10% 的书，反而比读完全书更聪明、更博学，而且学得更快、更均衡。
这篇论文的核心贡献就是：在数据爆炸的时代，质量比数量更重要；而且，这套“挑质量”的方法，对全世界各种语言都管用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。