💻 computer science

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

本文介绍了 L20-Edu-135M，这是一个关于使用单块 NVIDIA L20 GPU 并在 13B token 上进行训练的 135M 参数语言模型的可审计案例研究，该研究表明，尽管其表现落后于像 SmolLM2 这样更大规模的模型，但相对于其极小的 token 预算，它实现了具有竞争力的性能，并凸显了在资源受限环境下 RLVR 的特定失效模式。

原作者： Yin Li

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：一个厨师，一个厨房，一个食谱

想象一下人工智能（AI）的世界是一场规模宏大的烹饪大赛。通常，获胜者都是拥有 64 位顶级大厨（GPU）和无限食材（数据）、烹饪数百万小时的大型餐厅。他们创造出的“小语言模型”（微型 AI 大脑）极其聪明。

这篇论文提出了一个不同的问题：“能否由一位使用标准配置、在单一普通厨房工作的单人厨师，创造出一个具有竞争力的微型 AI 大脑？如果我们尝试这样做，结果会如何？”

作者 Yin Li 利用仅有的 一块 NVIDIA L20 显卡（一个强大但单一的计算机芯片）接受了这一挑战。其成果是一个名为 L20-Edu-135M 的模型。在 AI 世界中，这是一个“1.35 亿参数”的大脑，虽然规模很小，但目标是看看在资源有限的情况下，我们能走多远。

食材：用心烹饪

在 AI 世界中，“数据”就是食物。大多数大型模型会吞噬数万亿个单词。而这个模型只吃了大约 130 亿个单词。为了弥补分量的不足，这位厨师对食物的质量极其挑剔。

菜单： 该模型喂食了特定比例的“FineWeb-Edu”（高质量教育类网页文本）以及一种包含数学、代码和推理谜题的特殊“混合物”。
质量控制（滤网）： 在烹饪之前，厨师必须过滤掉劣质食材。他们使用了一个数字滤网来剔除：
- 重复内容： 如果同一个句子出现在三本书中，他们只保留一个。
- 垃圾信息： 太短、充满数字或纯属乱码的文本。
- 污染： 他们确保模型不会意外地“背诵”它稍后会被用来评分的测试题目。
- 类比： 想象你在熬制一锅汤。你不是往里倒下一整片海洋的水，而是仔细挑选最好的蔬菜，彻底清洗，并剔除那些腐烂的或看起来像稍后要用的装饰品的蔬菜。

烹饪过程：三个阶段

训练过程分为三个截然不同的阶段：

基础课程（预训练）： 模型阅读了 100 亿个单词的教育类文本，以学习语言的基本规律。这在单块芯片上耗时约 72 小时。
专业课程（持续预训练）： 模型又阅读了 30 亿个单词，专门针对数学、编程和推理进行强化训练，以磨练技能。
最后的润色（指令微调）： 模型被教会了如何遵循指令（例如作为聊天机器人）。然而，作者注意到，教它如何聊天会让它原本的语言能力略有下降。
- 解决方法： 他们使用了一种叫做 权重插值（Weight Interpolation） 的技术。想象一下，将一位“纯语言专家”和一位“聊天专家”的大脑融合在一起。他们发现，保持 87.5% 的语言专家特质和 12.5% 的聊天专家特质，可以达到最佳平衡。

结果：表现如何？

该模型在六种不同的谜题（如阅读理解和逻辑问题）上进行了测试。

得分： 它得到了 0.4150（总分 1.0）。
对比：
- 它击败了几年前类似的旧款小型模型。
- 它并没有击败现代的“超级模型”（如 SmolLM-135M 和 SmolLM2-135M），这些模型是由拥有 64 台超级计算机的团队训练出来的。
- 关键点： 这些超级模型消耗的数据量是这个单芯片模型的 46 到 154 倍。
- 结论： 这个单芯片模型实现了超级模型 87% 的性能，但仅使用了它们 2% 的数据预算。它虽然不是比赛的冠军，但对于一位单人厨师来说，它是一个非常令人印象深刻的亚军。

“失误”时刻：数学实验

作者尝试使用一种叫做 RLVR（基于可验证奖励的强化学习）的技术来教模型提高数学能力（特别是针对 GSM8K 测试）。

想法： 每当模型答对一道数学题时就给予奖励，希望它能学会更深入地思考。
结果： 失败了。模型的数学能力反而变差了。
原因： 模型本身的数学水平已经很差了，以至于它很少能获得“奖励”。由于缺乏正向反馈，它变得很困惑。
类比： 试图通过只有在答对时才给小宝宝发金星的方式，来教一个蹒跚学步的孩子解微积分。如果他们从未答对，就永远拿不到金星，于是他们就会停止尝试或感到沮丧。论文得出结论，对于小型模型，在使用这种高级训练方法之前，你需要一个“热身阶段”（即具备更好的初始技能）。

这为什么重要？

这篇论文并不是声称自己制造了世界上最聪明的 AI。相反，它是一份 透明度报告 和一个 概念验证。

可审计性： 因为这一切都是在一台机器、一个人身上完成的，所以我们完全了解发生了什么。我们知道数据、设置以及错误。
可及性： 它证明了独立研究人员不需要数十亿美元的预算也能进行严肃的小型模型研究。你可以在一台强大的笔记本电脑或服务器上完成这项工作。
设定边界： 它向我们展示了极限在哪里。它告诉我们：“你可以用一块 GPU 走到这一步，但如果你想走得更远，你确实需要更多的数据和计算能力。”

总结

可以将 L20-Edu-135M 看作是一顿组织有序、高效精巧的家常便饭。它无法在 64 位大厨的盛宴面前赢得米其林星级，但它证明了只要有正确的食材、细心的清理和聪明的技巧，一个人也能做出与几年前相比令人惊喜地美味且营养丰富的佳肴。它是 AI 研究领域中效率与诚实的胜利。

技术摘要：L20-Edu-135M

问题陈述
虽然小型语言模型（SLM）因其低推理成本而在本地部署方面极具吸引力，但要实现具有竞争力的性能，通常需要巨大的计算资源。像 SmolLM 和 SmolLM2 这样的最先进模型利用了数千亿甚至数万亿个 token，并在大型 GPU 集群（例如 64 张 H100）上进行训练，这使得其训练流水线对于独立研究人员而言难以触及。本文旨在解决一个特定的、受资源限制的问题：一个完整、可审计且具有竞争力的 135M 级预训练与后训练循环，是否可以在单块商用数据中心 GPU（NVIDIA L20）上执行？在这种模式下，具体的失败模式和权衡是什么？

方法论
本研究的核心是 L20-Edu-135M，这是一个在单块 NVIDIA L20 (48GB) 上从零开始训练的 134.5M 参数解码器仅（decoder-only）Transformer 模型。研究方法围绕可行性、回归控制和小型规模强化学习三个研究问题展开。

架构： 该模型采用了“深而窄”的 Llama 式设计（30 层，576 隐藏层维度，9 个查询/3 个键值头），并使用了权重共享嵌入（tied embeddings）和分组查询注意力（Grouped-Query Attention, GQA），区别于早期的“浅而宽”基准模型。
训练流水线：
- 阶段 1（预训练）： 在约 100 亿个来自 FineWeb-Edu 的 token 上进行训练，峰值学习率为 $4 \times 10^{-4}$ ，采用 bfloat16 精度和 PyTorch SDPA。
- 阶段 4（持续预训练）： 一个专注于教育、代码、数学和推理的精选 30 亿 token 混合数据集。来源包括 DCLM、Dolmino 和 FineMath。
- 数据治理： 实现了一个严格的“阶段 4 数据门控”，其特征是结合了跨源 MinHash/LSH 去重、段级清洗、质量过滤以及针对标准基准测试（使用 13-gram 匹配和 LCS 重叠拒绝法）的基准污染检查（针对 ARC、HellaSwag 等）。
- 后训练： 模型经过指令微调（SFT）以处理指令数据。为了减轻在基础基准测试上的性能退化，作者采用了在阶段 4 基础模型与 SFT 检查点之间的权重插值（ $\theta_\alpha = (1-\alpha)\theta_{base} + \alpha\theta_{SFT}$ ）。
- RLVR： 在 GSM8K 上进行了一项使用类 GRPO 优化方法的直接可验证奖励强化学习（RLVR）实验。
关键贡献
本文提供了五项具体的贡献，其定位是系统与数据效率的案例研究，而非对最先进性能（SOTA）的宣称：
1. 单 GPU 配方： 记录了在单块 L20 GPU 上完成 135M 模型完整训练循环的过程，通过优化配置实现了约 49k tokens/秒的吞吐量。
2. 严格的数据门控： 实现了一个严谨的阶段 4 门控，结合了跨源去重、段级清洗和显式的基准测试去污染，并记录了拒绝计数以实现可审计性。
3. 通过插值进行回归控制： 评估了 SFT 权重插值作为保持基础模型性能机制的效果。所发布的版本使用了插值因子 $\alpha=0.875$ （87.5% SFT 权重，12.5% 基础模型权重）。
4. 受控基准测试： 在六项任务测试集（ARC-Challenge/Easy, HellaSwag, LAMBADA, PIQA, WinoGrande）上进行了零样本评估，并对所有模型使用相同的协议以确保公平比较。
5. 负面 RLVR 结果： 记录了一个失败案例，即在 GSM8K 上直接进行 GRPO 式的 RLVR 降低了 135M 模型的精确匹配准确率，这表明仅靠可验证奖励在缺乏更强的冷启动能力时是不够的。

结果

基准测试性能： L20-Edu-135M 在六项任务测试集上的平均得分为 0.4150。它优于旧的 100M–160M 基准模型（如 GPT-2 Small, OPT-125M, Pythia-160M），但显著落后于现代以数据为中心的模型：SmolLM-135M (0.4767) 和 SmolLM2-135M (0.4917)。
Token 效率背景： 该模型仅使用 13B tokens 就达到了 SmolLM-135M 性能的 87.1%，而 SmolLM-135M 报告的 token 总量为 600B。作者指出，这一比例仅用于描述性说明，而非证明其具有更优的缩放定律（scaling law）。
插值有效性： 全量 SFT 导致基础基准测试平均分略有下降（0.4137 对比 0.4141）。在 $\alpha=0.875$ 时进行插值使平均分恢复至 0.4150，作为一种实用的回归控制手段。
RLVR 结果： 直接在 GSM8K 上进行 RLVR 使精确匹配准确率从基准值的 1.82% 下降到了 1.59%（192-token 完成）和 1.21%（320-token 完成）。作者将其归因于稀疏奖励的冷启动问题，即模型缺乏足够的初始推理能力来从组相对奖励中获益。

意义与主张
本文明确将 L20-Edu-135M 定位为一个可审计的资源受限案例研究，而非一项最先进的成就。其主要意义在于：

可行性演示： 证明了完整的、具有竞争力的 SLM 研究循环（预训练、策展、SFT、评估）可以在单块 48GB GPU 上执行。
小规模下的数据卫生： 强调了在较小的 token 预算下，严谨的去重和污染控制对于防止有限学习信号的浪费至关重要。
后训练权衡： 表明在小型模型上进行指令微调需要回归门控策略（如插值）来维持基础能力。
RLVR 的局限性： 提供了一个具体的“停止/继续”判据，表明在没有更强的冷启动推理数据或更大的模型容量的情况下，直接进行 RLVR 可能是无效的。

作者总结道，虽然该模型无法匹配那些使用 46 倍至 154 倍更多 token 进行训练的现代 135M 系统，但它为那些专注于通过可获得的 GPU 小时数获取边际收益的研究人员建立了一个有意义的运行基准，从而区分了哪些是通过精细工程可以实现的，而哪些是必须依赖规模的。