💻 computer science

RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment

本文介绍了 RightNow-Arabic-0.5B-Turbo，这是一个基于 Qwen2.5-0.5B 通过词汇注入和大规模微调构建的开源、5.18 亿参数阿拉伯语专用语言模型，其在参数量低于 10 亿的语言模型中实现了最先进的性能，同时通过量化至 400 MB 以下支持高效的边缘部署。

原作者： Jaber Jaber, Osama Jaber

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jaber Jaber, Osama Jaber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、精通多语言的机器人助手，名叫Qwen。它小巧而迅捷，可以轻松运行在笔记本电脑甚至手机上，但它对待阿拉伯语的态度，就像对待它略知一二的100种语言之一：它并不流利，说话时会结巴，并且需要将阿拉伯语单词拆解成许多微小而笨拙的片段才能理解。

在光谱的另一端，是巨型阿拉伯语机器人（如 Jais 或 SILMA）。它们极其流利且知识渊博，但体积过于庞大笨重，只能在昂贵的大型数据中心运行。你无法将它们放进口袋。

RightNow-Arabic-0.5B-Turbo 则是“金发姑娘”式的完美解决方案：一个能完美说阿拉伯语的小巧机器人，专为放进口袋而设计。

以下是作者如何构建它的过程，使用了简单的类比：

1. 词汇手术（给机器人一本新词典）

原始机器人的词典对阿拉伯语来说太小了。它不得不将阿拉伯语单词切碎成微小的片段，导致速度慢且效率低。

解决方案：团队进行了“词汇手术”。他们提取了机器人现有的词典，并直接注入了27,000 个新的阿拉伯语单词。
结果：机器人不再需要 2.18 个微小片段来描述一个阿拉伯语单词，现在仅需 1.80 个片段。这就像是从一个逐个字母拼写单词的机器人，变成了一个能瞬间识别整个单词的机器人。这使得机器人在处理阿拉伯语时速度快了 17%。

2. 训练营（教导机器人）

团队不仅给了机器人一本新词典，还让它经历了三个高强度的训练营：

训练营 1：图书馆（持续预训练）：他们向机器人灌输了来自维基百科的5.04 亿条阿拉伯语句子。这就像给机器人上了一门阿拉伯语报纸和书籍的速成课，让它学习语言的节奏和流畅度。
训练营 2：教室（监督微调）：他们教导机器人如何成为一位得力的助手。他们向它展示了 129,000 个问答示例。关键的是，他们告诉机器人：“不用担心问题部分；只需专注于学习如何撰写答案。”这让它更擅长遵循指令。
训练营 3：辩论俱乐部（直接偏好优化）：他们向机器人展示成对的答案（一个好，一个坏），并让它选出胜者。然而，由于机器人非常小，这一步单独作用时效果有限。“偏好”数据有些嘈杂，就像试图教一个幼儿去评判高雅艺术。

3. “权重汤”（秘密配方）

这里是巧妙之处。由于“辩论俱乐部”的训练并未完美奏效，团队并没有直接选择最终的机器人。相反，他们取了三个不同版本的机器人（图书馆版、教室版和辩论俱乐部版），并将它们混合在一起。

类比：想象你在做汤。你取一杯“图书馆”机器人、一杯“教室”机器人和半杯“辩论俱乐部”机器人，然后将它们混合。
结果：这碗“汤”创造出了一个比任何单一版本都更聪明、更平衡的最终机器人。

4. 最终产品：小巧而强大

最终得到的模型拥有5.18 亿个参数（与 70 亿或 90 亿的巨型模型相比非常微小）。

体积：当压缩（量化）以适应手机运行时，它仅占用398 MB的空间。这比一部高清电影还要小。
速度：在强大的计算机芯片上，它可以以每秒 635 个单词的速度生成文本。这就像人类以闪电般的速度打字。
性能：
- 在理解阿拉伯语方面，它击败了其他小型机器人（如原始 Qwen）。
- 在常识推理任务上，它与一个大它三倍的机器人（Falcon-H1-1.5B）打成平手。
- 尽管体积只有巨型 90 亿参数机器人（SILMA）的1/18，它却恢复了后者**67%**的智能水平。

它做不到的事（局限性）

这篇论文诚实地指出了这个小型机器人无法做到的事情：

知识上限：它知道的事实不如巨型机器人多。如果你问它复杂的冷知识问题（如高难度测验），它会输给 70 亿或 90 亿参数的模型。它是语言方面的专家，而不是事实的百科全书。
方言：它说的是“现代标准阿拉伯语”（用于新闻和书籍的正式语言）。如果你用埃及、海湾或黎凡特方言与它交谈，它能听懂，但会用正式阿拉伯语回复。它尚未学会街头俚语。

总结

作者构建了最小且真正有效的开源阿拉伯语专用机器人。他们证明了，要运行一个流利的阿拉伯语助手，并不需要超级计算机；你只需要正确的词汇、正确的训练混合比例，以及一点点“汤”的魔法。所有的代码、权重和配方现在都已公开，供任何人使用。

技术摘要：RightNow-Arabic-0.5B-Turbo

问题陈述

当前开源阿拉伯语大语言模型（LLM）的格局呈现两极分化。一端是参数量低于 10 亿的多语言模型（例如 Qwen2.5-0.5B、Falcon-H1-0.5B），它们将阿拉伯语视为次要语言，缺乏专门的词汇或训练数据，导致高 token 生育率（编码效率低下）和较低的性能。另一端是阿拉伯语专用模型（例如 Jais、AceGPT、ALLaM、SILMA），参数量范围从 70 亿到 700 亿。虽然这些模型在基准测试中取得了优异成绩，但它们需要 16–140 GB 的内存，导致无法在智能手机、笔记本电脑或嵌入式设备等边缘设备上部署。

此前曾尝试填补这一空白的 Kuwain-1.5B 提出了词汇注入方案，但从未发布其权重，从而在可部署的、参数量低于 10 亿的阿拉伯语专用解码器领域留下了空白。本文旨在解决对一种既能兼顾阿拉伯语专业化，又能满足边缘设备严格内存和计算约束的模型的需求。

方法论

作者提出了 RightNow-Arabic-0.5B-Turbo，这是一个基于 Qwen2.5-0.5B 基础构建的 5.18 亿参数解码器大语言模型。训练流程包含五个 distinct 阶段，旨在模型规模上限内最大化性能：

词汇注入（Tokenizer 手术）：
- 基础 Qwen2.5-0.5B 的 Tokenizer（151,665 个 token）通过添加 27,032 个新的阿拉伯语 token 进行了扩展。
- 初始化： 新 token 的嵌入使用平均子 token 初始化（即对原始词汇中该新 token 的子片段分解的嵌入取平均值）进行初始化，该技术由 WECHSEL 正式提出，并被 Kuwain 和 ALLaM 采用。
- 结果： 这将阿拉伯语的 token 生育率从每词 2.18 个 token 降低至 1.80 个 token（降低了 17.3%），直接降低了推理成本。
持续预训练：
- 模型在 5.04 亿个阿拉伯语维基百科 token 上进行了预训练。
- 基础设施： 训练使用了 8 张 H100 GPU，采用 FSDP（混合分片 Zero2）、FlashAttention varlen（用于无填充打包序列）以及 Liger 融合内核（用于内存高效的 RMSNorm、RoPE、SwiGLU 和交叉熵）。
- 优化： 使用融合 AdamW，峰值学习率为 $2 \times 10^{-4}$ ，采用余弦衰减，总训练 token 数为 105 亿。
监督微调（SFT）：
- 模型在源自五个合并的阿拉伯语数据集的 129,116 个指令对上进行了微调。
- 损失掩码： 关键的是，损失仅针对助手回复 token进行计算，对提示词进行掩码，以将学习信号集中在生成分布上。
直接偏好优化（DPO）：
- SFT 检查点在 6,750 个阿拉伯语偏好对上进行了 DPO。
- 观察： 作者指出，在此规模下偏好信号较弱，训练损失保持在 $\ln 2$ 附近，奖励边际接近零，表明数据集规模或质量（机器翻译）不足以单独推动显著改进。
权重汤合并（Weight Soup Merging）：
- 为了缓解 DPO 信号微弱的问题并恢复能力，作者合并了三个检查点：DPO 检查点、SFT 检查点和持续预训练检查点。
- 配置： 线性“汤”配置中，DPO 权重 50%、SFT 权重 25%、预训练权重 25% 取得了最佳结果，相比单独的 DPO 检查点，平均准确率提高了 0.44 个百分点。
边缘部署：
- 最终模型被导出为 llama.cpp GGUF 格式。
- 量化： 生成了四个级别（f16, q8_0, q5_k_m, q4_k_m）。由于词汇扩展与 k-量化块大小不对齐，q4_k_m 和 q5_k_m 的有效每权重位数分别为 6.45 和 6.79，而非名义上的 4 和 5。

主要贡献

最小的开源阿拉伯语专用 LLM： 发布了一个 5.18 亿参数的模型，并提供公开可用的权重，这是 HuggingFace 上首个此类模型。
可复现的流程： 提供了一个完整的开源流程（25 个脚本共 5,555 行 Python 代码），详细说明了词汇注入、数据加载（通过 memmap 避免 HuggingFace Hub 停滞）以及训练过程。
Tokenizer 效率： 证明了阿拉伯语 token 生育率降低了 17.3%，这意味着在相同语义内容下推理速度更快。
基准测试： 在三项阿拉伯语任务（COPA-ar、Arabic HellaSwag、ArabicMMLU）上与六个竞争模型进行了直接对比评估，为参数量低于 10 亿的模型建立了新的基准。
合并消融研究： 对七种权重汤变体进行了系统评估，发现平均化检查点比仅依赖 DPO 终点能更好地提升泛化能力。
边缘性能： 展示了该模型在单张 H100 GPU 上以 4 位量化运行，吞吐量达到 635 tokens/s（batch size 1），磁盘占用仅为 398 MB。

实验结果

使用 lm-evaluation-harness (v0.4.11) 进行评估：

同类性能： RightNow-Arabic-0.5B-Turbo 在 COPA-ar 上优于所有其他开源的参数量低于 10 亿的模型（分别比 Qwen2.5-0.5B 和 Falcon-H1-0.5B 高出 4.5% 和 13.5%），并在 HellaSwag-ar 上表现更佳。其平均准确率达到 35.9%，击败了多语言基线模型。
扩展性对比：
- 该模型在仅使用 5.8% 参数的情况下，恢复了 SILMA-9B（一个 90 亿参数模型）67.1% 的平均准确率。
- 尽管参数仅为 Falcon-H1-1.5B（15 亿参数）的三分之一，但在 COPA-ar 基准测试（58.4%）上与其持平。
- 正如预期，在知识密集型任务（ArabicMMLU）上仍存在显著差距，0.5B 模型比 70 亿 + 参数的模型低 12–30 个百分点，证实了由参数量决定的“知识天花板”。
推理速度： 在 H100 上使用 llama.cpp，4 位量化模型在 batch size 1 时达到 635 tokens/s，由于优化的 CUDA 图和 C++ 采样循环，比标准的 HuggingFace generate() 实现快了 8 倍。

意义与主张

本文声称 RightNow-Arabic-0.5B-Turbo 是迄今为止发布的最小的开源阿拉伯语专用解码器 LLM。其意义在于证明，通过对现有技术的精心编排——特别是词汇注入、仅回复损失掩码和权重汤合并——可以生成一个无需新训练范式即可适用于边缘部署的模型。

作者对模型的局限性持谦逊态度，明确陈述：

知识天花板： 该模型无法在知识密集型基准测试（如 MMLU）上缩小与 70 亿 + 参数模型的差距；参数量是限制世界知识的因素。
方言局限性： 该模型基于现代标准阿拉伯语（MSA）训练，在方言（埃及、海湾、黎凡特）上表现不佳。
DPO 弱点： 在此规模下，DPO 阶段提供的信号微弱，表明偏好调整可能需要更大的数据集或更强的参考模型，才能对参数量低于 10 亿的模型有效。

该工作针对的是那些需要在内存受限的设备（手机、边缘 CPU）上实现阿拉伯语专业化的特定用户群体，在这些设备上 14GB+ 的模型不可行，从而为当前“全有或全无”的格局提供了一个实用的开源替代方案。