💬 NLP

EuroLLM-22B: Technical Report

本文介绍了 EuroLLM-22B，这是一个从零开始训练的大型语言模型，旨在支持 35 种语言（包括所有 24 种欧盟官方语言），在解决现有模型中欧洲语言代表性不足问题的同时，在推理、指令遵循和翻译方面取得了具有竞争力的性能，并且发布了所有相关数据集、模型和代码以支持未来的研究。

原作者： Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

EuroLLM-22B：欧洲的多语言图书管理员

想象一下，人工智能的世界就像一座巨大的图书馆。长期以来，这座图书馆一直由英文书籍所主导。如果你走进图书馆并要求看一本法语、德语或葡萄牙语的故事书，你可能会找到几本，但它们通常是英文故事的翻译版本，或者是由并不完全理解当地文化的作者编写的。

EuroLLM-22B 是一个旨在解决这一问题的新型大规模项目。它是一个“大语言模型”（可以把它想象成一位超级聪明的数字图书管理员），从零开始构建，专门用于在欧盟所有 24 种官方语言以及包括阿拉伯语、中文和日语在内的其他 11 种主要语言中进行交流、理解和推理。

以下是该团队如何构建这位数字图书管理员的介绍，采用简单易懂的方式进行解释：

1. 蓝图（架构）

在盖房子之前，你需要一份蓝图。该团队并没有仅仅复制粘贴现有的设计，而是对蓝图进行了微调，以处理海量的信息。

规模： 该模型拥有 220 亿个“神经元”（参数）。用一个类比来说，如果之前的版本（9B）是一个聪明的高中生，那么这个版本就是一个拥有庞大记忆力的资深大学教授。
长效记忆： 其中一个最大的升级是“上下文窗口”。想象一下尝试阅读一部小说。旧的模型可能只能记住最后几页的内容，然后就会忘记开头。EuroLLM-22B 的大脑中可以同时容纳 32,000 个单词。它可以阅读一整个短篇故事或一份长篇法律文件，并能记住从第一页到最后一页的所有细节而不会迷失。

2. 训练食谱（数据）

没有优质的食材，就无法培养出伟大的厨师。团队在训练过程中对喂给模型的“食物”非常挑剔。

过滤器： 他们并没有将整个互联网的数据直接倾倒进模型。他们使用了一个特殊的过滤器（称为 EuroFilter）来对文本质量进行评分（从 0 到 5 分）。他们丢弃了垃圾内容（如随机代码或低质量网页），只保留了高质量的教育和文学内容。
阶段： 他们分三个阶段训练模型，就像学生升学一样：
1. 小学阶段： 他们从海量的通用数据开始，教授基础知识。
2. 高中阶段： 他们引入了更高质量的数据来精炼其推理能力。
3. 研究生阶段： 在最后一个阶段，他们喂给了模型目前可获得的最好的数据，包括复杂的数学、编程和翻译书籍，以磨练其智能。
语言混合： 与其他侧重于英文的模型不同，EuroLLM-22B 从第一天起就摄入了平衡的欧洲语言饮食，确保它不会偏袒其中任何一种语言。

3. 最后的润色（指令微调）

在模型学习完事实之后，它还需要学习如何表现。这被称为“后训练”。

课堂： 团队使用了一个名为 EuroBlocks 的新数据集。想象一下这是一个涵盖了从“写一首关于雨的诗”到“解决这个数学问题”再到“翻译这个句子”等各种练习题和答案的大型集合。
老师： 他们使用其他先进的 AI 模型来为这些问题生成高质量的答案，然后挑选出最好的答案来教导 EuroLLM-22B 如何精确地遵循指令。他们移除了任何“推理痕迹”（内部独白），使最终输出变得简洁直接。

4. 成绩单（结果）

团队将 EuroLLM-22B 与其他著名的 AI 模型进行了对比测试，以观察其表现如何。

竞争对手： 他们将其与其它“完全开源”（代码和权重免费供任何人使用）的模型以及一些“开放权重”（你可以使用模型但无法看到其构建方式）的模型进行了比较。
结果：
- 欧洲冠军： 在欧洲制造的完全开源模型中，EuroLLM-22B 是最强大的。它的表现优于其他欧洲模型，甚至超过了一些规模更大的模型（如 700 亿参数的模型）。
- 翻译： 它在语言翻译方面表现出色，其性能往往能媲美规模是其两倍的模型。
- 推理： 它在逻辑谜题、数学和遵循复杂指令方面表现非常优秀。
- 效率： 论文指出，与使用 15 万亿词汇的某些竞争对手相比，EuroLLM-22B 以“适度”的训练数据量（4 万亿词汇）就达到了这些成果，这表明高质量的数据比单纯的海量数据更为重要。

5. 给世界的礼物

这份论文最重要的部分在于，团队并没有将这座图书馆据为己有。他们向公众发布了所有内容：

模型： 包括“基础”版本（原始大脑）和“指令”版本（得力助手）。
数据： 用于训练模型的实际数据集（EuroWeb 和 EuroBlocks），以便其他研究人员进行学习。
代码： 他们用于构建和测试模型的软件工具。

总结： EuroLLM-22B 是一个强大的开源 AI 工具，旨在确保欧洲语言在人工智能革命中不会掉队。它证明了通过精心的数据选择和对质量的关注，你可以构建出一个能够流利使用你的语言、且无需依赖封闭、秘密项目的世界级 AI。

技术摘要：EuroLLM-22B

问题陈述

尽管大型语言模型（LLM）取得了飞速进展，但目前的生态系统仍严重向英语和少数高资源语言倾斜。许多领先的模型要么是闭源的，要么是部分开源的，在训练数据和流程方面的透明度有限。因此，许多欧洲语言仍未得到充分支持，缺乏能够原生支持全套欧盟（EU）官方语言的“欧洲制造”模型。EuroLLM 项目旨在通过开发优先考虑欧洲语言多样性并促进欧盟内 AI 发展的开源模型来填补这一空白。

方法论

架构与建模

EuroLLM-22B 是一个基于其前身（EuroLLM 1.7B 和 9B）架构决策构建的 226 亿参数模型。关键规格包括：

分词器（Tokenization）： 基于 BPE 的分词器，拥有 128,000 个单元的词表，覆盖 24 种欧盟官方语言和 11 种额外语言（阿拉伯语、加泰罗尼亚语、中文、加利西亚语、印地语、日语、韩语、挪威语、俄语、土耳其语和乌克兰语）。
架构： 利用了分组查询注意力（Grouped Query Attention, GQA）、预层归一化（pre-layer normalization）、RMSNorm、SwiGLU 激活函数以及旋转位置编码（RoPE）。
上下文窗口： 通过将 RoPE 缩放因子 ( $\theta$ ) 从 $1 \times 10^4$ 调整为 $1 \times 10^6$ ，将其显著扩展至 32,768 个 token。

预训练策略

该模型在约 4 万亿个 token 上进行了预训练，采用了旨在逐步让模型接触更高质量数据的三阶段训练计划：

第一阶段： 在 3.6T token 上进行训练，采用线性预热至 $1.5 \times 10^{-4}$ 的峰值学习率。此阶段立即包含高质量的教育文档（来自 FineWeb-edu），而不是将其保留在后期阶段。
第二阶段： 在 400B token 上进行退火阶段，将学习率降低至峰值的 10%。
第三阶段： 最终的衰减阶段，学习率降至零。此阶段引入长上下文数据（书籍和代码）以支持 32K token 窗口。

数据策展：

网络数据： 英语数据来源于 FineWeb-edu 和 Nemotron-CC。多语言数据聚合自 RedPajama-Data-v2（用于高资源语言）以及 HPLT、MADLAD-400、CulturaX 和 mC4（用于其他语言）。所有数据都经过严格过滤，包括困惑度检查、启发式过滤器（例如移除 “lorem ipsum”、过多的全大写字母）以及通过 EuroFilter 进行质量评分（该分类器分配 0 到 5 分）。
平行数据： 句子级和文档级的平行数据（xx $\leftrightarrow$ en）收集自 Europarl、ParaCrawl 和 WikiMatrix 等来源，并使用 Bicleaner 和 CometKiwi-22 进行过滤。
代码与数学： 数据来源于 The Stack、Algebraic-stack 和 Open-web-math。第三阶段引入了 FineMath 以及由 Qwen-2.5 模型生成的合成数学数据，并由 LLM-as-a-Judge 进行过滤。
高质量来源： Wikipedia、ArXiv、Books 和 Apollo 被用于英语；Cosmopedia（及其翻译变体）被添加到后期阶段。

后训练（Post-Training）

指令微调模型（EuroLLM-22B-Instruct）是通过 EuroBlocks-22B 从基座模型衍生而来的，这是一个包含约 1060 万个样本的新型多语言指令数据集。

数据集构建： 基于之前的 EuroBlocks 版本，整合了来自多样化公开来源（如 Hermes-3、Tülu 3、Nemotron V2）的指令。响应使用能力强大的开源模型（DeepSeek、Qwen、Llama）重新生成，并通过 Skywork-Gemma2-27B 作为奖励模型进行筛选。
过滤： 移除了结构化推理轨迹，以创建一个非推理型的指令-响应语料库。
微调： 使用 bfloat16 混合精度、序列打包（sequence packing）和余弦学习率调度器（最大学习率 $1 \times 10^{-5}$ ）对模型进行 5 个 epoch 的微调。通过 Axolotl 和 Liger-Kernel 提升了训练效率。

核心贡献

EuroLLM-22B 模型： 发布了一个从头开始训练的 22B 参数模型，支持所有 24 种欧盟官方语言及 11 种额外语言，具有 32K token 上下文窗口。
改进的 EuroLLM-9B： 一个更新后的 9B 模型，整合了与 22B 版本相同的长上下文扩展和后训练方案。
EuroWeb 数据集： 发布了用于 EuroLLM 22B 的多语言网络预训练数据集，包括质量过滤后的数据层级。
EuroBlocks-22B： 一个全新的、扩展的多语言指令数据集，包含高质量的合成响应。
开源生态系统： 发布了基座模型和指令微调模型，以及预训练（Megatron-LM 分支）和评估代码库。

结果

在广泛的英语和多语言基准测试中，EuroLLM-22B 展示了极具竞争力的表现：

缩放趋势（Scaling Trends）： 该模型在 EuroLLM-9B 和 EuroLLM-22B-Preview 之上表现出持续的改进，证实了 EuroLLM 系列内部的正向缩放趋势。
与欧洲模型的比较： EuroLLM-22B 在完全开源的欧洲模型中实现了最强的性能。值得注意的是，尽管其参数量仅约为 Apertus-70B（一个 70B 参数模型）的三分之一，但在指令遵循和 STEM 任务方面经常能超越或与后者持平。
与全球模型的比较： 虽然 EuroLLM-22B 在综合得分上落后于顶尖的开源权重模型（如 Llama-3.3-70B、Qwen-3-30B-A3B），但它提供了专门为欧洲语言设计的、功能最强大的完全开源替代方案。
翻译： 翻译性能保持稳健，更新后的后训练方案在增强通用助手行为和推理能力的同时，并未降低翻译质量。
长上下文： 向 32K token 的扩展使得有效建模长文本输入成为可能，并覆盖了此前 4K 上下文模型无法触及的 WMT25 等基准测试。

重要性与主张

本文将 EuroLLM-22B 定位为迈向欧洲 AI 民主化的重要一步。通过提供一个完全开源、高质量且原生支持全套欧盟语言多样性的模型，作者旨在减少对闭源、以英语为中心的模型的依赖。作者声称，与使用显著更多数据（例如 Apertus-70B 的 15T token）训练的更大模型相比，EuroLLM 以相对适中的 token 预算（4T token）实现了强大的质量，这表明高质量的数据策展和针对性的后训练是缩小性能差距的有效策略。发布相关的数据集和代码库旨在支持未来欧洲语言理解与生成的研发工作。