技术摘要：参数对齐缓解多语言专家语言模型的灾难性遗忘

1. 问题陈述

持续预训练（Continual Pretraining, CPT）是将大语言模型（LLMs）扩展到新语言的一种实用方法，其成本远低于从头开始预训练。然而，朴素的稠密 CPT 往往会导致灾难性遗忘，即模型在获得新语言能力的同时，丢失了原有的通用知识（如推理、阅读理解）。由于“多语言之咒”（curse of multilinguality）的存在，这种问题在多语言设置下更加严重，因为它迫使模型在语言覆盖范围与能力保持之间进行权衡。

虽然最近的范式（如 X-ELM）提出通过训练独立的双语专家来避免跨语言干扰，但这种方法在语言族专家（将相关语言分组）层面的应用尚未得到充分探索。此外，即使在语言族专家设置下，不受约束的训练也会导致参数偏离共享初始化，从而降低模型在留存语言及相关任务上的鲁棒性。核心挑战在于：如何在分布式、语言族专家 CPT 的设置下，既能减轻这种遗忘，又不牺牲语言获取能力或并行训练的效率。

2. 方法论

2.1 语言族专家 CPT 范式

作者提出围绕语言族而非单个语言或单一稠密模型来组织训练。

• 设置： 并行训练五个独立的专家，每个专家专注于特定的语言族：斯拉夫语族、日耳曼语族、印地语族、南岛语族和罗曼语族。
• 数据： 训练使用 MADLAD-400 语料库，每个语言族的固定预算为 50 亿 token（总计 250 亿）。
• 初始化： 所有专家都从一个共享的基础模型（Gemma-3-4B）开始。
• 目标： 该方法旨在减少专家内部的干扰，同时允许灵活的分布式扩展。

2.2 层感知参数对齐策略

为了解决导致遗忘的参数漂移问题，作者引入了五种策略来约束更新或修正权重，这些策略专门针对 Transformer 的中间层。这一设计是基于以下证据：中间层编码语言中性知识（推理、世界知识），而外层层则处理语言特定处理。

这五种策略分别是：

1. 层冻结（Layer Freezing）： 训练期间的一种硬约束，其中中间 19 层被冻结，只有前 9 层和后 6 层接收梯度更新。
2. 层范围 L2 正则化（L2-SP）： 一种软约束，在损失函数中添加 L2 惩罚项，对中间层施加重权重（$\lambda_{mid} = 0.05$），对外层施加轻权重（$\lambda = 0.001$），以将其锚定在基础权重上。
3. 稠密回归（Dense-Reverted / 先训练后回归）： 训练一个稠密 CPT 模型，然后将中间层的权重回退（revert）至基础模型的预训练权重，保留更新后的外层权重。
4. 专家回归（Expert-Reverted）： 与“稠密回归”类似，但应用于训练好的语言族专家。
5. 专家汤（Expert Soup）： 在训练完五个朴素的语言族专家后，通过均匀平均它们的权重来创建一个统一的模型（$\theta_{soup} = \frac{1}{5}\sum \theta_f$）。

2.3 基准测试

对齐策略与两种无正则化的基准模型进行了比较：

• 稠密 CPT（Dense CPT）： 在所有 32 种语言上联合训练的单一模型，未进行遗忘缓解。
• 语言族专家（Family Expert）： 未进行任何正则化或事后修正的朴素语言族专家。

2.4 评估

评估涵盖了五个语言族的 32 种训练语言及其留存的亲属语言，通过四个维度进行衡量：

• 语言获取： 在留存的 MADLAD 文本上的困惑度（Perplexity）。
• 阅读理解： Belebele 基准测试（2-shot）。
• 物理推理： Global-PIQA（2-shot）。
• 翻译： FLORES-200（ChrF 分数）。

3. 关键结果

3.1 获取与遗忘的权衡

参数对齐策略在以极小代价换取语言获取能力的同时，显著减少了遗忘：

• 理解与推理： 层冻结和层范围 L2 最能保持下游性能。层冻结使 Belebele 准确率比基础模型平均提高了 1.7 个百分点（pp），而朴素的稠密 CPT 则导致了 6.6–12.3 pp 的下降。
• 翻译： 稠密回归带来了最强的翻译增益，平均比基础模型高出 20.6 ChrF。它在斯拉夫、日耳曼、印地和罗曼语族上的表现均优于其他所有策略。
• 困惑度： 层范围 L2 和专家汤一致地维持或提高了留存语言的困惑度，而朴素的语言族专家在留存语言上的表现显著下降（例如，南岛语族的困惑度从 14.04 跳升至 28.35）。

3.2 特定任务性能

没有一种策略在所有维度上都占据主导地位：

• 层冻结对于理解和推理任务是最优的。
• 事后回归（稠密/专家回归）对于翻译质量是最优的。
• 专家汤提供了较强的理解能力保持（仅次于层冻结），并证明了语言族专家的均匀平均效果优于单个语言族检查点在包含任务上的表现。

3.3 层漂移的因果分析

通过针对性的插值实验（在基础权重与训练权重之间通过 $\alpha$ 进行扫描），作者识别了导致遗忘的因果驱动因素：

• 理解： Belebele 准确率的下降主要由中间层漂移驱动。恢复中间层至基础权重可以显著回收准确率，而外层漂移的影响微乎其微。
• 翻译： FLORES 翻译质量遵循不同的模式。末层的漂移是翻译增益的主要驱动力；恢复中间层对 ChrF 分数几乎没有影响。这表明翻译质量更多取决于输出行为和生成兼容性，而非理解任务所需的中间层知识保留。

4. 贡献与意义

本文主要有三个贡献：

1. 语言族专家 CPT： 提出了一个以语言族为中心的分布式多语言训练范式，将 X-ELM 方法推广到了更广泛的语言组。
2. 层感知对齐策略： 提出了五种特定的策略（包括硬冻结、软正则化和事后回归），并针对语言族专家设置进行了基准测试。
3. 经验指南： 提供了将特定策略与目标任务相联系的实用部署指南。作者证明了“获取–遗忘前沿”并非统一的；策略选择必须是层感知的且任务驱动的。

意义：
这项工作挑战了使用单一综合指标来评估 CPT 的观点。它确立了：

• 中间层保留对于维持通用知识（理解/推理）至关重要。
• 外层灵活性对于语言获取和翻译至关重要。
• “一刀切”的遗忘缓解策略并非最优；从业者应根据其优先级是翻译、理解还是广泛的语言覆盖面来选择对齐策略。

作者保持了谦逊的态度，指出其指南是基于特定模型规模（Gemma-3-4B）和语料库的经验比较得出的，而如何针对任意任务自动选择策略的原则性方法仍是一个开放性问题。