技术摘要：M3 缩放法则 (M3 Scaling Law)

问题陈述

本文探讨了在低资源语言环境下预训练大语言模型（LLMs）的一个基本设计挑战。在固定计算预算 ($C$) 和固定目标语言语料库规模 ($D_T$) 的约束下，从业者面临着一个涉及三种既定训练方法的复杂设计空间：

1. 多轮次训练 (Multi-epoch training)： 将目标语料库重复使用 $k$ 次。
2. 多语言训练 (Multi-lingual training)： 将高资源数据与目标语言以平均比例 $r$ 进行混合。
3. 多阶段训练 (Multi-stage training)： 在不同训练阶段改变目标语言的比例（例如，从较低的比例 $r_1$ 开始，增加到最终的比例 $r_f$）。

现有的缩放法则无法提供一个统一的框架，在相同的 $(C, D_T)$ 约束下对这些方法进行比较。以往的研究通常仅涵盖该空间的受限部分（例如，仅限单阶段或仅限多轮次），并且缺乏一个通用的目标函数，使得能够直接比较在多个维度上同时存在差异的训练方案。因此，在低资源场景下的最优训练设置仍不明确。

方法论

作者提出了 M3 缩放法则，这是一个用于预测目标语言验证损失的统一预测模型。该模型由模型规模 ($M$)、目标语料库轮次 ($k$)、平均目标语言比例 ($r$) 以及最终阶段目标语言比例 ($r_f$) 进行参数化。

该方法涉及三个关键的经验建模扩展，并集成到一个单一的损失曲面中：

1. $k$ 相关有效模型规模（多轮次）：
   基于 Muennighoff 等人 (2023) 的研究，作者观察到有效模型规模 ($M'$) 相对于轮次 $k$ 的饱和度并非恒定。他们引入了一个 $k$ 相关的饱和参数 $R^*_M(k)$，建模为 $a/(k-1)^b + c$。该公式在 $k=1$ 时恢复了 Chinchilla 缩放法则，同时准确捕捉到了在高 $k$ 值下观察到的更强的饱和现象。

2. 多阶段训练的双幂律 (Dual Power Law)：
   通过扩展 He 等人 (2024) 的研究，作者分析了阶段性语言比例的影响。他们发现，与单阶段训练相比，多阶段训练减轻了由于低目标语言比例导致的损失增加。他们提出了一个针对语言比例因子 $R_{dual}(r, r_f)$ 的双幂律：
   $$R_{dual}(r, r_f) = \begin{cases} r^{-\gamma} & \text{(单阶段)} \\ r_f^{-\gamma} \cdot (r/r_f)^{-\gamma_2} & \text{(多阶段)} \end{cases}$$
   经验结果表明，损失主要取决于平均比例 $r$ 和最终阶段比例 $r_f$，而对中间阶段比例的敏感性可以忽略不计。研究发现 $\gamma_2$ 小于 $\gamma$，这表明将目标语言数据集中在最终阶段是有效的。

3. 多轮次与多语言训练的交互作用：
   对于多轮次、多语言设置，作者通过将高资源 token ($D_{high}$) 的权重 $g$ 提升为 $(r, R_D)$ 的函数来建模 $k$ 与 $r$ 之间的交互作用，其中 $R_D = k-1$。该函数随轮次增加而衰减，反映了随着目标语言数据被重复使用，高资源 token 的边际效用递减。

最终的 M3 缩项法结合了这些组件：
$$L_{M3} = \left( \frac{A}{M'^\alpha} + \frac{B}{D'^\beta} + E \right) \cdot R_{dual}(r, r_f)$$
其中 $M'$ 和 $D'$ 是包含了饱和函数和动态权重 $g$ 的有效模型大小和有效数据量。

实验设置

本研究在三组语言对上进行了测试：(日语, 英语)、(印尼语, 英语) 和 (斯瓦希里语, 英语)。日语和印尼语通过降采样模拟低资源场景，而斯瓦希里语则提供了一个天然的低资源案例。

• 模型： 不同规模的 Decoder-only LLaMA 架构。
• 数据： C4 (英语) 和 mC4 (目标语言)。
• 搜索空间： 对计算预算 ($C$)、模型规模 ($M$)、目标语料库大小 ($D_T$)、轮次 ($k$) 以及语言比例 ($r, r_f$) 进行网格搜索。
• 指标： 目标语言验证损失，作者通过在日语基准测试上的初步相关性分析，验证了该指标可作为下游性能的代理指标。

关键结果

1. 预测准确性

M3 缩放法在所有测试设置的外推准确度 ($R^2$) 上均优于现有基准（包括 Chinchilla, He, Muennighoff, ATLAS, Sedova 以及各种持续预训练法则）：

• 统一性能： 在结合了单阶段和两阶段数据的评估中，它实现了最高的平均 $R^2$。
• 双重能力： 它成功地同时外推至单阶段和两阶段机制，而缺乏双幂律的模型（如标准的 He 或 Muennighoff 模型）在这一能力上表现失败。
• 单语言多轮次： 包含 $k$ 相关 $R^*_M(k)$ 的 M3 变体在特定的单语言多轮次设置下达到了最先进的（SOTA）准确度。

2. 最优训练指南

利用 M3 作为代理目标函数，作者得出了两条实用的低资源 LLM 预训练指南：

• 最优方法选择： 随着目标语料库大小 $D_T$ 相对于计算预算减少，最优策略会直接从单语言单阶段转向多语言两阶段训练。至关重要的是，在实验网格内，多语言单阶段训练从未是最优选择。这一转变发生在依赖于计算预算的阈值处。
• 最优轮次： 当以稀缺性变量 $D_T / D^*(C)$ 为横轴绘图时，最优轮次 ($k^*$) 会坍缩到一条单一曲线上，其中 $D^*(C)$ 是单语言计算最优语料库大小。在小 $k$ 机制下，这遵循近似关系 $k^* \approx D^*(C) / D_T$。

意义与主张

本文声称提供了第一个统一的缩放法则，共同覆盖了多轮次、多语言和多阶段训练，从而能够在单一的计算和数据预算下比较不同的训练方案。

• 理论见解： 该工作指出，多阶段训练带来的收益可以通过仅依赖于平均比例和最终阶段比例的双幂律来捕捉，这简化了复杂训练计划的优化过程。
• 实际效用： 所得出的指南为从业者提供了清晰的决策边界：如果目标语料库匮乏，应立即采用多语言两阶段方法，而不是尝试单阶段混合或单语言重复。
• 局限性： 作者谦逊地指出，其评估仅限于验证损失，尽管他们提供了该损失与下游任务相关的证据。他们还承认，实验使用了固定的默认超参数（如针对单阶段优化的学习率调度），并且没有探索语料库质量或合成数据的变化，这些仍是未来的研究领域。

总之，M3 缩放法弥合了不同训练策略之间的鸿沟，提供了一个能够准确预测性能并为低资源语言 LLM 提供最优训练方案的预测模型。