🤖 machine learning

Scaling Categorical Flow Maps

本文通过训练一个在 2.1 万亿个词元上运行的 17 亿参数模型，仅需四步即可生成高质量文本，从而展示了分类流图的扩展性，同时建立了用于评估的似然界，并提供了关于损失加权和时序调度等训练挑战的关键见解。

原作者： Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Scaling Categorical Flow Maps》（扩展分类流映射）的解释。

宏观图景：一种全新的文本写作方式

长期以来，计算机生成文本（如聊天机器人或故事生成器）的最佳方式一直是**自回归（AR）**模型。想象一位作家像砌砖一样，一个词一个词地构建句子：先写第一个词，再写第二个，接着写第三个。这种方式可靠，但速度很慢，因为他们必须等每一块“砖”干透后才能砌下一块。

最近，科学家们尝试了一种名为**扩散（Diffusion）**的不同方法。想象一位雕塑家从一块布满噪音（静电）的大理石开始，慢慢凿去噪音，逐渐显露出雕像。这种方法在图像生成上效果极佳，但在文本生成上却颇具挑战，因为文本是由离散的“块”（单词）组成的，而非平滑的黏土。

这篇论文提出了一种新方法，称为分类流映射（CFMs）。你可以将其想象为一列高速列车，它从充满混乱噪音的车站出发，只需经过寥寥几站，就能直接抵达一个特定的、美丽的目的地（一个完美的句子），而不是像雕塑家那样慢慢凿刻，或像砌砖工那样一块块堆砌。

问题所在：扩展规模

此前，这种“列车”方法在小规模模型（如玩具车）上的实验效果不错，但没人知道它能否驾驭大规模、现实世界的列车（拥有数十亿参数的模型）。人们担心，运行这列火车所需的数学计算会变得过于沉重，从而导致系统崩溃。

论文的声明： 作者构建了一个拥有 17 亿参数的庞大模型，并证明了这种“列车”方法在超大规模下依然有效。他们成功地在仅需4 步（站点）的情况下生成了高质量文本，而其他方法可能需要数百步。

他们是如何做到的（配方）

作者并非只是启动机器，而是精心调校了引擎。他们采用了一个两阶段的过程：

第一阶段：教师（预训练）
首先，他们训练了一个标准模型，使其理解如何从噪音过渡到文本。这就像一位老师在学习地图。他们测试了超过 350 种不同的设置（如调整燃料混合比例或列车速度），以找到完美的配方。他们发现，混合不同的时间调度方案，并调整模型“倾听”自身错误的程度，至关重要。
第二阶段：学生（自蒸馏）
一旦老师准备就绪，他们便使用了一种名为**自蒸馏（Self-Distillation）**的技术。想象老师向学生展示一条捷径：“不要走完全程；直接从起点跳到终点。”
- 学生学会直接从噪音预测最终目的地，跳过了缓慢的、一步步的旅程。
- 论文发现，这种“捷径”使模型能够在短短 4 步内生成多样且高质量的文本，同时保持词汇的多样性（熵）较高，从而避免听起来像机器人或重复啰嗦。

结果：速度与质量的权衡

论文比较了三种主要的文本生成方式：

自回归（砌砖者）： 速度慢，但非常准确。
标准扩散（雕塑家）： 可能很快，但往往难以保证文本质量。
分类流映射（高速列车）： 论文表明，这种方法达到了一个“甜蜜点”。

关键发现：

速度： 通过“捷径”训练，该模型仅需 4 步即可生成几乎与缓慢的“砌砖”方法一样好的文本。
质量： 生成的文本多样，且不会退化为无意义的胡言乱语（这是模型反复重复同一个词的常见问题）。
评分： 他们创造了一种新的数学方法来“评分”模型的置信度（似然性），表明其表现与其他非“砌砖”方法具有竞争力。

挑战（路上的颠簸）

作者诚实地指出了困难之处：

内存饥渴： 要运行这列“火车”，计算机需要在句子的每个位置保存所有可能单词的庞大地图。对于大型模型而言，这需要大量内存（他们使用了 256 块强大的 GPU 来完成）。
调校困难： 他们曾尝试使用“零样本”方法（自动将小模型的设置复制到大型模型），但效果不佳。他们仍然必须手动调校大型模型，这既昂贵又耗时。

总结

这篇论文证明了分类流映射是一种可行且可扩展的替代方案，能够取代传统的“一块砖接一块砖”的文本写作方式。通过训练一个庞大模型，使其从噪音到文本采取“捷径”，他们实现了仅需几步即可生成高质量文本，从而释放了更快、更灵活语言模型的潜力。

技术摘要：扩展分类流映射

问题陈述

尽管自回归（AR）模型在语言建模中占据主导地位，但连续扩散和流匹配模型已在连续模态中展现出显著优势，包括加速采样和分布倾斜。将这些优势扩展到离散数据一直是近期研究的主要目标。以往的方法（如离散扩散）在离散网格上运行，限制了成熟连续技术的应用。相反，连续状态过程（例如分类流映射或 CFM）通过在连续单纯形或 $\mathbb{R}^d$ 上演化概率分布来生成离散数据。

尽管近期研究表明 CFM 在少步（few-step）设置下能实现具有竞争力的样本质量，但其可扩展性尚未得到证实。目前尚不清楚 CFM 能否扩展到现代大型语言模型（LLM）所需的百亿参数、万亿词元规模。主要的技术障碍在于计算和内存开销：对于词汇表大小 $|V|$ 和上下文长度 $L$ ，CFM 需要在每一步实例化 $L \times |V|$ 个对数几率矩阵，当 $|V| \approx 200,000$ 且 $L$ 较大时，这可能成为难以承受的负担。

方法论

作者提出了一种两阶段训练流程，将 CFM 扩展至在 2.1 万亿词元上训练的 17 亿参数模型。

1. 预训练流模型

第一阶段涉及训练一个标准的流匹配模型（去噪器），以近似概率流的漂移。

架构：一个 17 亿参数的 Transformer，采用 AdaLN-Zero 调制、旋转位置编码和 SwiGLU MLP，遵循 Lipschitz 约束以确保稳定性。
目标：模型通过最小化预测终点与真实数据之间的交叉熵损失（公式 2.10）进行训练，从而有效学习向量场 $v_\theta$ 。
设计空间探索：在扩展之前，作者在 4 亿参数的代理模型上进行了广泛的超参数扫描（350+ 种配置）。主要发现包括：
- 时间调度：线性调度与“误差解码”调度的混合（ $\alpha_t = (1-\lambda)t + \lambda\gamma_t$ ），其中 $\lambda \approx 0.75$ ，产生了最佳性能。纯误差解码（ $\lambda=1$ ）导致性能崩溃。
- 自适应损失加权：基于预测误差重新加权损失（ $w(x) = \text{sg}((\Delta(x) + c)^{-r})$ ）改善了生成困惑度（Gen PPL），但需要仔细调整以维持分布保真度（MAUVE*）。
- 随机解掩码：以概率 $p > 0$ 随机解掩码前缀进行训练，对于生成连贯的条件文本至关重要；若无此操作，模型会产生分布外输出。

2. 自蒸馏为分类流映射（CFM）

第二阶段将预训练的流模型转化为能够进行高质量、少步生成的 CFM。

机制：模型学习一个流映射 $X_{s,t}$ ，在单步内将概率质量从时间 $s$ 传输到 $t$ ，而不是通过多步积分常微分方程（ODE）。
损失函数：作者评估了渐进式自蒸馏（PSD）和稳定欧拉对数自蒸馏（ESD）。
- PSD：采用连续时间捷径模型方法。
- 散度选择：作者比较了前向 KL 散度、反向 KL 散度和 Jensen-Shannon 散度（JSD）。发现前向 KL 和 JSD 在少步设置下改善了词元熵和 MAUVE*，而反向 KL 导致不稳定和模式崩溃。
- 稳定性：由于通过有限差分计算的高方差 Jacobian 估计，17 亿参数规模下的 ESD 训练被证明不稳定，因此作者专注于 PSD 结果。
采样：最终的 CFM 通过从先验分布采样并应用学习到的流映射 $X_{0,1}$ 进行单次（或少数几次）传递来生成文本，显著减少了推理时间。

3. 似然估计

为了在基于标准似然的基准测试（如 MCQA）上评估 CFM，作者推导出了半离散 ELBO。该界限允许对答案选项进行评分，而无需进行计算昂贵的 ODE 反向积分，这在高维离散设置中成本尤为高昂。

主要贡献

可扩展性证明：作者成功在 2.1 万亿词元上训练了 17 亿参数的流模型，并将其自蒸馏为 CFM，证明了 CFM 可扩展至百亿参数规模。
超参数发现：通过对 4 亿参数代理模型的系统扫描，他们确定了时间调度、损失加权和输入掩码的稳健设置，这些设置可迁移至更大规模。
少步生成：自蒸馏后的 CFM 仅需 4 次推理步数（NFE）即可生成多样化的高质量文本，同时保持接近数据级别的词元熵，在低 NFE 设置下优于未蒸馏的流模型。
似然界限：引入半离散 ELBO 使得 CFM 能够在标准语言建模基准上进行评估，将其性能置于与其他非自回归方法相当的范围。
局限性分析：论文明确指出了实例化 $L \times |V|$ 矩阵的内存瓶颈，以及时条件架构中零样本超参数迁移的挑战。

结果

质量与步数：自蒸馏后的 CFM 在 1024 步时实现了约 58.66 的生成困惑度（Gen PPL）（与 AR 基线的 45.33 具有竞争力），MAUVE* 得分约为 0.94。关键在于，在仅 4 步时，CFM 实现了约 0.88 的 MAUVE*，在少步设置下显著优于 AR 基线（0.7）。
词元熵：自蒸馏即使在低 NFE 下也保留了高词元熵（多样性），而未蒸馏模型在 1-2 步设置下往往发生崩溃（低熵）。
基准测试表现：在 MCQA 基准测试（ARC-E、BoolQ、OBQA 等）上，CFM 的准确率与其他非自回归方法（如 Eso-LM）相当，但仍低于直接在 ELBO 最大化上训练的离散扩散方法。
条件生成：与未蒸馏模型相比，自蒸馏模型在少步设置下的 $\Delta$ PPL（条件困惑度）显示出显著改善。

意义与主张

论文声称，分类流映射是现代 LLM 规模下离散数据生成的可行路径。通过成功扩展至 17 亿参数，作者证明了包括引导、分布倾斜和奖励微调在内的“流映射工具箱”现已可用于语言建模。

该研究表明，连续状态生成可以用计算换取样本质量，从而在比传统扩散或 AR 模型显著更少的函数评估次数下实现高质量文本生成。虽然作者指出似然估计仍是一个需要完善的开放领域（因为推导出的 ELBO 是一个界限），但结果表明，CFM 在实现与离散扩散基线具有竞争力的性能的同时，能够解锁连续流匹配的优势。论文结论认为，CFM 的可扩展性为超越单纯生成合理输出的语言模型引导和微调开辟了新的途径。