🤖 machine learning

Language Modeling with Hyperspherical Flows

本文介绍了 $\mathbb{S}$ -FLM，这是一种球面潜在流语言模型，它通过在超球面上进行向量旋转来生成序列，从而克服了先前基于流的扩展性方法和语义局限性，显著提升了在大词汇量推理任务上的性能，并缩小了与掩码扩散模型之间的差距。

原作者： Justin Deschenaux, Caglar Gulcehre

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Justin Deschenaux, Caglar Gulcehre

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《基于超球流的语言建模》（S-FLM）的解释。

宏观图景：一种与 AI 协作写作的新方式

想象一下，你正在教一个机器人写故事或解决数学问题。目前，最先进的机器人（称为自回归模型）写作时就像人在打字机上打字：它们从左到右，一次写一个字母。它们无法预知未来，必须写完一个词才能开始下一个。这种方式很慢。

其他研究人员尝试构建能一次性写出整句的机器人，就像画家在画布上填色。这些被称为扩散模型。然而，早期将这种方法应用于文本的尝试存在两个大问题：

它们太笨重了：它们将每个词视为一个庞大且独立的数字列表（就像一张巨大的电子表格），这使得训练过程既缓慢又昂贵。
它们容易困惑：当它们试图“清理”一句混乱的句子时，由于所使用的数学方法对词语而言缺乏意义，它们不知道该朝哪个方向修正。

这篇论文介绍了S-FLM（超球流语言模型）。这是一种教机器人写作的新方法，它更快、更轻量，并且在如何从“噪声”过渡到“意义”方面更加智能。

旧方法的弊端：“独热”行李箱

想象你有一个包含 50,000 个单词的词汇表。

旧方法（FLMs）：为了表示“猫”这个词，旧模型使用一个拥有 50,000 个格子的行李箱。他们在“猫”的格子里放一颗弹珠，而让其他 49,999 个格子保持空置。为了表示“狗”，他们把弹珠移到“狗”的格子里。
- 问题所在：为每个单词都携带一个拥有 50,000 个格子的行李箱极其沉重且缓慢。此外，从数学角度看，在这个系统中，“猫”和“狗”之间的距离与“猫”和“斑马”之间的距离是一样的，这毫无道理，因为某些单词之间实际上更为相似。

S-FLM 的解决方案：“超球”舞池

作者决定不再使用那些巨大的行李箱。相反，他们将所有单词放在一个巨大的、多维的舞池上（称为超球面）。

比喻：想象一个巨大的球体，球体表面上的每一个点都代表一个单词。“猫”是表面上的一个点，“狗”是附近的一个点，而“斑马”则离得更远。
工作原理：模型不再携带沉重的行李箱，而是仅仅持有球面上的一个点。要改变单词，它不需要交换弹珠，而是旋转球面上的这个点。
为何更好：
- 轻量级：你不再需要一个 50,000 格子的行李箱。你只需要一个小型的坐标系（如经纬度）来描述该点的位置。这使得训练变得更快、更便宜。
- 更智能的数学：在这个舞池上，点与点之间的距离自然地反映了单词的相似程度。“猫”和“狗”靠得很近；“猫”和“飞机”则相距甚远。这使得“清理”文本的数学过程变得更加直观。

模型如何学习：“去噪”游戏

想象机器人正在玩一个“猜图片”的游戏。

设置：你向机器人展示一张清晰的“猫”的图片。
噪声：你慢慢模糊图片，直到它看起来像雪花般的随机噪声。
任务：机器人必须学习如何将这些雪花噪声旋转舞池上的点，直到它重新落回“猫”的位置。

过去，当机器人试图修复噪声时，由于“噪声”缺乏清晰的意义，它有时会朝错误的方向旋转。

S-FLM 的诀窍：因为模型生活在舞池（超球面）上，它学会了将噪声旋转回正确的单词，就像转动旋钮来调谐收音机频道一样。它学习了一个特定的“速度场”——一张指引如何旋转以到达正确单词的地图。

秘密武器：裁剪噪声

这篇论文发现了关于该游戏中“噪声”的一个有趣现象。

问题：如果你试图教机器人在图像几乎清晰（仅有一点点雪花）时修复图像，机器人会感到困惑。这就像在几乎空无一物的干草堆里找一根针；机器人会过度思考。
解决方法：作者意识到，当图像过于清晰时，应该停止教机器人。他们“截断”了训练过程，只教机器人在图像仍然非常模糊时如何修复它。
结果：通过忽略那些容易的、几乎清晰的阶段，机器人在解决难题方面变得更强。这帮助他们比之前的尝试更好地解决了数学问题（GSM8K）和数独谜题。

成果：他们取得了什么成就？

这篇论文在三个方面测试了这个新机器人：

数独：它解决谜题的能力几乎与现有最佳模型相当，但架构要轻量得多。
数学问题（GSM8K）：之前的“流”模型在数学方面表现极差（正确率低于 1%）。S-FLM 使用一种特定的解码技巧（选择单条最佳路径），取得了约**18%**的正确率。这是一个巨大的飞跃，尽管它仍然落后于最好的“打字机”模型（正确率约 63%）。
写故事（OpenWebText）：它写出的文本质量与现有最佳模型一样好，但它没有背负旧方法的沉重包袱。

总结

可以将S-FLM视为将机器人作家从笨拙、负重搬运的建筑工人（携带巨大的单词行李箱）升级为优雅的舞者（在球面上旋转点）。

因为它更轻量，所以训练更快。
因为球体的几何结构与单词间的关系相匹配，所以它更智能。
因为作者精确计算了让机器人练习多少“噪声”，所以它在推理任务上表现更好。

虽然它在复杂的数学方面尚未超越最好的“打字机”模型，但它证明了这种新的“舞池”方法是构建下一代 AI 作家的强大且高效的方式。

技术摘要：基于超球流的语言建模（S-FLM）

问题陈述

自回归（AR）模型因其可扩展性和快速的似然评估而在语言建模中占据主导地位，但它们在推理过程中存在序列生成和缺乏双向上下文的问题。离散扩散模型提供了并行生成和双向上下文，但受限于可处理性约束，迫使它们从因子化边缘分布中采样，从而在表达性上不如自回归模型。

最近的流语言模型（FLMs）试图通过应用连续流将噪声通过确定性常微分方程（ODE）传输到数据，从而弥合这一差距。然而，现有的 FLM 面临两个关键缺陷：

计算成本：它们将 token 表示为维度为 $|V|$ （词汇表大小）的 one-hot 向量。对于大型词汇表（10 万–20 万），这需要存储和操作高维向量，使得训练速度显著慢于离散扩散或自回归模型。
语义模糊性：向 one-hot 向量添加高斯噪声缺乏清晰的语义解释。与图像不同（图像中噪声会逐步破坏结构），向等距的 one-hot 嵌入添加高斯噪声并不具有直观的几何意义。

方法论

作者提出了超球流语言模型（S-FLM），这是一种定义在单位超球面 $S^{d-1}$ 上而非欧几里得空间或离散状态空间的黎曼流模型。

核心机制

超球潜在空间：不同于 one-hot 向量，token 被映射到单位范数嵌入 $\hat{e}_v \in S^{d-1}$ 。前向过程通过球面线性插值（SLERP）将干净嵌入传输到球面上的均匀先验，而不是使用高斯噪声进行线性插值。
黎曼流匹配：模型学习定义在流形 $S^{d-1}$ 上的速度场 $u_t$ ，该场定义了一个 ODE。条件速度利用球面上的对数映射推导得出：
$u_{t|1}(z_t | z_1) = \frac{\dot{\alpha}_t}{1-\alpha_t} \log_{z_t}(z_1)$
其中 $z_1$ 是干净嵌入， $z_t$ 是噪声潜在变量。
训练目标：去噪器 $p_\theta^{1|t}$ 使用交叉熵（CE）进行训练，以根据噪声潜在变量 $z_t$ 预测干净 token $x_\ell$ 。这避免了所有嵌入坍缩到一个点的平凡最小值风险，而直接对可学习嵌入回归速度时存在这种风险。
采样：在推理时，模型将学习到的速度场从球面上的均匀噪声积分到数据流形。速度场通过对指向每个干净嵌入的切向量进行边缘化计算得出，权重由后验分布 $p_\theta^{1|t}$ $p_{θ}^{1∣ t}$ 决定。
- 精确速度：对整个词汇表求和（计算成本高昂）。
- Top-k 速度：将求和限制在最可能的 top- $k$ 个 token 上。Top-1 解码对应于贪婪解码。
- 随机解码：从后验分布中采样单个 token 以定义速度方向。

架构与训练创新

S-arch（超球骨干网络）：一种 Transformer 变体，其中间激活值被约束在 $S^{d-1}$ 上。它用归一化插值替换了加法残差，并将注意力/MLP 层参数化为旋转。这使得架构与输入流形保持一致，从而提高了样本质量。
噪声调度截断：作者基于高维几何推导出了理论界限 $\alpha^\star(\delta)$ 。他们表明，在高维空间中，一旦噪声水平低于某个阈值，后验分布就会坍缩为 one-hot 分布。训练被截断在该界限以上的噪声水平，以避免从平凡的去噪任务中学习。
自适应噪声调度：受 InfoNoise 启发，训练调度被调整以将更多样本分配给损失梯度最陡峭的噪声水平，从而提高训练效率。

主要贡献

S-FLM 框架：一种基于流的语言模型，在超球面上的 $d$ 维嵌入上运行，消除了实例化 $|V|$ 维 one-hot 向量的需求。这将训练成本降低到与离散扩散模型相当的水平。
S-arch 骨干网络：一种新颖的架构，将激活值保持在超球面上，与标准的 DiT 骨干网络相比，在推理任务（GSM8K）和语言建模（OpenWebText）上表现出更好的性能。
理论噪声截断：一种基于词汇表大小和嵌入维度截断噪声调度的原则性启发式方法，显著提高了推理任务的性能。
性能提升：S-FLM 大幅改进了之前的连续流模型。在 GSM8K 上，使用 Top-1 解码时其准确率约为 18%（而之前的 FLM 低于 1%），在标准温度（ $T=1$ ）下缩小了与掩码扩散模型（MDLM, Duo）的差距。

实验结果

数独推理：S-FLM 取得了与之前的 FLM 和离散扩散模型（Duo）相当的性能，在使用截断和自适应调度时，最佳连续扩散结果在简单谜题上达到 94.8% 的准确率，在困难谜题上达到 45.0%。
GSM8K（数学推理）：
- 之前的连续模型（FLM, CANDI）准确率低于 1%。
- 使用 Top-1 解码的 S-FLM 达到 18.0% 的准确率，与 $T=1$ 时的 MDLM 和 Duo 性能相当。
- 在低温度（ $T=0.1$ ）下仍存在性能差距，离散模型（Duo, MDLM）达到 33–36%，而 S-FLM 在 18% 左右趋于平稳。
OpenWebText（语言建模）：S-FLM 在高函数评估次数（NFE）下匹配了之前 FLM 的生成困惑度（Gen. PPL）/熵前沿，并在低 NFE 下优于它们，而之前的连续模型在低 NFE 下表现出前沿不稳定的情况。
训练效率：S-FLM 的训练速度快于使用 one-hot 向量的 FLM，并且与离散扩散模型的速度相当。

意义与主张

该论文声称，S-FLM 通过解决先前方法的扩展性和语义解释问题，代表了连续流语言模型的重要进步。通过在超球面上运行，该模型避免了高维 one-hot 向量的计算瓶颈，并提供了几何上一致的噪声注入机制。

作者指出，虽然 S-FLM 在标准温度下在生成困惑度和推理准确率方面缩小了与离散扩散和自回归模型的差距，但在低温度解码下仍存在显著差距。这项工作被提出作为一种方法论上的进步，使连续流模型在大型词汇表语言建模中更具可行性，尽管作者对于在可验证领域与最先进的自回归模型之间剩余的性能差距仍保持谦逊态度。