💬 NLP

SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens

本文介绍了 SONAR-LLM，这是一种仅解码器 Transformer，通过在 SONAR 空间内预测连续句子嵌入来生成文本，同时采用基于词元的交叉熵目标进行训练，从而将大概念模型的语义抽象能力与自回归词元预测的效率和基于似然的训练方法相结合。

原作者： Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人写故事。

旧方法（标准大语言模型）：逐块砌砖的工匠
大多数当前的人工智能模型就像一位非常迅速、极其细致的砌砖工。为了建造一堵墙（一个故事），它们一次只放置一块砖（一个词或“令牌”）。它们停下、思考、放置一块砖，再停下、思考、再放置另一块。

优点： 它们非常精确。
缺点： 如果你想建造一座摩天大楼（一份非常长的文档），这个过程需要花费很长的时间。之所以慢，是因为它们必须为每一个微小的部分停下并思考。

"LCM"方法（之前的实验）：梦想家
最近，研究人员尝试了一种名为“大概念模型”（Large Concept Model, LCM）的新方法。这种模型不再砌砖，而是尝试用“句子”来“做梦”。它想象下一句话的含义是一片平滑、连续的思想云（一种“嵌入”），而不是具体的词语。

优点： 它跳过了微小的砖块，直接跃入宏观图景。对于长故事来说，它更快。
缺点： 因为它只是在“思想云”中“做梦”，所以有时会搞错实际的词语。这就像一位画家，确切地知道日落感觉如何，却难以调配出完全正确的橙色和红色色调。此外，训练过程也不稳定，就像试图在一架摇晃的梯子上保持平衡。

新方法（SONAR-LLM）：拥有蓝图的建筑师
这篇论文介绍了SONAR-LLM。它结合了两者之所长。

将 SONAR-LLM 想象成一位建筑师，它用“句子蓝图”来思考，但用“砖块”来表达。

用蓝图思考： 像“梦想家”一样，SONAR-LLM 通过将下一句话作为一个整体单元来预测，从而规划其故事。它不担心下一个词，而是担心下一个想法。这使得它即使面对百万字的小说也能保持快速和高效。
用砖块表达： 这里是魔法所在。一旦建筑师拥有了“蓝图”（句子构思），它就不会只是猜测词语。它将蓝图传递给一个冻结的、预训练的翻译器（SONAR 解码器）。这位翻译器是专家，擅长将抽象的想法转化为完美、语法正确的句子。
反馈循环： 随后，模型会根据其生成的实际词语与目标故事的匹配程度进行评分。这为其提供了清晰、稳定的学习信号（不同于“梦想家”），确保最终的故事听起来自然且人性化。

为什么这很重要？

速度与质量： 它像“梦想家”一样快（因为它一次处理整个句子），又像“砌砖工”一样准确（因为它根据实际词语进行评分）。
长故事： 论文表明，对于非常长的文本（高达 100 万字），SONAR-LLM 比标准模型高效得多。这就像从一步步行走切换到迈开大步；旅程越长，优势越大。
“冻结”的秘密： 团队保持了“翻译器”（解码器）的冻结状态，意味着他们没有重新训练它。这节省了巨大的计算能力。他们只训练了决定下一句话应该是什么的“建筑师”部分。

他们发现了什么？

更好的故事： 当让一个人工智能裁判（GPT-4o）对故事进行评分时，SONAR-LLM 撰写的故事比之前的“梦想家”模型更好、更具创意且更连贯。
总结： 它在将长文章总结为简短、有力的句子方面也非常出色。
局限性： 如果任务需要对数字或符号进行极度精确的处理（例如在干草堆中寻找特定的电话号码），那么解冻翻译器并让它学习这些具体细节，模型效果最佳。但对于正常的讲故事和总结，保持其冻结状态是完美的。

简而言之：
SONAR-LLM 是一种新型的人工智能写手，它用大的、有意义的片段（句子）来规划故事以保持速度，同时利用一位值得信赖的专家将这些片段转化为完美的词语。这使得它在处理长文档时比当前模型更快，同时又不牺牲写作质量。

技术摘要：SONAR-LLM

问题陈述

自回归大型语言模型（LLM）通常在词元（token）级别运行，最小化离散词汇表上的交叉熵。虽然这种方法行之有效，但这种细粒度的解码为长序列带来了吞吐量瓶颈。相反，Meta 的大型概念模型（LCM）通过在连续空间中预测句子级嵌入，并利用扩散或均方误差（MSE）目标来解决延迟问题。然而，在 LCM 中移除词元级似然会导致优化不稳定，并难以维持叙事结构。因此，亟需一种模型，既能保留句子级生成的语义抽象和效率，又能恢复基于似然的训练稳定性。

方法论

SONAR-LLM 是一个仅在连续 SONAR 句子嵌入空间中运行，但通过词元级交叉熵进行监督的解码器-only Transformer。

架构：该模型根据前缀嵌入（ $e_{<t}$ ）预测下一个句子嵌入（ $\hat{e}_t$ ）。它采用标准的解码器-only Transformer 架构（类似于 Llama 3），包含旋转位置编码和 RMS 归一化，但嵌入词汇表大小为 1（预测连续向量而非离散词元）。
混合目标：为了避免扩散或 MSE 目标，模型通过冻结的 SONAR 解码器传播损失。预测的嵌入 $\hat{e}_t$ 使用冻结的解码器（ $D$ ）和真实的前序词元（ $s_{t,<i}$ ）被解码回词元 logits。模型最小化这些 logits 与目标句子的真实词元序列之间的标准交叉熵。
训练过程：
- 使用 Punkt 分词器将文本分割为句子。
- 使用冻结的多语言 SONAR 编码器将句子编码为固定长度的向量（ $d=1024$ ）。
- 模型采用教师强制（teacher forcing）进行训练，即为下一个时间步提供真实嵌入。
- 当预测嵌入与特殊的“序列结束”嵌入之间的余弦相似度超过阈值（ $\tau_{stop}=0.98$ ），或达到最大句子数量时，生成停止。
解码器解冻：虽然主要实验为了效率保持 SONAR 编码器和解码器冻结，但作者探索了解冻解码器。这显著降低了验证交叉熵，但仅在符号密集型任务（如“大海捞针”检索）上产生了实质性的下游提升，而在标准自然语言生成任务上并未带来显著收益。

主要贡献

词元感知嵌入目标：提出了一种训练方法，通过冻结的 SONAR 解码器反向传播词元级交叉熵，使连续的句子预测与离散的词元目标对齐。
缩放定律分析：详细拟合了跨模型规模（3900 万至 13 亿参数）的缩放定律（ $L(N) = aN^{-\alpha} + b$ ），量化了 SONAR-LLM、标准 LLM 和 LCM 变体的缩放指数。
综合评估：使用标准 NLG 指标（BLEU、ROUGE-L、METEOR）和基于 GPT-4o 的评估（语法、创造力、一致性、情节）对文本质量进行评估，并辅以摘要基准测试（XSum、CNN/DM）。
推理效率分析：对 FLOPs 进行了理论分析，证明与词元级解码相比，在句子片段上运行能为长序列带来更有利的扩展性。
开源发布：公开了训练代码、评估脚本和预训练检查点。

结果

缩放行为：SONAR-LLM 表现出强劲的缩放指数（ $\alpha \approx 0.596$ ），与其他基于嵌入的模型相当，并展示了有效利用增加模型容量的能力。
文本生成质量：在 GPT-4o 评估中，SONAR-LLM 在语法、创造力、一致性和情节指标上显著优于基于 MSE 和基于扩散的 LCM 变体。虽然标准词元级 LLM（使用束搜索）取得了最高的绝对分数，但在最大规模（9 亿参数）下，SONAR-LLM 在标准 NLG 指标（ROUGE-L、METEOR）上达到或接近了其性能。
摘要：在 XSum 和 CNN/DM 上，SONAR-LLM 大幅优于句子级基线（MSE 和扩散 LCM）。在更具抽象性的 XSum 数据集上，它与词元级 LLM 表现相当，但在 CNN/DM 上仍略逊一筹，后者更倾向于抽取式方法。
解冻影响：解冻 SONAR 解码器将 RULER（NIAH）基准测试的精确匹配准确率从 21.6% 提升至 41%，表明这对需要精确数值或符号复现的任务有益，但对标准摘要任务没有显著增益。
推理效率：理论分析表明，虽然两种方法都具有二次复杂度，但 SONAR-LLM 的有效成本在序列长度达到 100 万词元之前几乎随序列长度线性增长。对于长度超过约 4096 个词元的序列，其在推理效率上超越了标准 LLM。

意义与主张

该论文声称，SONAR-LLM 成功弥合了基于概念的模型与传统自回归 LLM 之间的差距。通过保留句子级处理的语义抽象，同时恢复基于似然的训练信号，该模型实现了稳定的优化和具有竞争力的生成质量，且无需扩散采样器。

作者将 SONAR-LLM 定位为长上下文生成的有前途的替代方案，提供了一种实用且可扩展的选项，其计算成本的增长速度慢于词元级模型。他们指出，虽然该模型在句子嵌入层面进行推理，但它并未引入超越现有 LLM 的根本性新生成能力，而是提供了一种不同的抽象层级，可能提高长序列中的效率和结构连贯性。这项工作被视为高效、可扩展的语言生成和表示学习向前迈进的一步。

技术摘要：SONAR-LLM

问题陈述

方法论

主要贡献

结果

意义与主张

类似论文