💬 NLP

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

AURORA-LM 是一种连续潜变量扩散语言模型，通过将高容量、可解码文本表示的构建与其分布建模相解耦，利用基于查询的编码器-解码器以及在 Ascend NPU 上通过流匹配训练的块因果扩散 Transformer，实现了最先进的性能。

原作者： Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制造一台能够像人类作家一样构思新故事的机器。长期以来，科学家们已经非常擅长教机器构思图像、音乐和视频。他们通过将这些事物视为平滑、流动的“数据之河”来进行教学——想象一下从蓝色到紫色的色彩渐变，或者从一个音符滑动到另一个音符的旋律。这种“连续性”的思维方式在处理图像和声音时效果极佳。但当涉及到语言时，机器却一直困在另一个世界里：一个由乐高积木组成的世界。要写出一个句子，计算机必须一个接一个地拼凑起被称为“标记”（tokens，如单词或单词的一部分）的单个、僵硬的方块。这就像是只能使用一个单一、僵硬的印章来创作一幅杰作。

科学家们一直在问一个大问题：我们能否教机器使用那种用于图像的平滑、流动的“河流方法”来写作？这个挑战非常棘手。语言是精确的；如果稍微模糊一个词，它可能会变成完全不同的词或者乱码。以往尝试融合这两个世界的方法通常必须做出妥协：它们会将语言挤压成一个微小的、模糊的形状，以便于机器生成，但这样一来，机器就无法清晰地读取它了。这就像是用隐形墨水写小说，然后寄希望于读者能猜出其中的文字。

AURORA-LM 的出现，是一种全新的方法，它说：“让我们停止挤压语言。”与其强迫语言进入一个微小且易于生成的形状，研究人员构建了一个特殊的“翻译器”，它能保持语言的丰富与细节，并教会生成器去处理这种复杂性。你可以这样想：想象你想重塑一座复杂的雕塑。旧的方法会说：“让我们只做一个微小的、模糊的黏土团，然后寄希望于稍后它看起来像那座雕塑。”而 AURORA-LM 则说：“不，我们要保持黏土的细节和高质量，并培养一位更聪明的雕塑家，他知道如何精准地塑造这些细腻的黏土而不出错。”

研究人员发现，通过将“使语言细节化”的任务与“生成故事”的任务分开，他们可以兼顾两者的优点。他们创建了一个系统，用于生成平滑、连续的“潜变量”（latent）数据流（这是一个高级术语，指文本的一种隐藏的、压缩后的版本），而这些数据仍然足够详细，足以被还原为完美的文字。他们在两个大型任务上进行了测试：从头开始编写随机故事以及总结长篇新闻文章。在这些测试中，AUR生的 AURORA-LM 表明，它比其他尝试实现类似目标的方法（包括一些已经存在的非常大的模型）能写得更加流畅和准确。

团队还展示了这种方法在扩大机器规模时会变得更加出色。他们将其规模扩大到了一个拥有约 10 亿参数的版本（参数是衡量 AI “大脑”大小和复杂程度的指标），并发现它依然表现强劲，甚至击败了一个使用类似技术的大型公开模型。核心结论是：你不需要为了让机器更容易生成而牺牲语言的清晰度。通过在“平滑的生成世界”与“精确的文字世界”之间建立一座更聪明的桥梁，AURORA-LM 表明，机器可能很快就能像绘画和歌唱那样，用同样流畅、连续的优雅姿态进行写作。

技术摘要：AURORA-LM

问题陈述

语言生成在现代生成模型中仍是一个异类。当图像、视频和音频越来越多地在连续潜空间中通过扩散过程进行建模时，文本生成仍然主要依赖于离散标记（tokens）。现有的将连续扩散应用于语言的方法面临着一个根本性的设计权衡：

继承的表示法： 诸如 Diffusion-LM 或 TEncDM 之类的方法继承了来自标记嵌入或预训练编码器的嵌入空间。这些空间并非专门为准确的文本重构和有效的连续生成这一共同需求而设计的。
压缩权衡： 基于自动编码器的方法（例如 LD4LG, COSMOS）将文本映射到连续潜变量，但通常会压缩这些表示以使扩散分布更容易学习。这种压缩牺牲了标记级的保真度，产生了一个瓶颈：提高生成能力的可行性会降低解码精度，反之亦然。

核心挑战在于构建一种既能支持忠实、准确解码，又能设计出能够学习其分布且不牺牲该表示能力的生成模型的连续文本表示。

方法论：AURORA-LM 框架

AURORA-LM（用于连续潜扩散语言建模的自动编码统一表示）通过将表示构建与分布建模解耦为两个不同的阶段来解决这些挑战。

1. 连续文本潜变量构建（自动编码器）

AURORA-LM 不再继承表示，而是通过一个**基于查询的编码器-解码器（Query-based Encoder-Decoder）**显式地构建高容量、可解码的文本潜变量：

基于查询的编码器： 将离散文本组织成高容量、前缀对齐的潜序列。它使用 $N$ 个潜查询来聚合不同长度的标记前缀。随着查询索引 $i$ 的增加，编码器会关注逐渐增长的标记前缀（ $w_{1:\lceil iL/N \rceil}$ ），从而诱导出一种潜位置与文本前缀对齐的因果顺序。
基于查询的解码器： 将潜前缀映射回标记逻辑值（logits）。至关重要的是，解码器被限制为仅关注相应的潜前缀，从而确保潜序列与标记序列之间存在严格的因果对应关系。
高容量设计： 与以往为了生成便利而压缩潜变量的工作不同，AURORA-LM 保留了高通道宽度（ $D$ ）和极小的序列压缩比（ $c \approx 1$ ）。这保留了精确恢复标记所需的各种信息，将潜空间视为文本的忠实接口，而非简化的先验。
训练： 自动编码器通过标记级交叉熵进行训练，然后被冻结。这固定了目标潜变量分布，使得生成模型可以独立于表示学习进行研究。

2. 块因果潜扩散（生成模型）

一个**块因果扩散 Transformer（Block-Causal Diffusion Transformer）使用流匹配（Flow Matching）**技术学习冻结的潜序列分布：

块因果因子化： 为了平衡因果生成与并行去噪，潜序列被划分为若干块。模型从左到右生成块（对前序块进行因果条件化），但在每个块内部并行进行去噪。
全宽潜变量预测： 模型预测解码器所需的完整宽度（full-width）干净潜变量（ $x_0$ ），而非压缩版本。
噪声输入瓶颈： 为了处理从噪声输入中学习高维分布的难度，模型仅对噪声输入路径应用低秩投影（ $W_{down} \in \mathbb{R}^{D_b \times D}$ ），而输出头则预测完整的干净目标。这使得模型能够高效处理受损输入，同时不降低面向解码器的容量。
噪声校准： 噪声水平分布根据潜变量宽度进行校准。实验结果表明，较宽的潜表示受益于强调高噪声输入的噪声调度方案。
自轨迹一致性： 为了弥合在独立采样的噪声状态上进行训练与通过迭代去噪进行推理之间的差距，模型引入了一致性损失。它使相邻状态在去噪轨迹上的干净潜变量预测保持一致，从而稳定生成过程并实现高质量的少量步数采样。

3. 推理

在推理过程中，潜变量块从左到右顺序生成。生成的标准化潜变量被反转回原始编码器空间，并传递给冻结的解码器以恢复最终的标记序列。该框架支持无条件生成和提示词条件生成（使用分类器自由引导或自条件引导）。

核心贡献

统一框架： AURORA-LM 将文本表示学习与生成分布建模分离，显式构建了一种连续表示供扩散模型学习，而不是继承自标记嵌入。
高容量接口： 它保留了潜表示的全部通道容量以实现准确的标记解码，通过调整扩散先验来建模由此产生的复杂分布，而非简化表示。
块因果流匹配： 它引入了一种基于流匹配的块因果去噪器，该去噪器从左到右生成块，同时在块内并行进行去噪。
架构创新： 低秩噪声输入路径、针对潜宽度的噪声水平校准以及自轨迹一致性的结合，使得模型能够有效地学习全宽潜变量分布。

实验结果

实验在 Ascend NPU 上进行。

OpenWebText（无条件生成）： 在评估的自回归、离散扩散和连续嵌入基线模型中，AURORA-LM-S（1.3 亿参数）实现了最低的生成困惑度（Gen-PPL: 23.56）和最高的 MAUVE 分数（0.890）。
XSum（条件摘要）： AURORA-LM-S 在 ROUGE-1、ROUGE-2 和 ROUGE-L 指标上均优于所有基线模型（包括 ELF-B、AR 和 MDLM）。
缩放能力： AURORA-LM-L（10.1 亿参数，约 1,500 EFLOPs 计算量）展示了持续的性能提升，并在匹配的评估协议下超越了规模更大的公开潜扩散模型（Cola-DLM，约 18 亿参数）。
消融实验：
- 潜变量宽度： 更宽的潜变量（ $D=1024$ ）提供了更好的抗破坏性和更高的生成性能。
- 输入瓶颈： 噪声输入的适中瓶颈宽度（ $D_b=128$ ）是最优的，它允许在不以全维度处理受损输入的情况下进行全宽预测。
- 轨迹一致性： 自轨迹一致性显著提升了少步采样（few-step sampling）的质量。

重要性与主张

本文声称，连续语言生成可以有效地连接基于扩散的生成建模与离散标记解码。作者认为，现有的设计权衡——即为了适应生成模型而简化表示——是不必要的。相反，通过保留高容量、可解码的文本潜变量，并设计扩散模型直接学习其分布（通过块因果因子化和轨迹一致性等特定架构选择），可以实现对无条件和条件文本生成任务的卓越性能。结果表明，连续空间可以作为语言的通用接口，在利用扩散建模优势的同时，保留语义保真度和句法规律性。