Diffusion Language Models as Open Quantum Systems
本文建立了一个将扩散语言模型嵌入开放量子系统的框架，以实现基于叠加态的生成（SoP/SoT），并引入了一种置信度驱动的标记修正机制（QIR），从而将文本生成的能力扩展到经典离散状态之外。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，计算机在编写文本方面已变得异常出色，往往能如此紧密地模仿人类风格，以至于界限变得模糊。这些系统大多的工作原理类似于一个人阅读句子并逐一、按直线预测下一个词。这种方法快速且有效，但具有一种僵化的本质；一旦选定了某个词，前进的路径就固定了，系统无法轻易重新考虑先前的选择，也无法将不同的想法融合进单一的输出中。一种被称为“扩散”（diffusion）的新型方法提供了一种不同的思考方式。扩散模型并非从头开始构建句子，而是从一堆混乱的随机词汇开始，逐渐清理这些内容，将噪声提炼成一个连贯的故事。这个过程类似于模糊的照片逐渐变得清晰，只不过是应用于语言。尽管这项技术展现出了巨大的潜力，但研究人员长期以来一直想知道，是否存在一种更深层的数学结构在支配着这些模型的演化，一种能够解锁更灵活、更具创造性的文本生成新方式的结构。
来自日本的一个研究小组现在提出了一种关于这些语言模型与微观物理学之间令人惊讶的联系。他们认为，扩散模型清理句子的方式可以通过“开放量子系统”（open quantum systems）的视角来理解，这是一个用于描述微小粒子与其周围环境如何相互作用的框架。在量子世界中，粒子可以处于“叠加态”（superposition），这意味着在被观察之前，它们可以同时存在于多个位置或状态中。研究人员发现，他们可以将这种生成文本的 AI 的行为映射到这种量子框架中。通过这样做，他们不再将不同的可能句子视为彼此独立、竞争的选项，而是将其视为共同演化的重叠的可能性。这种视角的转变使他们创造出一种新的文本生成方法：模型不再仅仅选择一条路径并坚持下去，而是同时携带多个潜在的情节线，让它们在最终定格为单一结果之前相互影响。
为了测试这个想法，该团队开发了一种特定的采样技术，其作用类似于这些类量子状态的模拟。他们首先向模型输入两个不同的提示词，例如一个关于描写郁郁葱葱森林的故事请求，以及另一个关于描写冰冻冬季景观的故事请求。模型并未被要求在二者中择其一，而是被指示将两者都保持在叠加态中。随着生成过程的展开，模型并没有立即决定讲述哪一个故事。相反，它生成了一段融合了两种环境特征的文本。生成的文章往往既包含温暖、充满生机的森林元素，也包含寒冷、寂静的雪景元素，从而创造出一种感觉像是这两个截然不同的环境之独特融合的叙事。当研究人员测量这些融合故事与原始提示词之间的相似度时，他们发现输出结果保留了大量来自那个最终未被选中的提示词的信息。这表明模型成功地在整个过程中携带了未被选中想法的“幽灵”，使其能够以标准模型无法实现的方式塑造最终文本。
研究人员还应用了这种受量子启发性的思维来提升文本本身的质量。在标准的扩散模型中，一旦一个词被揭示，它通常就会固定在那里。然而，这种新方法允许模型对那些它不太确定的词进行“重掩码”（remask），本质上是给了它自己一个改变主意并重新尝试的机会。通过将改变单词的行为视为由模型不确定性驱动的物理过程，他们创建了一个仅针对那些最需要改进的部分进行优化的规则。他们的实验表明，时机至关重要。如果模型在生成过程过早阶段就开始更改单词，文本会变得重复且缺乏多样性。但如果模型等到生成过程的中期再开始这种精炼，生成的文本质量会显著提高。在利用大型语言模型进行质量评判的测试中，使用这种中期精炼生成的文本，其优于标准输出的比例超过了百分之六十。这种改进无需重新训练底层模型，只需改变生成过程的引导方式即可实现。
这项研究并非声称这些计算机实际上是量子机器，也不是说它们正在量子硬件上进行计算。相反，研究人员将量子物理学的数学语言作为一个强大的工具，用来描述和操纵经典计算机的行为。通过借鉴“叠加”和“量子跃迁”等概念，他们为文本的创造开辟了一个全新的设计空间。研究结果表明，我们对语言生成的动态机制仍有许多未知，而通过物理学的窗口来观察这些过程，可以揭示出隐藏的控制杠杆。虽然目前的工作是在标准硬件上的模拟，但他们构建的框架为未来的系统提供了蓝图，这些系统有一天可能会在真正的量子计算机上运行，从而实现更加复杂且连贯的创造性表达。目前，这项工作证明了支配亚原子世界的规则可以为机器如何学习说话提供全新的见解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。