CoBit: Language Modeling with Bitstream Diffusion
CoBit 是一种连续扩散语言模型，它通过在单个 Transformer 补丁内联合去噪固定宽度的二进制标记码来生成文本，在标准基准测试上实现了具有竞争力的困惑度，并在数独和 GSM8K 等任务中表现出强大的推理性能，同时与稠密标记输出基线相比，提供了更高的内存效率和吞吐量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代计算机在预测句子下一个词方面已经变得异常出色。这种能力驱动着从自动完成到复杂的聊天机器人等一切技术，它依赖于一种被称为“自回归”的方法。在这种方法中，模型读取一段单词序列并猜测下一个词，然后读取这个新词以猜测再下一个词，从而一步步构建出一个故事。虽然这种方法效果很好，但它本质上很慢，因为计算机必须在做出下一个猜测之前等待上一个猜测完成，就像一个人朗读书籍时，在开口说话前需要停下来思考下一个词一样。多年来，研究人员一直在寻找一种更快的文本生成方式，即一种能够同时优化整个句子，而不是逐词构建的方式。一种被称为“连续扩散”（continuous diffusion）的新方法提供了这种希望，它借鉴了图像生成中的概念，即一张图片是如何从静态噪声中逐渐显现出来的。然而，将这种技术应用于语言一直很困难，因为文本是由离散、独立的符号组成的，而扩散模型在处理平滑、连续的数据时表现最好。
一组研究人员现在推出了一套名为 CoBit 的系统，该系统成功弥合了这一差距，它通过优化一系列二进制代码而非猜测整个单词来生成文本。该模型不再试图从庞大的词典中预测下一个词，而是将每个单词视为一个固定长度的由 0 和 1 组成的字符串。想象一下，一个单词就像一个小巧且密封的盒子，里面包含着特定的开关模式。计算机从一个装满随机、嘈杂开关的盒子开始，逐渐清理这些开关，根据周围单词的上下文调整每个开关的位置。通过将每个单词的开关组合成一个单一单元，该系统保持了序列长度的可控性，同时将“从数千个单词中进行选择”这一复杂任务，替换成了“决定几十个开关状态”这一更简单的任务。这种方法允许模型同时处理句子的所有部分，为速度和灵活性提供了一条不同的路径。
研究人员发现，使该系统运行良好的关键不仅在于他们表示单词的方式，还在于他们如何清理噪声。他们发现，一种纯粹的确定性方法（即计算机遵循严格、计算好的路径来去除噪声）往往会产生虽然安全但重复性高且缺乏多样性的文本。为了解决这个问题，他们在过程中引入了受控程度的随机性，或称之为“扰动”（churn）。这种随机性就像一次轻微的摇晃，防止模型陷入循环往复的、过于稳妥且可预测的选择中。通过精确控制这种摇晃发生的时机——即当模型对某个比特（bit）的含义最不确定时——他们能够在不降低速度的前提下提高了文本质量。其结果是一个能够产生自然平衡的连贯性与多样性的系统，其流畅度足以媲美现有的顶尖模型，且采用了完全不同的机制。
在实验中，团队在两个大型文本集上测试了 CoBit：一个包含新闻文章，另一个来自开放网络。他们通过检查生成的文本与人类真实写作模式的匹配程度来衡量文本质量。在使用一个拥有 1.3 亿参数的模型时，他们取得的分数使其跻身该领域的顶尖水平；当他们将系统规模扩大到 4.及 4.62 亿参数时，结果进一步提升，接近了规模庞大且成熟的模型。除了通用写作外，他们还测试了该系统在需要严格逻辑的任务上的表现，例如解决数独谜题和回答数学应用题。在困难的数独谜题中，该系统的正确解题率超过了 65%；而在数学问题上，当研究人员调整了对其自身置信度的解读方式后，其准确率达到了 35% 以上。这些结果表明，该模型不仅仅是在模仿语言模式，而且具备遵循逻辑约束的能力。
该研究还强调了该系统在利用计算机内存方面的显著实际优势。由于该模型预测的是单个比特的状态而非从庞大词典中选取整个单词，因此它在生成长文本时所需的内存要少得多。这种效率使得系统能够运行得更快，并在相同的硬件上处理更大批量的数据。研究人员指出，虽然该系统尚未达到完美，有时仍会产生重复或无意义的句子，但其并行处理的速度、处理逻辑任务的能力以及减少的内存占用，标志着一个重要的进步。他们认为，这种方法证明了连续扩散可以有效地应用于语言，前提是必须针对文本的独特性质对表示法和采样过程进行仔细调优。这项工作表明，文本生成的未来可能不再仅仅依赖于传统的逐词预测，而是可以拥抱那种能同时优化整体意义的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。