XTC: Head-Aware Sampling by Excluding Top Choices
本文介绍了 XTC（Exclude Top Choices），这是一种轻量级解码策略，通过选择性地移除占主导地位的高概率标记，在保持各种大语言模型的流畅度和指令遵循准确性的同时，显著增强生成的多样性和创造性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当计算机程序学习写作时，它并不像人类那样以句子进行思考。相反，它根据之前的词语来预测下一个词，并从一个长长的可能性列表中进行选择。长期以来，让这些程序写出多样化且有趣文本的标准方法，是引导它们向不太常用的词汇靠拢，或者切掉那些极不可能出现的词。这种方法在避免胡言乱语方面效果很好，但往往会导致另一个问题：生成的文本会变得平庸、重复且异常单一。即使计算机知道好几种延续故事的好方法，它也几乎总是会选择那个最显而易见、最平庸的选项，就像一个即便旁边有风景优美的路径，却总是选择走大路的旅行者。这种即便在其他强力选项存在时仍倾向于选择最安全选项的倾向，一直在悄无声息地消耗着机器生成文本的创造力。
一组研究人员现在推出了一种名为 XTC 的新方法，其全称为“排除顶级选项”（Exclude Top Choices），旨在修复这一特定的习惯。该技术不再关注列表底部的低概率词汇，也不试图平滑整个选择列表，而是将注意力集中在列表的顶部。它会在计算机在两个或多个非常好的选项之间陷入真正犹豫不决时介入。当这种情况发生时，该方法会刻意将最热门的选项从候选名单中移除，迫使计算机从剩余的强力替代方案中进行选择。这是一个仅在计算机真正面临抉择时才会触发的简单开关，确保输出保持多样性而不至于变得荒谬。
研究人员在几种不同的语言大模型上测试了这一想法，涵盖了从拥有 120 亿参数的小型模型到 700 亿参数的大型模型。他们要求这些模型创作创意故事、构思创意并进行对话，并将新方法与生成文本的标准方式进行了对比。结果清晰且一致。使用 XTC 时，生成的文本显著变得更加多样化，在词汇和短语的使用多样性上有可衡量的提升。与此同时，文本变得更加不易重复，模型重复相同三词短语的频率大幅降低。在一组测试中，写作的多样性提高了 11% 到 15%，而常见短语的重复率则下降了近一半。
至关重要的是，研究人员发现这种多样性的增加并没有以牺牲质量或清晰度为代价。当人类志愿者和其他先进的计算机程序对写作进行评判时，他们认为 XTC 生成的文本在创造性和趣味性方面表现更好，评分高于标准版本。写作保持了流畅度和易读性，没有明显的整体质量下降。该方法在应用上也表现得非常精准；除非设置过于极端，否则它不会干扰需要严格准确性的任务，例如遵循特定指令或编写代码。事实上，当研究人员将 XXTC 与单纯让计算机变得更随机的传统方法进行比较时，XTC 在实现相同多样性的同时，在保持遵循指令的能力方面表现得要好得多。
研究还表明，这种新方法可以与现有工具协同工作。它可以与其他控制随机性或重复性的方法结合使用，且其益处是叠加而非相互抵消。当与标准的温度设置（temperature setting）配对时，组合产生的效果更为显著，在某些情况下减少了超过 70% 的重复，同时提升了近 40% 的多样性。研究人员证实，这种效应在不同类型的模型和不同程度的计算机内存压缩下均成立，表明该方法具有鲁棒性和广泛的适用性。
这项发现之所以意义重大，是因为它解决了这些系统多年来在调优过程中存在的一个盲点。以往的方法假设，写作重复的问题源于列表底部的那些极不可能出现的奇怪词汇。而这项新工作表明，问题的核心往往在于顶部，即计算机对自己的最安全选择过于自信，以至于忽略了其他同样优秀的替代方案。通过仅在系统真正处于不确定状态时，轻轻地将其推离那个单一的主导选项，该方法释放出一种更自然、更像人类的表达范围。该技术已被几种流行的开源开发工具采用，这表明它为让人工智能写作感觉不再像机器、而更像创意伙伴提供了一种切实可行的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。