LLM generation novelty through the lens of semantic similarity
本文提出了一种可扩展的三阶段语义检索框架，用于衡量大语言模型生成内容相对于完整预训练语料库的新颖性，研究表明模型利用的数据序列比此前认为的更长，且表现出领域特定的新颖性模式，并通过指令微调提升了新颖性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名正在试图查明一名学生是否在考试中抄袭内容的侦探。如果学生逐字逐句地抄袭教科书，那是显而易见的抄袭。但如果他们读完了整个章节，理解了概念，然后写出了一个意思完全相同但完全是新句子的句子呢？这究竟是抄袭，还是真正的学习？这就是研究人工智能（AI）的科学家们面临的大问题。这些被称为“大语言模型”（LLMs）的 AI 模型，就像是读过几乎整个互联网的超级学生。它们可以写故事、解数学题，还能与我们聊天。但有时，它们只是在重复之前读到的内容；而有时，它们似乎又创造了一些新的东西。难点在于，当 AI 如此擅长隐藏其来源时，如何区分“复制”与“创造”。科学家们想要知道：AI 到底是在思考和概括，还是仅仅是一个重复它所记忆的模式的高级鹦鹉？
这篇论文介绍了一种解决这一谜团的巧妙新方法。作者们并没有仅仅寻找精确的单词匹配（就像拼写检查器那样），而是构建了一个观察文字背后“意义”的系统。他们称之为“语义相似度”。这就像是在比较两幅画作。如果你只看具体的笔触，两幅画可能看起来完全不同。但如果你观察整体图像，你可能会意识到它们都在描绘同一场日落。研究人员利用这个想法来扫描 AI 训练的数据库。他们不仅仅是在问：“AI 是否复制了这个句子？”他们还在问：“即使使用了不同的词汇，AI 是否也复制了这个句子的‘意思’？”
为了测试这一点，该团队使用了一个名为 SmolLM 的 AI 模型家族。他们建立了一个三步调查程序。首先，他们使用一种快速搜索工具，在训练库中寻找最相似的思想。其次，他们对这些结果进行了重新排序，以确保他们寻找的是正确类型的相似性，而不仅仅是简短、简单的匹配。最后，也是最重要的一部分，他们将 AI 的答案与真人撰写的答案进行了对比。这起到了“校准”工具的作用，类似于厨师根据标准食谱品尝菜肴，以查看调味是否正确。通过这种方式，无论 AI 的输出听起来是华丽还是简单，他们都能衡量其“新颖性”（即新颖且不同的程度）。
结果令人惊讶，并改变了我们对这些 AI 模型的看法。首先，他们发现 AI 模型提取训练数据的范围比之前人们认为的要长得多。它们不仅仅是在复制单个句子，而是在将长段落中的思想编织在一起。其次，任务类型非常重要。当要求 AI 做一些非常严格的事情时（例如解决数学问题），它的新颖性往往较低，因为表达答案的方式通常只有一种。但当被要求写故事或回答一个棘手的问题时，它会变得更加具有创造力，而不那么像一个复读机。
或许最有趣的发现是关于“指令微调”（instruction tuning）的。这是当你教 AI 遵循特定指令（例如“扮演一个乐于助人的助手”）时的过程。研究人员发现，这种训练不仅改变了 AI 的风格，实际上还让 AI 变得更具新颖性。经过指令微调的模型开始使用不同的措辞和结构，这些内容与它们原始的训练数据相似度更低。这就像是教 AI 遵循指令给了它信心，让它不再重复教科书，而是开始讲述自己的故事。
作者还发现，较小的 AI 模型往往比巨大的模型更具“新颖性”。较大的模型似乎更贴近它们的训练数据，仿佛它们更害怕偏离所记忆的内容。虽然这项研究并未证明这些模型在人类意义上是在“思考”，但它强烈表明指令微调有助于它们超越简单的记忆。研究人员发布了所有的工具和数据，以便他人核实他们的工作，希望这种衡量“新颖度”的新方法能帮助我们准确理解这些数字大脑究竟在学习什么，以及它们何时真正创造了新事物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。