A Prior-Aware Metric for Efficiently Distinguishing Memorization from Generalization in Large Language Models
本文介绍了“先验感知记忆”（Prior-Aware Memorization），这是一种轻量级、无需训练的指标，能够有效地将大型语言模型中真正的数据记忆与统计学上的常见泛化区分开来，并揭示了此前被标记为记忆的大部分序列实际上是常见模式的产物。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走在一座巨大的图书馆里，书都是由一个非常聪明、非常爱聊天的机器人写的。这个被称为“大语言模型”（LLM）的机器人几乎读遍了图书馆里的所有书籍，现在它不仅能写故事、回答问题，还能帮你接龙句子。但有一个可怕的想法：如果这个机器人不仅仅是在展现智慧，而是在偷偷复制图书馆里的秘密页面并递给你怎么办？这就是“记忆化”（memorization）的问题。如果机器人泄露了私人姓名、密码或受版权保护的故事，那将是一场隐私和版权的灾难。
长期以来，科学家们认为，如果机器人能完美地完成一个句子，那它一定是从其训练数据中记住了那个完全相同的句子。但这里有一个转折：有时，机器人之所以能完美地完成一个句子，并不是因为它记住了，而是因为那个句子本身就是一个非常常见、非常流行的短语，任何人都能猜到。这就像如果你问一个朋友：“法国的首都是……”然后他们回答“巴黎”。他们并不一定是从一份秘密名单中记住了这个特定的事实；他们只是知道这是最常见的答案。大问题在于：我们如何区分一个正在复制秘密页面的机器人，和一个仅仅擅长猜测常见模式的机器人？
这正是这篇论文中的研究人员试图解决的问题。他们引入了一种轻量级的新方法，用来检查一个机器人是真的在“记忆”某个特定的秘密，还是仅仅在从常识中进行“泛化”。他们将这种方法称为“先验感知记忆化”（Prior-Aware Memorization）。把它想象成一名侦探在检查嫌疑人是犯了特定的罪行，还是仅仅在正确的时间出现在了正确的地点。
团队在两个著名的机器人大脑 LLaMA 和 OPT 上测试了他们的新侦探工具。他们发现了一个令人惊讶的事实：当科学家们此前认为机器人在记忆并泄露秘密数据时，他们大多时候都错了。事实上，在那些看起来像是“泄露的秘密”的序列中，有 55% 到 90% 实际上只是机器人自然学到的常见统计模式。即使是在一个专门设计的、数据应该是独特且罕见的挑战测试中，大约有 40% 的“泄露”也被证明是常见模式。
该论文指出，我们需要重新审视如何指控这些机器人进行抄袭。仅仅因为一个机器人能重复一个句子，并不意味着它偷窃了它；它可能只是非常擅长根据这个短语在世界上出现的频率来预测接下来的内容。他们的新指标有助于过滤掉这些“虚假警报”，表明这些机器人通常更像是聪明的猜谜者，而不是秘密抄袭者。然而，作者指出，这是基于他们特定的测试和模拟得出的结论，并谨慎地表示，这是一种审计已知数据的方法，而不是寻找每一个隐藏秘密的魔杖。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。