The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
本文介绍了 NameRank，这是一种用于衡量大型语言模型从其参数权重中识别特定实体的能力的指标，该指标揭示了识别过程主要由命名人工制品的显著性和峰值事件的可见度驱动，而非由资历、机构声望或引用计数驱动。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个巨大的、超级智能的图书馆，它包含了整个互联网的内容。但这些故事不是存在书架上的书，而是直接刻在机器人的大脑里。当你问这个机器人：“[姓名]是谁？”它会凭记忆回答，而不需要查阅任何资料。
一项名为 NameRank 的新研究进入了这个图书馆，去观察机器人到底记住了什么。他们测试了 4,685 个不同的人物和事物——从奥运奖牌得主、著名科学家到开源软件工具和流行歌手——涵盖了 36 个不同的机器人大脑。他们不仅仅是问：“你认识他们吗？”他们还要求机器人讲述一个故事。如果机器人编造了一个听起来很酷的谎言、重复了问题，或者只是在瞎猜，它就会得零分。只有当机器人能说出一个具体的、真实的、且无法仅凭名字就猜出来的知识点时，它才能得分。
这里有一个巨大的惊喜：机器人记住的是你的项目，而不是你本人。
金牌 vs. 机器
把奥运金牌想象成贴在你额头上的一个闪亮贴纸。这确实令人印象深刻，但如果你没有将名字与特定的发明或著名的论文联系起来，机器人往往会把你忘掉。研究发现，即使是国际数学奥林匹克（IMO）的金牌得主，其识别得分也仅为 0.12。这意味着，如果你询问 36 个不同的机器人，大约只有 4 或 5 个机器人能真正知道你是谁。大多数机器人会说“我不知道”，或者胡编乱造。
相比之下，一个流行的开源软件工具则完全不同。像 LangChain 或 Tianshou 这样的工具被几乎所有的机器人所识别（得分接近 0.87 到 0.92）。机器人对这个工具的名字记忆如此深刻，以至于它记得这个工具甚至比记得创造它的人还要好！例如，工具 Tianshou 的识别得分为 0.78，而其创作者 Jiayi Weng 的得分仅为 0.22。工具是主角，而创造者只是影子。
为什么有些名字能被记住？
研究认为，识别度并不取决于你有多聪明或赢得了多少奖项，而在于命名的产物（named artifacts）。
- “沉默”区： 如果你只是巨型报告中的一列作者名单（比如 GPT-5 系统卡的作者），你的名字就被埋在了名单里。机器人看到的是一份名单，而不是一个人。这些作者的得分约为 0.09，仅仅高于“虚构人物”的底线。
- “通用”区： 如果你创造了一种命名的法（如 ReAct 或 DPO）或一个著名的工具，你的名字就会随之传播。这个工具在机器人的训练数据中被提及了数百万次，从而将你的名字也一并拽了过去。
- “ marquee（明星）”区： 只有当凭证本身就是一项重大的、贯穿职业生涯的荣誉（如诺贝尔奖或图灵奖）时，凭证本身才会起作用。这些荣誉处于顶端（得分高于 0.95），但这并不是因为获奖者仅仅凭借奖项本身，而是因为他们在数十年间通过建立一座由命名论文和工具组成的“大山”才得以实现。
“名声”陷阱
你可能会想：“但如果我在新闻里很有名呢？”研究测试了 258 个新闻事件。他们发现，机器人并不在乎一个故事持续了多久；它在乎的是在巅峰时期有多响。如果一个故事爆发式增长，在一周内产生了百万篇报道，机器人就会记住它。如果一个故事拖了一年，但没人讨论它，机器人就会忘记它。这关乎峰值显著性（peak salience），而非持久性。
此外，不要问机器人：“你认识我吗？”研究尝试过这样做。当机器人被要求对人们的名气进行排名时，它们并没有查看自己的记忆，而是仅仅复述了它们认为公众所知道的内容。它们是在阅读一份共享的“名气列表”，而不是在检查自己的大脑。
核心结论
该论文通过极其严谨的方式测量了这一点，使用了一个特殊的“评判”机器人来验证事实，甚至通过测试虚构的假人来确保得分不是单纯的猜测。假人的得分接近 0.02，这证明了真实的分数代表了真实的记忆。
这对许多人来说可能有点令人沮丧，但这是研究的核心结论：凭证不会传播姓名，命名的产物才会。
- 一枚奥林匹克奖牌（如果没有附带著名的论文或工具）得分为 0.12。
- 一位拥有正常职业生涯的研究人员得分为 0.40。
- 一位命名方法的创造者得分为 0.65。
- 一个著名工具的创造者得分为 0.87+。
如果你想在 AI 的未来让自己的名字被记住，这项研究建议你不应该仅仅追求奖项。你应该去构建一些具有独特、朗朗上口名称的东西，并确保它被用英文进行报道。机器人不在乎你的头衔，它在乎的是你所创造的那个被所有人谈论的事物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。