想象一下，你正在决定哪部电影是年度最佳。你请一群朋友观看并给出评分。但这里有一个转折：你要求一位朋友像严厉的影评人一样去评判，他讨厌节奏缓慢；另一位像寻找酷炫特效的青少年一样去评判；还有第三位像检查教育价值的家长一样去评判。突然间，根据你询问的对象不同，“最佳”电影可能会发生变化！这就是信息检索（Information Retrieval, IR）评估的核心——研究搜索引擎如何找到正确答案的科学。几十年来，一直是人类在做这些评判工作，但这既慢又贵。现在，科学家们正在使用大语言模型（LLMs）——超智能的 AI 聊天机器人——来代替人类进行评判。核心问题在于，如果我们要求 AI “扮演”不同类型的人，结果会改变吗？AI 的答案是否取决于它所戴的“面具”？

这篇论文深入探讨了这样一个问题。研究人员想要观察，如果给 AI 一个特定的“人格”（比如“一名医生”或“一名律师”），是否会改变它对搜索结果的排名，或者它是否无论如何都会给出相同的答案。他们将这些人格视为一种压力测试，通过不断地推敲和试探 AI，来看它的观点是否稳固。他们发现，虽然 AI 不会完全颠覆其胜负名单，但它确实会变得有些“挑剔”。结果表明，AI 的判断并非固定不变的真理；它会根据所扮演的角色而发生轻微偏移，并且这种偏移对于规模较小、功能较弱的 AI 模型来说，比对于那些庞大且聪明的模型来说更为显著。

变脸法官的故事

在搜索引擎的世界里，我们需要知道一个新的算法是否真的比旧的更好。为了找出答案，我们会运行一系列测试搜索，并要求一名“评估者”来评定结果的好坏。传统上，这是由人类完成的。但人类会疲劳、成本高昂，有时还会产生分歧。因此，研究人员开始使用 AI 模型作为评判者。其理念是，如果你能正确地提示 AI，它可以表现得像一名专业的真人评判员。

但问题在于：AI 是敏感的。如果你改变提问的方式，答案可能会随之改变。这篇论文提出了一个问题：如果我们改变评判者的“身份”会发生什么？ 研究人员不仅要求 AI “做一个评判者”，还要求它“成为一名医生”、“成为一名律师”或“成为一名怀疑论事实核查员”。他们想看看这些不同的“面具”是否会让 AI 改变它对搜索结果好坏的看法。

实验：为 AI 换装

研究人员利用两组不同的搜索问题（称为数据集）设计了一个大规模实验。一组是关于事实性的短问题（如“谁获得了诺贝尔奖？”），另一组是关于复杂的开放性话题（如“教师应如何处理州级测试？”）。

他们选取了六种不同的 AI 模型——其中既有庞大强大的，也有小型轻量级的——并要求它们对搜索结果进行评判。但他们不仅仅是让它们进行评判，还赋予了它们特定的角色：

1. 查询对齐型评判者（The Query-Aligned Judge）： 专注于用户“意图”的内容。
2. 领域专家（The Domain Expert）： 专注于医疗或法律等特定领域。
3. 正交型评判者（The Orthogonal Judge）： 一个从完全不同角度观察问题的“反向思维者”。
4. 证据验证者（The Evidence Verifier）： 一个严格的事实核查员，要求提供证据。
5. 全局评估者（The Global Assessor）： 一个标准的专业评分员。

他们还尝试了两种创建这些角色的方式：一种是使用抽象描述（如“一位家长”），另一种是使用详细的技能列表（如“一位具备课程开发技能的人员”）。

他们的发现：AI 是一枚情绪环，而非磐石

结果非常有趣，也有些令人惊讶。AI 并没有完全失去理智。当他们改变人格时，AI 并不会突然觉得一个糟糕的结果是完美的，或者一个完美的结果是糟糕的。相反，这些变化更加微妙，就像情绪环（Mood Ring）颜色的转变一样。

1. “严厉程度”的偏移
大多数情况下，AI 的排名与标准基准保持得相当接近。然而，人格确实改变了 AI 的严厉程度。例如，“证据验证者”人格往往更加严厉，会对缺乏有力证据的结果给出较低的分数。“反向思维者”人格则更有可能不同意主流观点。但至关重要的一点是，这些变化通常只是将分数向上或向下微调，并不会导致整个胜负名单发生混乱。

2. 大脑大小很重要：大容量大脑 vs 小容量大脑
这是一个重大的发现。规模最大、最强大的 AI 模型（如拥有 700 亿参数的模型）非常稳定。无论它们戴上什么样的“面具”，其排名基本保持不变。它们就像一位深谙规则且不会被换装所动摇的睿智老法官。
然而，规模较小、功能较弱的 AI 模型则敏感得多。当你给一个小型的 AI 戴上“反向思维者”的面具时，它会变得困惑，其排名也会大幅跳动。这表明，如果你使用较弱的 AI 来进行评判，仅仅因为你要求它“扮演”某种角色，结果就可能变得不可靠。

3. “反向思维者”最具破坏性
在所有角色中，“正交型”（或称反向思维型）人格引起的排名变化最大。这很好理解：如果你告诉 AI 从一个完全不同的角度来看待问题，它改变心意的程度自然会比被要求成为“领域专家”时更高。研究人员发现，使用“基于技能的”反向思维者（即拥有特定技能列表的人）比使用通用的反向思维者引起了更多的波动。

4. 关键不在于人格“是谁”，而在于他们“做什么”
研究人员想知道人格的来源是否重要。人格是来自抽象描述的数据库，还是来自专业技能的数据库，这会有区别吗？他们发现这并不重要。无论 AI 被告知是一位“社会学教授”，还是“一位具备课程开发技能的人员”，效果都是相似的。真正起作用的是“角色”（例如，是作为事实核查员还是反向思维者）以及 AI 模型的“规模”。

这为什么重要

这篇论文并不是说 AI 评判员是没用的。事实上，它表明 AI 在保持大局稳定性方面是非常出色的，尤其是那些强大的大型模型。然而，它警告我们，AI 评判员并非完美的真相持有者。它们的观点会受到我们设定任务方式的影响。

作者建议，我们可以将这些“人格变化”作为一种诊断工具。把它想象成对桥梁进行的压力测试。如果你摇晃一下这座桥（改变人格）而它剧烈晃动，你就知道这座桥（或搜索系统）存在薄弱环节。通过观察哪些搜索系统在 AI 的“情绪”变化时会导致排名变化，研究人员可以发现那些对评估方式过于敏感的系统。

简而言之，这篇论文告诉我们，虽然 AI 可以成为优秀的评判者，但我们需要谨慎对待给它穿上的“戏服”。如果我们想要可靠的结果，就应该坚持使用最大、最聪明的模型，并意识到我们要求 AI 进行评判的方式会微妙地影响结果。这提醒我们，即使是在人工智能的世界里，视角也至关重要。