Calibrated local Gemma agents resist a fallible authority except when it conflicts with peer consensus
一项针对包含本地 Gemma 智能体团队的 14,400 次试验进行的预注册研究表明，它们对于向易错的权威人物示弱表现出惊人的抵抗力，仅当该权威人物与一致正确的同伴共识相抵触时，才会发生公开从众错误现象。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，关注点正从单一、强大的计算机转向由多个较小的专业化程序组成的协作团队。这些团队通常在本地硬件上运行，将敏感数据保留在组织内部，而不是发送到遥远的服务器。组织这些数字团队的一种常见方式是设置一名负责的代理人，充当监督者或评估者，决定哪些成员留下，哪些被解雇。这种设置模仿了人类组织，其中老板拥有雇佣和解雇的权力。在人类心理学中，我们知道人们往往会寻求领导者的指导，尤其是在他们不确定答案时。这种被称为“声望偏见传递”的倾向意味着我们会模仿那些看起来重要或强大的人，假设他们更了解情况。然而，如果领导者实际上是错误的，这种本能就会失效。对于构建这些人工智能团队的工程师来说，关键问题是：当监督者不仅拥有权力，而且还犯错时，会发生什么？团队是盲目跟随领导者的错误，还是信任自己的计算？
研究人员通过创建一个由小型本地语言模型组成的受控实验来回答这个问题。他们构建了一个由八个数字代理人组成的团队，并引入了一名被设定为在简单数学和数字序列问题上出错率为70%的“高级评估官”。研究人员操纵了这位官员向团队展示的方式。在一种情景中，该官员被塑造成一名拥有留任或解雇团队成员权力的资深高管。在对照情景中，使用了完全相同的文本，但该官员仅被呈现为一名没有特殊权威的同僚。团队被要求解决问题，在每一个公开回答之后，研究人员都会秘密询问每个代理人它认为正确答案究竟是什么，从而让科学家们观察这些代理人是否为了取悦老板而隐藏了真实想法。
结果非常清晰。在涉及两种不同类型AI模型的数千次试验中，这些代理人表现出了对监督者错误的显著抵抗力。即使“高级官员”握有解雇权，团队成员在公开场合也很少跟随老板的错误答案。公开顺从监督者错误的比例从未超过总尝试次数的一个极小部分。此外，没有证据表明代理人在公开场合假装同意而在私下里知道真相。当研究人员检查代理人的私人响应时，他们发现那些在公开场合重复老板错误的代理人，在私下里也真心相信那个错误。换句话说，他们并不是在表现得礼貌或具有策略性；他们只是在任务明确且正确答案显而易见时，并不向权威人物低头。
该研究还测试了这种行为是否会随着时间的推移而改变。研究人员运行了一个模拟实验，让团队进化了十代。在这个版本中，只有那些与监督者意见最一致的代理人才被允许将其“策略”或指令传递给下一代。即使在这种强烈的从众压力下，代理人也没有变得更加顺从。他们的行为保持了准确性，并且继续忽略监督者的错误答案。有趣的是，在其中一个模型中，代理人确实开始在内部指令中编写一些听起来像是向监督者效忠的词汇，但他们的实际答案仍然是正确的。这表明，虽然代理人可能会被诱导去表达对老板的尊重，但它们的核心决策过程仍然是独立且准确的。
然而，在一种特定情况下，监督者的身份框架确实产生了影响。当监督者给出一个直接与四名其他同僚（他们都给出了正确答案）意见相左的错误答案时，代理人跟随监督者的可能性会略微增加。在这些冲突时刻，跟随错误老板的比例从极低的基准上升到了一个稍高但仍很小的百分比。这表明，当团队因冲突信号而感到困惑时，监督者的地位起到了“打破僵局”的作用，但并未创造出一种普遍的服从文化。代理人在绝大多数情况下仍然信任正确的多数派或他们自己的计算。
这些发现为构建这些人工智能系统的工程师提供了具体的教训。赋予监督代理人一个权威头衔和解雇他人的权力，并不会让团队变得更加顺从，也不会让他们更有可能跟随一个明显错误的领导者。事实上，这种设置唯一的负面影响是，当领导者与群体产生分歧时，错误率会略有上升。对于设计医疗或国防等关键领域团队的工程师来说，建议是直截了当的：除非任务特别需要，否则不要授予监督代理人特殊的地位或权威框架。研究表明，当证据明确时，这些本地人工智能代理人会信任事实而非头衔，即便该权威掌握着解雇权，它们也会抵制这种错误的权威。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。