Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
这项研究表明，大型语言模型一致地表现出一种“评论家赞誉导向”，即系统性地偏好那些虽受评论界高度赞誉但在商业上默默无闻的电影，而非那些商业成功但未获得评论界认可的电影，这种偏差会随着模型规模的扩大而加剧，并显著受到公众知名度和大众接受度的影响。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的机器人，它读过了互联网上几乎所有被写下来的东西。它知道如何写诗、解决数学问题，也能和你聊聊你的日常生活。但这里有一个大问题：这个机器人只是在重复“大多数人”说的话，还是它内心其实有一种倾向于“专家”所言的独特“品味”？这就是大语言模型（LLM）的世界——这些程序是在海量的各种人类文本上训练出来的。科学家们长期以来一直担心，这些机器人可能会对某些群体产生偏见，但这项研究提出了一个不同类型的问题：它们是否对“高雅文化”（如艺术电影）相对于“流行文化”（如夏季商业大片）有着偏好？这就像是在问，一个读过历史上每一篇影评的机器人，是更愿意看一部由影评人赞赏的、安静且深奥的电影，还是更喜欢看一部在电影院里让所有人热议的、喧闹且充满动作场面的电影。理解这一点至关重要，因为这些机器人正开始扮演我们的向导，告诉我们该看什么电影、读什么书以及听什么音乐。如果它们拥有隐藏的偏好，它们可能会在我们在意识不到的情况下，将我们引向某种特定类型的文化。
那么，研究人员究竟做了什么呢？他们把八个不同的 AI 模型当作电影评论家，让它们玩起了“二选一”的游戏。他们挑选了 200 部电影，并将它们分为三组：
- 双重赢家： 既是影评热点又是票房冠军的电影（如《教父》）。
- 影评人的宠儿： 影评人喜爱但普通观众大多忽略的电影（通常是较旧的、外国的或“艺术类”电影）。
- 大众情人： 赚了大笔票房但影评评价极差的电影（如许多大制作的超级英雄或动画续集）。
研究人员让 AI 进行两两对比，进行了数千次实验，以观察它更倾向于哪一个。他们在来自四家不同大型科技公司（Anthropic、OpenAI、阿里巴巴和 Mistral）的模型上运行了这项实验，包括每个公司的“小型”和“大型”版本。
这里有一个令人惊讶的转折：机器人一致地选择了“影评人的宠儿”而非“大众情人”。 尽管“大众情人”在网上的讨论量要多出数百万倍，但 AI 模型却始终选择那些名声不显但深受影评人赞赏的电影。研究人员称之为“影评赞誉导向”。这就像机器人拥有一张秘密俱乐部的会员卡，上面写着：“我只喜欢那些得到艺术评论家认可的东西。”
研究还发现，更大、更聪明的机器人对这些影评人喜爱的电影有着更强的偏好。 随着模型的规模变大，它们更有可能选择那部名声不显的艺术片而非流行的商业大片。
但这是为什么呢？研究人员进行了更深入的挖掘，以观察机器人是在选择被提及次数最多的电影（公众知名度），还是选择被普通人评价很高的电影（大众接受度）。他们使用了一种巧妙的统计技巧来区分这些因素。他们发现，即使考虑到电影的名气或普通人的喜爱程度，AI 仍然偏爱影评人喜爱的电影。事实上，当他们根据电影的名气进行调整后，AI 对纯商业电影的厌恶程度甚至比之前更高了。这表明 AI 不仅仅是在模仿流行，它吸收了训练数据中一种特定的“声望”信号，这种信号比起大众的认可，更看重影评人的赞誉。
有趣的是，机器人的行为会根据你提问的方式而改变。当研究人员问：“你会向普通观众推荐哪部电影？”时，机器人的偏好发生了偏移，不再那么痴迷于影评人的宠儿。这表明 AI 可以切换模式：它有一个热爱高雅艺术的“评论家模式”，但如果要求它变得更务实，它也可以开启“推荐模式”。
简而言之，这项研究表明，这些 AI 模型学习到了一种隐藏的品味等级制度。它们似乎比起大众的认可，更看重文化精英（影评人）的认可，即便大众对某部电影的讨论量比影评人多出一百万倍。虽然这并不意味着这些机器人具有“意识”或情感，但它确实意味着如果你向它们征求意见，它们很可能会引导你去关注那些“严肃”的作品，从而可能忽略了普通人乐在其中的有趣、流行的电影。研究人员谨慎地指出，这是一个我们观察并测量到的模式，而不是关于机器人“大脑”如何运作的已证事实，但证据在所有测试的模型中都是强有力且一致的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。