Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates
这项研究表明,尽管大语言模型可以生成大量的调查受访者,但其产生的“硅基代理人”却产生了高度程式化且扭曲的人类文化趣味表征,这些表征系统性地高估了喜爱程度,未能捕捉复杂的关联结构,并且与年龄、阶级、性别和种族等关键社会维度不一致。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正试图了解人们到底喜欢什么样的音乐。你可以询问 10,000 名真实的人类,或者你可以让一个超级聪明的计算机程序假装成 10,000 个不同的人类。这篇论文提出了一个问题:如果你询问计算机,它会告诉你真相吗?
研究人员使用了一份关于音乐品味的真实调查(SPPA),并要求三种不同的 AI 模型(来自 OpenAI、Anthropic 和 DeepSeek)为该调查中的每一个人生成“虚假”的回答。然后,他们将 AI 的回答与真实人类的回答进行对比,以观察这种模仿的接近程度。
以下是他们的发现,用简单的语言解释如下:
1. AI 是一个“过度热衷者”(正向偏见)
想象一个人,当被问及是否喜欢某种特定类型的音乐时,他几乎对所有东西都回答“是!”。这就是 AI。
- 发现: AI 受访者表示喜欢各种音乐流派的频率远高于真实人类。如果说真实人类平均喜欢 24% 的流派,那么 AI 则表示他们喜欢大约 46%。
- 比喻: 真实的人类是挑食的食客;他们可能喜欢披萨但讨厌西兰花。而 AI 是一个“超级食客”,声称自己热爱菜单上的每一道菜,包括大多数人实际上并不喜欢的那些古怪、冷门的菜肴。研究人员称之为**“过度杂食性”(hyper-omnivorousness)**。
- 转折: 你可能会认为 AI 并不擅长理解“少数”群体,因为它主要是在来自富裕、受过教育的白人的数据上进行训练的(即“WEIRD”偏差)。但研究发现情况恰恰相反:AI 在模拟富裕、受过教育的白人方面,竟然比模拟其他人时表现得更差。它只是喜欢一切,无论它在假装谁。
2. AI 抓不住“氛围”(关联性问题)
人类的品味不仅仅是一个“是”或“否”的列表。它是一个连接的网络。例如,如果你喜欢爵士乐,你很可能也会喜欢布鲁斯。如果你喜欢乡村音乐,你可能也会喜欢蓝草音乐。这些联系创造了一种“氛围”或结构。
- 发现: AI 无法理解这些联系。它不知道某些流派是“配套”的。
- 比喻: 想象一个音乐爱好者的品味就像一个组织有序的书架,流派被逻辑性地分组。而 AI 的品味就像一堆扔在地上的书。它拥有的书的数量可能与人类一样多,但它们排列的方式却毫无逻辑。
- 结果: AI 打破了通常联系在一起的流派之间的纽带(如布鲁斯和经典摇滚),并创造了从未在一起出现过的流派之间的虚假联系(如嘻哈音乐和蓝草音乐)。它在表面上看起来像个音乐爱好者,但其内部逻辑完全是混乱的。
3. AI 搞错了“社会地图”
在现实世界中,你喜欢什么音乐通常取决于你是谁(你的年龄、收入、性别、种族)。
- 年龄: AI 认为几乎所有的音乐都是给年轻人听的。它让“经典摇滚”(通常受年长者喜爱)这类流派看起来像是属于青少年的。
- 阶层(金钱): AI 创造了一个在现实中已不复存在的严格的“富人 vs 穷人”的划分。它认定“高雅”音乐(如古典和歌剧)纯粹是为富人准备的,而“低俗”音乐则是为穷人准备的,忽略了当今人们其实更自由地混合这些品味的事实。
- 性别: AI 将微妙的差异变成了夸张的刻板印象。如果女性稍微更偏好百老汇音乐剧,AI 会让这看起来像是一个巨大的、定义性的特征。它还抹杀了真实的趋势,比如女性实际上也非常喜欢乡村音乐这一事实。
- 种族: 这是最大的失败。AI 创造了虚假的种族关联。它认定某些流派是“属于白人的”,而另一些是“属于黑人的”,其方式既夸张又完全是凭空捏造。例如,它让嘻哈音乐看起来比现实中具有更强的种族色彩,甚至还在电子音乐中发明了一个原本并不存在的种族联系。
核心结论
论文总结道,虽然 AI 可以模仿人类观点的表面(它可以说“我喜欢音乐”),但它无法捕捉人类品味的深度和结构。
把 AI 想象成一位漫画讽刺画师。如果你要求一位漫画家画一个人的肖像,他可能会把鼻子和眼睛画对,但他会过度夸张这些特征,使得画作看起来滑稽且扭曲。它看起来像个人,但并不忠实。
如果研究人员使用这些 AI “代理人”来研究文化,他们将得到一个扭曲的世界图景:一个每个人都喜欢一切、音乐流派之间没有逻辑联系、且社会群体被夸张的虚假刻板印象所定义的扭曲世界。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。