What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
本研究评估了大语言模型如何利用人口统计数据和先验立场来预测人类信念，发现虽然结合这两类信息能取得最佳结果，但它们各自的预测价值在不同的信念领域中存在显著差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图猜测一个陌生人对某个特定话题的想法，比如他们是否相信鬼魂，或者他们更喜欢猫还是狗。你可以通过两种主要方式来进行这种猜测：
- “他们是谁”的线索： 你观察他们的背景。他们是年轻还是年长？男性还是女性？他们住在城市还是农场？他们的宗教信仰或政治立场是什么？
- “他们以前说过什么”的线索： 你看一看他们之前同意或反对过的其他事物清单。例如，如果他们之前说过“我讨厌辛辣食物”，那么你可能会猜他们不会喜欢新的辣味菜肴。
这篇论文提出了一个简单的问题：哪种线索能帮助计算机（具体来说是大语言模型，即 LLM）更好地猜测人类的信仰？
实验：数字辩论俱乐部
研究人员使用了一个名为 Debate.org 的在线辩论网站的海量存档。把它想象成一个巨大的论证图书馆，数以百万计的人在这里对数千个话题投票“是”或“否”，话题范围从严肃的议题如“气候变化是否真实存在？”，到有趣的议题如“蝙蝠侠是否比超人更厉害？”。
他们选取了 9 种不同的 AI 模型（即“猜测者”），并给它们布置了一个挑战：预测一个特定用户会对一个新话题投出什么票。
为了测试哪种方法最有效，他们为每个用户运行了四次实验：
- 盲猜： AI 对用户一无所知。它仅仅基于平均水平进行猜测。
- 背景调查： AI 知道用户的年龄、性别、政治立场和宗教，但对他们之前的信仰一无所知。
- 历史检查： AI 知道用户之前投过的投票清单，但对其背景一无所知。
- 全套方案： AI 既知道背景，也知道历史。
结果：取决于话题
研究发现，并没有一种单一的“最佳”方式来做猜测。这完全取决于你在猜测什么。
1. “身份”类话题（政治、宗教、社会）
- 类比： 想象一下，你试图猜测某人是否支持某个特定的政党。
- 有效的方法： 了解他们是谁（人口统计特征）在这里极其强大。如果你知道某人是一个住在城市的 25 岁自由派，即使在不知道其过往投票记录的情况下，AI 也能对他们的政治观点做出非常好的预测。
- 原因： 这些信仰与社会群体和身份紧密相连。AI 学到了具有相似背景的人往往倾向于有相似的想法。
2. “个人品味”类话题（体育、娱乐、汽车、旅行）
- 类比： 想象一下，你试图猜测某人是否喜欢电影《复仇者联盟》或洛杉矶湖人队。
- 有效的方法： 了解他们以前说了什么（先前的信仰）是赢家。知道某人是“一名 25 岁的男性”并没有什么帮助。但如果 AI 知道他们之前对“我热爱超级英雄电影”投了“是”，它就能轻易猜出他们会对一部新的超级英雄电影投“是”。
- 原因： 这些偏好是个体化的（独特的）。它们是由个人经历和特定的兴趣塑造的，而不是仅仅由年龄或性别决定的。
3. “全套方案”（两种线索）
- 在大多数情况下，给 AI 既有背景信息又有历史信息，会得到最好的结果。这就像拥有一个人的完整档案一样。
- 然而，有时加入第二种线索反而会让 AI 的猜测效果变差。例如，如果 AI 已经能够很好地根据过往投票来猜测某人的体育偏好，那么加入用户的年龄有时会干扰它，从而降低准确性。
核心结论
论文得出结论，AI 模型正在变得越来越擅长理解人类信仰之间的联系，但它们并不完美。
- 它们擅长“群体思维”： 它们可以很容易地预测与社会身份相关的信仰（如政治），因为它们见过数百万具有相似背景的人表达过相似的观点。
- 它们更擅长“个人模式”： 它们在连接一个人的言行与他们可能进行的下一步之间，表现出了惊人的能力，尤其是在爱好和娱乐方面。
- 局限性： 即使拥有所有信息，AI 也不是读心者。它仍然会犯错，因为人类的信仰并不总是逻辑一致的，而人们也不总是始终如一的。
简而言之： 如果你想让 AI 猜测你的政治观点，告诉它你是谁。如果你想让它猜测你最喜欢的电影，展示它你以前喜欢过什么。如果你把两者都给它，它通常会表现得最好——除非额外的资料只会让问题变得复杂。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。