Language Models Should be Used to Surface the Unwritten Code of Science and Society
本文提出了一个利用大语言模型来揭示并批判社会“潜规则”的框架，通过分析其自生成的启发式逻辑，并结合同行评审案例研究展示了大语言模型如何揭示人类专家虽在应用但鲜少言明的隐性偏见——例如对叙事性而非纯粹严谨性的默契偏好。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心思想：寻找“潜规则”
想象一下，你正在试图弄清楚为什么一首特定的歌曲成为了热门金曲，而另一首同样优秀的歌曲却无人问津。你询问乐评人：“为什么这一首赢了？”他们给了你一个标准的答案：“因为它有更好的歌词和更洗脑的旋律。”
但在内心深处，你怀疑那里存在着一条他们没有说出口的潜规则。也许获胜者只是讲了一个更好的故事，或者评论家喜欢这位艺术家的背景，又或者这首歌契合了当下的潮流。这些就是“不成文的代码”——即那些驱动决策、尽管人们出于礼貌或习以为常而不愿承认的隐形规则。
这篇论文认为，大语言模型（LLM）——即我们今天使用的智能 AI 聊天机器人——实际上是寻找这些潜规则的完美工具。作者们建议，我们不应仅仅试图消除 AI 的偏见，而应该利用这些偏见，将其作为一支手电筒，去照亮人类社会中那些隐藏的、不成文的规则。
实验过程：“同行评审”侦探故事
为了证明这一点，研究人员观察了科学同行评审的过程。这是指科学家将论文提交给会议，然后由其他科学家（评审员）决定这些论文是否足够优秀以达到发表标准。
实验设置：
- 数据： 他们收集了数千对科学论文。在每一对论文中，一篇获得了高分（“通过”），另一篇得了低分（“失败”）。
- AI 侦探： 他们要求 AI 查看这些配对，并猜测：“为什么高分的论文赢了？”
两步发现法
研究人员并没有只问 AI 一次。他们使用了一种巧妙的两步法，来剥开 AI 思维的层层外壳：
第一步：“礼貌”的回答（先验概率）
首先，他们询问 AI 在没有任何具体案例参考的情况下，通常认为什么是好的论文。
- 结果： AI 给出了非常标准、“教科书式”的答案。它说诸如“获胜者有更好的数学推导”、“方法论更严谨”或“理论更强大”之类的话。
- 类比： 这就像一个学生给出他认为老师想听到的答案。这是“官方”的规则手册。
第二步：“真实”的回答（后验概率）
接下来，他们向 AI 展示了实际的论文配对（获胜者与失败者），并要求 AI 针对这些具体案例解释差异。他们迫使 AI 不断深入挖掘，直到它几乎能解释所有的获胜案例。
- 结果： AI 的回答发生了变化！它开始说：“获胜者讲述了一个更好的故事”、“它将自己的工作与其他著名研究联系起来”或者“它对问题的框架构建得非常有意义”。
- 类比： 这就像那个学生在耳语：“好吧，但实际上，老师喜欢那个讲了酷炫故事且演示华丽的学生，即便两者的数学水平是一样的。”
令人震惊的发现
研究人员发现，人类口头上所珍视的东西与他们实际奖励的东西之间存在巨大的鸿沟。
- 人类所说的： 在书面评审中，人类科学家主要谈论“教科书式”的内容（严谨性、方法论）。他们很少提到叙事技巧或论文的框架构建。
- 人类实际做的： 尽管他们在写作中强调“严谨性”，但最终获胜的论文往往是那些拥有更好故事和关联性的论文。
- AI 的角色： AI 最初拥有与人类相同的“教科书式”偏见。但当被迫观察实际结果时，AI 更新了自己的思维。它意识到：“噢，我明白了。这些论文之所以获胜，真正的理由不仅仅是数学，而是故事。”
隐喻：
想象一位才艺秀的评委。
- 公开声明： 评委说：“我寻找的是技术实力和完美的音准。”
- 现实情况： 评委实际上把奖杯给了那位讲述了动人背景故事并与观众产生情感连接的歌手。
- AI 的工作： AI 扮演着一位观察入微的助手，它观察着评委实际做出的选择，并说道：“嘿，尽管你说你只看重音准，但你总是把奖杯给那些讲故事的人。这就是你遵循的潜规则。”
为什么这很重要
作者并不是说我们要让 AI 取代人类评委。相反，他们希望将 AI 作为一种诊断工具。
- 让不可见变为可见： 正如这项研究揭示了“叙事能力”是科学领域的隐藏规则一样，这种方法可以揭示招聘（例如：“我们说想要技能，但实际上我们更青睐特定院校的候选人”）或大学录取中的隐藏偏见。
- 目标： 一旦我们知道了这些潜规则，我们就可以就这些规则进行诚实的对话。这些规则公平吗？它们是否帮助了正确的人？如果我们不知道这些规则的存在，我们就无法改变它们。
总结
该论文声称，AI 模型吸收了人类文化的隐藏、不成文的规则。通过不断迫使这些 AI 模型解释其决策，我们可以迫使它们“吐露实情”，揭示出真正重要的东西——从而揭示出我们的行为逻辑中，那些“体面的官方规则”与“混乱的真实选择理由”之间的差距。这有助于我们看清社会的“隐藏课程”，以便我们决定是保留它还是改变它。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。