Large Language Models are Perplexed by some Political Parties
本文揭示了在十个大语言模型和37种语言中，政治公平性受到了损害，因为模型对极右翼和民族主义政党文本的表现出比对社会民主主义政党文本更高的困惑度，这种偏差根植于预训练阶段而非指令微调阶段。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的机器人，它读过了互联网上几乎所有被写下的内容。你把这个机器人称为“语言模型”。现在，想象你要求这个机器人去阅读来自世界各地的演讲稿或政党宣言。
这篇论文的研究人员提出了一个简单的问题：这个机器人对待所有政党都公平吗？还是说它有一个秘密的偏好？
为了找出答案，他们并没有询问机器人的观点（因为这很棘手，因为根据提问方式的不同，机器人很容易被诱导说出不同的内容）。相反，他们使用了一个叫做**困惑度（Perplexity）**的“惊讶度量表”。
“惊讶度量表”类比
把机器人想象成一个正在读书的人。
- 如果这个人读到一个逻辑通顺、符合预期的句子，他并不会感到惊讶。他的“惊讶度量表”就会保持在低位。
- 如果这个人读到一个奇怪、令人困惑或使用了他从未见过的词汇的句子，他会感到非常惊讶。他的“惊讶度量表”就会升高。
在人工智能的世界里，**低惊讶度（低困惑度）**意味着机器人觉得文本易于理解和预测。**高惊讶度（高困惑度）**意味着机器人觉得文本难以理解、奇怪或“不符合特征”。
他们的发现
研究人员使用 37 种不同语言的文本测试了 10 个不同的机器人（大语言模型）。他们查看了来自许多不同政治团体（从社会主义者到民族主义者）的演讲稿。
这里有一个重大发现：机器人对某些政党的“惊讶感”始终比对其他政党更高。
- 偏爱对象： 机器人对社会民主党（可以理解为温和的、中左翼的团体）的惊讶程度最低。这些文本让机器人觉得很“正常”且易于理解。
- 陌生对象： 机器人对极右翼和民族主义政党的惊讶程度最高。即使是用同样的语言编写的，这些文本在机器人看来也显得“奇怪”或难以处理。
这就像机器人的大脑里有一个图书馆，里面读过数百万本关于温和政治的书籍，但关于极端民族主义的书籍却很少。当它看到一份民族主义演讲稿时，就像是在读一本它几乎不认识语言的书——它会在词句间磕磕绊绊。
“基础版”与“微调版”机器人
研究人员还检查了这种偏见是来自于机器人的初始训练（阅读互联网的内容），还是在后来由人类教导它如何变得“友善”（这个过程被称为指令微调/Instruction Tuning）。
他们发现，这种偏见在人类教它如何聊天之前，就已经存在于“原始机器人”中了。
- 类比： 想象一个在一个非常讲礼貌的社区长大的学生。即使你后来雇佣了一位严格的老师来教他如何成为一名“好公民”，这个学生天生的礼貌倾向（或者在这种情况下，他对某些话题感到“不适”的天性）已经深深植根于他的性格之中了。
- 结果： 改变机器人的指令并不能修复这种偏见。无论机器人是“原始版”还是“微调版”，其“惊讶度量表”对相同群体的反应依然保持不变。
与翻译的联系
论文还研究了当这些机器人进行翻译时会发生什么。他们发现了一个直接的联系：
- 如果机器人对某个政党的演讲感到惊讶（高困惑度），那么它将无法很好地将那段演讲翻译成其他语言。
- 如果机器人对该演讲感到舒适（低困惑度），那么它会做得很好。
这表明，机器人的“不公平”不仅仅体现在它在聊天时“说了什么”；更在于它最初是如何“理解”和“处理”这些文本的。
底线结论
论文得出结论，这些 AI 模型具有一种内置的“政治风味”，这源于它们训练时所使用的数据。它们天生对某些政治观点（如社会民主主义）感到舒适，而天生会对另一些观点（如极右翼民族主义）感到难以处理。
这不是通过仅仅告诉机器人以后要“公平”就能轻易修复的。这种偏见深植于基础之中，就像房屋的建造方式一样。要修复它，你需要从一开始就改变建造房屋时使用的材料（即训练数据）。
重要提示： 研究人员仅测试了正式的政治文本（如政党纲领和议会演讲）。他们没有测试机器人如何处理非正式的社交媒体帖子或非正式对话，因此我们不知道结果是否会有所不同。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。