Polistemics: Evaluating LLMs as Information Mediators in Politics & Elections
该论文引入了“Polistemics”，这是一个基于认识论谦逊（epistemic modesty）的基准测试，揭示了当前的大型语言模型在面对模糊、矛盾或缺失的数据时，尽管在清晰条件下表现良好，却无法始终负责任地调解政治信息。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走在一座巨大且嘈杂的图书馆里，那里有数百万人正试图弄清楚该把票投给谁。在过去，你可能会询问图书管理员、阅读报纸或在互联网上搜索。但现在，出现了一种新型的图书管理员：一个可以和你交谈、总结书籍并即时回答问题的超级智能机器人。这个机器人就是人工智能，或者说是大语言模型（LLM）。现在的大问题不仅是“这个机器人是否掌握事实？”，而是“这个机器人是否是一个优秀的‘调解者’（mediator）？”调解者是站在你与原始信息之间的人，决定向你展示什么、如何解释以及表现得多么笃定。如果机器人在其实是在瞎猜时表现得过于自信，或者它在无意中将一位政治人物愤怒演说中的语气改写得彬彬有礼，它就可能误导你做出错误的抉择。这篇论文深入探讨了关于这些 AI 机器人如何处理政治信息的科学研究，特别是测试它们是否能够诚实地对待自己所知与所不知的信息。
由 Baran Peters 领导的研究人员开发了一种名为 POLISTEMICS 的新测试，旨在观察这些 AI 机器人作为选举期间的调解者表现如何。他们不仅仅是要求机器人重复某个政党的观点；他们还想看看这些机器人在面对混乱、模糊或缺失的信息时（就像现实世界中那样）会如何应对。他们针对 2025 年德国和荷兰选举的问题，对三种最受欢迎的 AI 机器人（Qwen、GPT 和 Claude）进行了测试。
以下是他们的发现：当信息清晰且易于获取时，这些机器人实际上能很好地胜任工作。它们可以非常准确地告诉你一个政党的立场。然而，当信息变得模糊、缺失或具有矛盾性时，机器人就开始踉跄蹒跚了。当证据缺失时，一些机器人会根据它们从训练中“记忆”的内容自信地编造答案，尽管它们本该直接说“我不知道”。当信息模糊时，即使它们正在阅读的文本漏洞百出，它们也往往表现得百分之百确定。
研究还发现，这些机器人拥有“政党先验知识”（party priors），这是一种高级说法，意思是指它们对于哪些政党属于哪一类有着内置的偏见。如果你询问某个特定的政党，机器人可能会依赖其内部知识，而不是你提供给它的证据。有趣的是，如果你隐藏政党的名称，仅称其为“政党 A”，机器人的表现会更加公正。这表明这些机器人不仅仅是中立的机器；它们会受到所谈论对象的影响。
其中一个最令人惊讶的发现是，机器人倾向于“净化”（sanitize）政治语言。如果一位政治人物使用了热烈、激烈或情绪化的词汇来表达观点，AI 往往会平滑掉这些词汇，使演讲听起来枯燥且中立。这就像如果一位摇滚明星唱了一首歌，而 AI 把这首歌变成了摇篮曲；意思还在，但能量和独特性都消失了。这种政治语言的“扁平化”现象，即使在机器人试图保持中立时也会发生。
简而言之，这篇论文表明，虽然这些 AI 机器人是强大的工具，但它们目前还不是完美的调解者。它们擅长总结清晰的事实，但在真相变得混乱或缺失时却表现挣扎。它们有时会表现得比实际更有把握，并且倾向于冲淡政治辩论中色彩鲜明、激烈的本质。作者得出结论，要让 AI 在选举中真正安全且有用，它需要学会具备“认识论上的谦逊”（epistemically modest）——这是一个高级短语，意味着它需要知道何时说“我不确定”，并让公民在不被机器人的虚假自信所误导的情况下，自行做出判断。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。