Are LLMs More Skeptical of Entertainment News?
本文揭示，某些大型语言模型对合法的娱乐新闻表现出特定文体的怀疑倾向，由于对该文体认识论合法性的偏见而非文体特征，将其误判为虚假新闻的频率高于硬新闻，从而凸显了在自动化可信度评估中进行分层文体评估的必要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个由四位非常聪明、高科技的图书管理员（即 AI 模型）组成的团队。他们的工作是站在一家巨型图书馆的门口，决定哪些书是“真实新闻”，哪些是“虚假新闻”。
研究人员想要了解这些图书管理员是否对所有“真实新闻”一视同仁。具体来说，他们想知道：这些 AI 图书管理员是否会仅仅因为“娱乐新闻”（如名人八卦）看起来与“硬新闻”（如政治或犯罪）不同，就将其不公平地标记为虚假，即使它们实际上是真实的？
以下是他们发现的简要总结：
1. “时尚警察”效应
研究人员向图书管理员提供了一系列真实故事：其中一些是关于严肃政治的（硬新闻），另一些是关于名人戏剧性事件的（娱乐新闻）。
- 结果： 两位图书管理员（DeepSeek-V3.2 和 GPT-5.2）表现得像严格的时尚警察。他们审视名人故事，心想：“这太戏剧化、太情绪化，或者太关注私生活了。这一定是假的！”与真实政治故事相比，他们标记为虚假的真实名人故事比例高出约10%。
- 其他图书管理员： 另外两位图书管理员（Claude Opus 4.6 和 Gemini 3 Flash）并不在意风格。他们公平地对待名人故事和政治故事，以相同的比例将其标记为虚假。
核心启示： 变得“聪明”并不意味着变得公平。某些 AI 对娱乐新闻的风格存在固有偏见，它们假设如果一则故事读起来像八卦，那它一定是谎言。
2. “改造”实验（风格与实质）
研究人员思考：AI 是否只是在评判故事所穿的“衣服”？娱乐新闻通常使用色彩丰富、情感充沛的语言，而硬新闻则枯燥且注重事实。
为了测试这一点，他们选取了 50 则真实的名人故事，并利用 AI 将它们改写成“枯燥、严肃的政治新闻”风格。他们保持了事实完全不变，仅改变了语调。
- 结果： 这次改造效果不佳。
- 对于某一款 AI 而言，虚假标记率完全保持不变。
- 对于另一款 AI 而言，改造反而使情况恶化——它标记为虚假的改写后故事数量反而更多了！
- 比喻： 这就像试图给摇滚明星穿上燕尾服来骗过门卫。门卫（AI）依然认出了摇滚明星的气质，并说道：“你不属于这里”，尽管服装完美无瑕。这种偏见不仅仅关乎写作风格，而是更深层的问题。
3. “专家”提示
研究人员尝试给图书管理员一份新的工作描述。他们不再仅仅称其为“新闻核查员”，而是告诉其中一款 AI：“你现在是娱乐新闻领域的专家。你的工作是核查名人故事的事实。”
- 结果： 这对一位图书管理员（DeepSeek-V3.2）来说如同魔法般奏效。它不再将真实的名人故事标记为虚假，同时也未开始漏掉真正的虚假新闻。
- 局限： 这对另一位图书管理员（GPT-5.2）却不起作用。无论给予什么指令，该 AI 始终对名人故事持怀疑态度。
核心启示： 你有时可以通过正确的指令来修正偏见，但这取决于你使用的是哪款 AI。不存在“放之四海而皆准”的解决方案。
4. 为什么会发生这种情况？
研究人员查看了 AI 在犯错时所写的笔记。他们发现 AI 持怀疑态度的两个主要原因：
- “我无法证实”：AI 认为：“这则故事是关于名人的私生活。我无法去查阅他们的日记，所以它一定是假的。”
- “这一体裁较弱”：AI 似乎有一条隐藏规则，即娱乐新闻只是“次等”的新闻类型，因此它们对娱乐新闻的信任度低于政治新闻。
全局视角
这篇论文的主要教训是：平均分数可能具有误导性。
如果你看到一项测试分数显示“这款 AI 的准确率为 95%"，你可能会认为它完美无缺。但这篇论文表明，该 AI 在政治新闻上的准确率可能高达 99%，而在娱乐新闻上的准确率仅为 85%。它通过过度严厉地对待某一特定类型的故事而“作弊”。
简而言之： 这些 AI 系统不仅仅是在核查事实是否真实；它们还在评判哪些类型的新闻被允许是真实的。有时，它们不公平地决定名人新闻不值得像政治新闻那样获得信任，即使两者都在陈述事实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。