Images Amplify Misinformation Sharing in Vision-Language Models
本研究揭示，视觉 - 语言模型在图像存在时会显著增加其重传虚假新闻的倾向，从而表现出类人的偏见，且这一脆弱性会因特定人格特质而进一步加剧，并在不同模型架构间存在差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一群非常聪明、速度极快的机器人（称为视觉 - 语言模型，或 VLM），它们阅读新闻并决定与朋友分享什么。这些机器人既能阅读文字，也能查看图片。
这篇论文的研究人员希望回答一个简单的问题：给新闻故事添加图片，是否会让这些机器人更倾向于分享它，即使故事是假的？
可以这样理解：如果你告诉朋友一个无聊的谣言，他们可能会忽略它。但如果你给他们看一张关于该谣言发生的戏剧性照片，他们就极有可能相信它，并告诉其他人。这篇论文要问的是：机器人是否也会完全一样地行事？
以下是他们发现的简要分解：
1. “神奇图片”效应
研究人员测试了四种不同类型的机器人。他们向机器人提供新闻故事，这些故事要么是真实的，要么是虚假的。
- 实验：他们以两种方式向机器人展示这些故事：仅文字，以及文字加图片。
- 结果：当添加图片时，机器人分享故事的频率更高。
- 问题所在：当附加图片时，机器人分享假新闻的可能性要大得多。这就像图片充当了“信任助推器”，诱骗机器人认为谎言是真实的。
- 对于假新闻，分享率提高了约14.5%。
- 对于真实新闻，分享率仅提高了5.3%。
类比：想象一位魔术师。如果他们告诉你一个戏法是真的，你可能会怀疑他们。但如果他们向你展示一张该戏法的炫目照片，你就更有可能相信它，并告诉你的朋友。机器人被这张炫目的照片骗了，尤其是当戏法是个谎言时。
2. 并非所有机器人都一样
研究人员测试了四种不同的机器人模型（就像不同品牌的智能手机）。
- 有些机器人（如 GPT-4o-mini 和 Qwen2-VL）非常容易被图片愚弄。它们分享带图片的假新闻的频率比不带图片时高出近 20%。
- 有一种机器人（Claude-3-Haiku）则顽强得多。它不太容易被图片愚弄。它是这群机器人中最“多疑”的。
3. “性格”测试
研究人员还赋予机器人不同的“性格”，以观察这是否改变了它们的行为。他们假装这些机器人是不同类型的的人：
- “黑暗”性格：他们给一些机器人赋予了操纵性、自私或鲁莽等特质（称为“黑暗三角”）。
- 结果：这些“黑暗”性格的机器人分享假新闻的频率要高得多。它们不在乎真假；它们只想分享。
- “政治”性格：他们给一些机器人赋予了特定的政治身份（例如共和党人或民主党人）。
- 结果：具有共和党身份的机器人在核实新闻真假方面变得不那么谨慎。它们分享真实新闻和假新闻的比率大致相同，而其他机器人则更能分辨差异。
类比：想象一个派对。如果你让一个害羞、谨慎的人分享一个谣言，他们可能会先核实它是否属实。但如果你让一个大胆、鲁莽的人去做，他们可能会立即大声喊出这个谣言，即使它是编造的。机器人的行为与这些不同类型的人完全一致。
4. 什么因素无关紧要
- 主题：新闻是关于政治、健康还是技术，对机器人的行为影响不大。
- 照片中的人：图片是显示人脸还是仅仅显示一个物体并不重要；机器人的反应是一样的。
主要结论
主要结论是，这些 AI 机器人不仅仅是冷冰冰的计算器。它们拥有人类般的缺陷：它们过于信任图片。
就像人类一样，如果故事附有图片，这些机器人就更有可能相信并分享它，即使故事是谎言。当机器人被赋予“鲁莽”的性格，或者新闻是假的时候，这种情况尤其危险。
研究人员警告说，随着这些机器人开始帮助我们策划新闻（决定我们在屏幕上看到什么），我们需要小心。如果它们被编程为分享那些看起来不错（因为图片）而不是实际上真实的东西，它们可能会无意中传播大量假新闻。
简而言之：图片使机器人更有可能分享新闻，但它们使机器人分享假新闻的频率甚至比真实新闻更高。而且，如果你给机器人一个“坏态度”，它分享假内容的速度会更快。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。