Interrupting the Chain: Human Perception of AI-Generated Disinformation Through a Kill Chain Lens
本文通过一项人类受试者研究提出了实证结果，证明虽然现代大语言模型生成的虚假信息与人类生成的难以区分，且提高警惕性并不能提高检测准确率，但持续的暴露会导致虚假新闻检测能力的显著不对称下降，从而在网络安全杀伤链框架内识别出用于主动防御的具体认知干预点。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字时代，虚假信息的传播已从混乱的谣言洪流演变为一场对人类信任的有系统的攻击。几十年来，研究人员一直在研究人们如何判断真伪，通常假设如果我们仅仅教导人们要更加怀疑，他们就会变得更擅长识破谎言。这种方法依赖于“意识即盾牌”的概念。然而，一种新的研究方向表明，威胁的形式已经发生了变化。生成式人工智能的兴起使得不法分子能够以人类无法企及的速度和规模，创造出极具说服力且定制化的虚假故事。这些并非拙劣的伪造品，而是旨在听起来与真实内容完全一致的叙事，其产出速度甚至超过了专家辟谣的速度。核心问题已从“我们能否抓住谎言？”转向了“我们的头脑甚至能否分辨出人类的思想与机器生成的思想之间的区别？”为了回答这个问题，研究人员不再将欺骗视为单一事件，而是将其视为一个序列过程，就像网络安全专家追踪从初步探测到最终入侵的攻击路径一样。
一组研究人员致力于测试人类如何应对这一新现实。他们招募了五百多名志愿者参加一项大规模实验，让他们阅读数百条简短的新闻片段。其中一些文本由人类撰写，而另一些则由先进的人工智能生成。参与者有两个任务：首先，判断一段文本是由人还是机器编写的；其次，判断其内容是真实的还是虚假的。研究人员借鉴了网络安全领域的框架来组织他们的分析，将虚假信息的传播视为一个事件链。这条链条始于收集目标信息，接着是创建欺骗性内容，随后将其传递给受众，利用受众的心理进行攻击，最后是试图掩盖踪迹的后续阶段。通过将参与者的表现映射到这些阶段，这项研究揭示了人类思维最脆弱之处以及防御可能发挥作用的地方。
第一个重大发现挑战了一个关于我们如何学习识别谎言的普遍假设。研究人员发现，那些声称非常熟悉假新闻并对自己的识别能力充满信心的人，实际上并没有因此变得更擅长识别。事实上，他们的怀疑态度并未转化为准确性。虽然这些参与者更有可能说“我觉得这是假的”，但他们的正确率并不比那些缺乏信心的参与者高。这造成了一个危险的差距：一个人可以感到高度警觉和怀疑，却仍然被愚弄。研究表明，仅仅了解虚假信息是不够的；仅仅拥有警惕感并不能自动提升辨别真相的能力。
第二个发现涉及人工智能文本本身的质量。该研究测试了包括最先进的商业系统在内的几种不同 AI 模型。结果非常显著：顶级模型生成的文本质量极高，以至于人类评判者无法可靠地将其与人类写作区分开来。当参与者试图识别这些高质量文本的来源时，其正确率不足一半。这意味着对于最复杂的 AI 而言，曾经暴露其身份的“破绽”已经消失了。这些文本与真实内容无异。研究人员注意到一个特别令人不安的细微差别：当 AI 生成真实新闻时，人们甚至更难将其识别为机器创作，常将其误认为人类写作。这表明，AI 可以通过发布真实的故事来建立信任，然后再混入虚假信息，从而使欺骗更难被察觉。
人们阅读和判断文本的速度也起到了关键作用。绝大多数参与者在不到一分钟的时间内就做出了决定，依靠的是快速、直觉式的思考而非缓慢、仔细的分析。当人们匆忙完成任务时，他们识别文本来源的能力显著下降，甚至低于随机猜测的水平。然而，当参与者花更多时间进行深思熟虑时，其准确性有所提高。这表明，鼓励快速滚动和即时反应的现代社交媒体的快节奏特性，实际上削弱了我们检测 AI 生成内容的能力。研究建议，通过在人们分享故事前增加一个小小的停顿或提示，让人们放慢速度，或许能帮助他们的思维从快速猜测转向仔细评估。
或许最令人惊讶的发现出现在实验进行的过程中。研究人员追踪了参与者在评估越来越多的新闻片段时的表现。他们发现，识别假新闻的能力随着时间的推移在稳步下降。在评估了大约三十项内容后，检测虚假故事的准确率下降了超过十个百分点。这是一个明显的认知疲劳信号：人类的大脑会对判断真伪感到疲劳，其表现也会随之下降。然而，辨别文本是由机器还是人类编写的能力却没有下降，在整个过程中保持稳定。这产生了一种不对称的弱点：虽然我们的头脑在识别机器方面依然保持着同样的能力，但在识别谎言方面却变得越来越差。这表明，信息的洪流可以作为一种战略武器，不仅是为了用数量压倒我们，更是为了耗尽我们判断所见内容质量的能力。
研究结论指出，依赖于在谎言传播后进行反应的传统防御方法已不再足够。数据表明，我们需要采取主动策略，在欺骗链条的特定环节进行拦截。与其仅仅希望人们变得更加怀疑，研究人员建议我们需要在流程中引入“摩擦”。这可能意味着平台在用户发布内容前引入微小的延迟，以鼓励仔细思考，或者使用技术工具在人类看到内容之前验证其来源。最终目标是在攻击到达大脑之前将其拦截。随着人工智能不断抹除曾经揭示其存在的线索，最有效的防御手段可能不再是教人们如何识别机器，而是如何强化人类的心智，使其免受机器所利用的疲劳感和速度感的攻击。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。