Breaking and Defending LLM-Powered Social Media Bot Detection Systems
本文介绍了两种利用基于大语言模型（LLM）的社交媒体机器人检测器语义弱点的创新对抗攻击策略，使检测准确率降低了高达 48%，并提出了一种名为 LSABRE 的鲁棒多 LLM 防御框架，该框架能针对此类自适应威胁保持 86% 的检测准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
社交媒体平台是人们分享思想的广阔公共广场，但同时也充斥着被称为“机器人”（bots）的自动化账号，它们通过模仿人类行为来传播谎言、煽动冲突并操纵公众舆论。多年来，安全团队一直依赖计算机程序来识别这些虚假账号，寻找它们发布内容或关注对象的模式。最近，一种被称为“大语言模型”的新型人工智能被引入了这场战斗。这些模型非常先进；它们能够比旧有的工具更好地理解和领悟人类对话中的细微差别，这使得它们在区分真人与机器方面表现出色。然而，正如新的锁头会引来新的开锁方式一样，这些强大的人工智能工具也创造了一个新的漏洞。因为这些模型依赖于对指令和文本的理解，聪明的攻击者可以诱骗它们忽略安全规则，或者误读它们本应分析的内容。这演变成了一场高风险的游戏：防御者试图构建更智能的检测器，而攻击者则试图设计出能悄然绕过检测的信息。
以色列雷希曼大学的研究人员决定绘制出这一战场地图，专门研究如何破解这些新型人工智能检测器以及如何修复它们。他们不仅研究了一种攻击系统的方法，还测试了两种截然不同的策略。第一种涉及修改机器人发布的实际文本，即重写其信息，使其听起来更像真实的真人对话。第二种策略更为直接：在文本中注入隐藏指令，命令人工智能完全忽略其职责，并宣布该机器人是无害的。为了测试这些想法，该团队使用了三种不同的开源人工智能模型，将它们既作为防御者也作为攻击者。他们发现，尽管这些人工智能检测器通常能胜任工作，但它们却出人意料地脆弱。当攻击者使用一种特定的技术，通过专注于信息的感性基调和主题来重写机器人帖子时，检测器的准确率大幅下降。在某些情况下，捕捉机器人的成功率下降了近一半，这意味着系统未能识别出近一半本应被抓获的恶意账号。
研究人员发现，并非所有的人工智能模型对这些伎俩的反应都相同。其中一个模型虽然在识别机器人方面总体表现最强，却在面对简单的文本重写时显得最为脆弱。另一个模型在忽略旨在迷惑它的隐藏指令方面表现得相当出色，但它在执行识别机器人这一原始任务时的表现却如此糟糕，以至于根本无法用于该任务。研究还表明，最有效的攻击者并不总是那些最复杂的攻击者；有时，仅仅是一个“将其重写得听起来更正当”的简单请求就足以欺骗系统。这一发现至关重要，因为它表明攻击者最容易使用的工具往往是最危险的。团队还测试了各种防御机制，例如要求人工智能复核自己的工作，或是在文本中添加特殊标记以区分指令与内容。虽然其中一些方法有所帮助，但没有一种方法能独立完美地发挥作用。单一的防御策略无法在不损害捕捉真实机器人能力的前提下阻止所有类型的攻击。
为了解决这个问题，研究人员构建了一个名为 LSABRE 的新系统，它扮演的角色更像是专家团队而非单一的守卫。该系统不再依赖单个人工智能模型做出最终决定，而是使用一组不同的模型协同工作。过程始于一个检测层，负责扫描传入的帖子，查看其是否看起来可疑或已被篡改。如果帖子被标记，它将进入一个预防层，在那里由专门处理棘手指令或重写文本的其他模型进行处理。最后，一个分类层会对账号是机器人还是人类做出最终判断。通过结合多个模型的优势和不同的防御技术，这种集成方法即使在遭受严密攻击时也能保持高水平的准确性。该系统成功将检测准确率维持在 86%，相比于容易被欺骗的单一模型有了显著提升。这表明，社交媒体安全的未来可能不在于构建一个单一、完美的 AI，而在于创造多样化的 AI 团队，让它们能够互相守护。
研究还强调，用于构建这些防御的工具现在已向公众开放。研究人员发布了他们的数据和代码，允许其他科学家进一步测试这些想法。他们指出，虽然他们的研究重点是 Twitter，但同样的原则很可能适用于 Facebook 或 Reddit 等其他平台。这项研究并不声称已经永久解决了机器人检测问题，而是提供了一个清晰的现状图景，并展示了一条前进的路径。通过证明基于团队的方法可以抵御击败单个模型的攻击，这项工作提出了一个务实的方案来维护社交媒体的安全。研究结果证实，随着人工智能变得越来越强大，保护它的方法也必须变得更加复杂，从简单的单层防御转向稳健的多层系统，从而能够适应那些试图滥用技术的不断演变的手段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。