The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
本文结合了对 7,369 篇文献的计量分析与批判性综述，揭示了大型语言模型在网络安全领域的研究分散在孤立的攻防角色之中，并据此提出一个耦合的双重用途框架以及八个优先研究方向，以解决缺乏自适应评估和集成安全策略的问题。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，一种新型计算机程序脱颖而出，它们能够阅读、编写和运用人类语言进行推理。这些被称为“大语言模型”的程序不仅仅是聊天机器人；它们是组织开始用于管理数字安全的强大工具。它们可以扫描数以千计的安全警报以发现真实威胁，编写代码以修复软件漏洞，甚至可以帮助安全团队规划防御措施。但这些工具本身也有阴暗面。由于它们非常擅长遵循指令和生成文本，不法分子可能会诱骗它们编写恶意软件、创建极具欺骗性的伪造邮件，或绕过安全规则。这创造了一种独特的情况：单一技术同时扮演着盾牌、武器和目标的角色。当它保护网络时，它是盾牌；当它协助攻击者时，它是武器；而当有人试图欺骗该程序本身时，它又是目标。理解这三种角色如何相互作用至关重要，因为如果我们只将该工具视为防御手段进行研究，我们可能会忽略该工具本身也容易受到它试图阻止的那些攻击的影响。
一支研究团队致力于绘制这一复杂的图景，他们并非通过阅读少量论文，而是通过分析数千篇论文来观察科学界实际上是如何思考这些问题的。他们收集了 2023 年至 2026 年底发表的近 13,000 份记录，并将其精简为 7,369 份直接涉及大语言模型与网络安全交集的核心文献。他们使用一种将研究视为地图的方法，观察不同主题出现的频率以及哪些研究被引用得最为频繁。他们想知道科学家们是在共同研究这三种角色，还是在各自独立的领域中工作。他们还想看看支持这些工具安全性的证据是否如看起来那样可靠。
研究人员发现，该领域正在极其迅速地发展，相关文献数量几乎每年都会翻倍或增加两到三倍。然而，研究呈现出严重的割裂现象。绝大多数研究仅孤立地关注这三种角色中的某一个。在受检的文献中，只有约 8% 的文档同时探讨了超过一种角色。这意味着，研究如何攻击这些模型的人，很少与研究如何将其用于防御的人进行交流。更令人担忧的是，当研究人员使用这些模型构建防御系统时，他们几乎从未测试过该系统是否会被其本应阻止的攻击所误导。在他们审查的防御性研究中，只有约 11% 提到了模型本身被攻破的风险。研究人员得出结论认为，尽管这项技术在本质上是相互关联的——即一个防御工具同时也可能是一个潜在目标——但研究界尚未跟上这一现实。
当研究团队进一步深入观察这些模型作为武器或盾牌的表现时，他们发现不同研究中报告的数据存在巨大的差异。例如，当研究人员测试人工智能在多大程度上能破解计算机系统时，报告的成功率从 0% 到 90% 不等。这种巨大的差距并非因为模型发生了变化，而是因为测试设计的方式不同。一些研究通过告知模型确切的弱点来给予其巨大的优势，而另一些研究则是在一个真实的、模型必须自行发现弱点的环境中进行测试。研究人员指出，许多研究并未针对那些试图破解防御系统的活跃攻击者进行测试，而是针对静态且可预测的攻击进行了测试。这就像是用一把永远不变的钥匙去测试一把锁，而不是用一名试图撬开锁的锁匠去测试。
研究还显示，最危险的威胁正在向更高层级演进。早期的研究侧重于让模型说出不该说的话这类简单的技巧。现在的焦点正转向更复杂的系统，在这些系统中，模型可以记住过去的对话、使用工具并随时间做出决策。这些“智能体”系统更难保护，因为一个失误就可能导致一系列连锁反应，从而扩散到整个网络。研究人员发现，虽然目前有许多新的攻击方式，但防御手段往往是脆弱的。今天的防御措施如果面对稍加改变策略的攻击者，明天就可能失效。此外，用于衡量成功的工具往往已经过时，或者仅提供英文版本，这意味着它们可能无法适用于世界其他地区。
最终，本文认为我们不能将这些模型视为简单的“好”或“坏”的工具。它们是双用途技术，进攻与防御之间的界限是模糊的。研究人员建议，未来的最重要工作不仅是发明新的攻击或新的防御手段，而是建立更好的测试方法。我们需要停止假设一项防御措施仅仅因为通过了一项简单的测试就是有效的。相反，我们需要将每一个防御系统都当作一个目标来进行测试，不断检查它是否会被它所要分析的内容所误导。在研究界开始共同研究这三种角色之前，我们将始终无法洞察这些强大工具如何被使用、被滥用以及如何被保护的全貌。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。