Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
本文表明，机器学习安全检测器在标准随机划分下通常表现出近乎完美的性能，但在针对 AI 提示词注入、恶意软件包和网络入侵检测场景，使用严格且无泄漏的协议进行针对未见攻击技术和时间偏移的评估时，会遭遇灾难性的失败率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，安全系统通常依赖于机器学习，这是一种通过研究成千上万个过往攻击案例来学习识别麻烦的计算机程序。这些程序充当数字卫士，扫描网络流量、在安装软件文件前进行检查，甚至阅读人工智能编程助手所使用的指令。多年来，测试这些卫士的标准方法是将一堆已知的攻击进行洗牌，并将其分为两组：一组用于训练，另一组用于测试。这种方法假设卫士未来将面临的攻击与其已经学习过的攻击非常相似。然而，现实世界的攻击者并不会停滞不前；他们不断发明新的花招，以不同的方式隐藏工具，并在防御者从未见过的时空发起袭击。一个关键的问题是，这些数字卫士是否真的能够识别一种新型威胁，还是仅仅在死记硬背旧的威胁，并在游戏规则改变时失效。
来自尼日利亚港务大学（University of Port Harcourt）的一个研究小组致力于通过一种旨在防止数据泄露的严谨方法，测试安全检测器针对三种截然不同的数字威胁的表现。他们研究了检测器识别植入 AI 编程代理文件中的隐藏指令的能力如何，研究了它们在应对在线库中的恶意软件包时的表现如何，以及它们在识别网络入侵时的表现如何。研究人员并没有随机洗牌数据，而是迫使检测器面对它们从未遇到过的情况：使用新隐藏技术的攻击、出现在较晚年份的攻击，或来自完全不同数据集的攻击。他们还检查了是否存在“捷径”现象，即检测器是否依赖于一个简单的、明显的线索——例如文件的大小——而不是真正理解危险本身。
研究的第一部分聚焦于 AI 编程代理，这类工具通过读取配置文件（如配置指南）来帮助程序员编写代码。攻击者开始在这些文件中利用肉眼难以察觉但计算机读作命令的不可见字符或奇怪符号，来隐藏秘密指令。研究人员从公共仓库中创建了一个包含近五千个真实文件的集合，并使用九种不同的隐藏技术在其中植入了无害的隐藏指令。他们测试了五种不同的检测器，以观察它们能否发现这些陷阱。当检测器在训练期间学到的相同隐藏技术上接受测试时，它们的表现近乎完美，抓住了几乎所有的隐藏指令。然而，当研究人员在检测器从未见过的隐藏技术上对其进行测试时，一些模型的性能出现了崩溃。一个依赖于统计特定特征（如不可见字符数量）的检测器漏掉了百分之九十六的新型攻击。相比之下，一个在将隐藏字符转换为普通、可读文本后阅读文件实际内容的检测器，则保持了其高性能。研究还发现，小型开源 AI 模型经常遵循这些隐藏指令，在高达三分之二的情况下服从这些秘密命令，而仅仅删除这些不可见字符有时反而会让 AI 更容易理解该攻击。
第二项研究调查了 npm 和 PyPI 库中的恶意软件包，这些是开发者下载代码的庞大在线商店。研究人员收集了超过一万三千个软件包，包括来自 2024 年、2025 年和 2026 年的数千个已知恶意包。他们在较旧的软件包上训练检测器，然后在 2026 年的新一波攻击上进行测试。一个观察代码本身的检测器表现依然强劲，抓住了超过百分之九十的新型恶意软件包。而另一个依赖于静态特征（如软件包的总大小和内部文件数量）的检测器，在初始阶段表现良好，但在研究人员移除基于大小的线索后，其表现急剧下降。在不再依赖“恶意软件包通常较小”这一事实的情况下，该检测器的识别新型攻击的能力显著下降，这表明它之前一直在利用捷径，而非真正识别恶意软件。研究还显示，检测器很难发现那些被混入合法热门库中的恶意代码，而这种技术在 2026 年变得越来越普遍。
第三项研究重新审视了网络入侵检测，这涉及扫描流经计算机网络的数据以发现黑客。研究人员使用了三套广泛使用的、且多年来一直作为此类系统测试标准的数据库。他们发现，这些数据集包含大量的重复条目和错误，这可能夸大了以往的成功率。当研究人员通过在早期数据上进行训练并在后期数据上进行测试来测试检测器时，系统的性能大幅下降。一个在随机洗牌数据上表现完美的检测器，在面对随后一周的流量时，表现得并不比抛硬币好多少。它无法识别整个未曾见过的攻击家族，例如特定类型的僵尸网络流量或渗透尝试，这证明该系统学习的是过去特定模式的识别，而非攻击本身的本质。
在所有三个领域中，都出现了一个清晰的模式。依赖于摘要特征或简单计数的检测器在攻击者改变方法时往往会失败，而阅读威胁实际内容的检测器表现则要好得多。研究人员发现，在扫描之前，先将隐藏或令人困惑的文本转换为标准、可读的格式，可以使检测器无论威胁如何伪装都能识别其底层信息。他们还证明了，虽然删除重复数据是必要的，但不足以解决问题；核心问题在于假设未来的攻击会与过去相似。研究结论指出，在信任安全系统之前，必须针对其未见过的技术对其进行测试，而仅仅依赖标准的随机测试方法会给人一种虚假的安全感。这项工作表明，为了保持安全，我们必须设计出能够理解攻击内容，而非仅仅记忆其外观的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。