技术摘要：为了抵御网络攻击，我们必须教会 AI Agent 进行黑客攻击

1. 问题陈述

本文指出，随着 AI Agent（人工智能智能体）的出现，网络安全领域的经济与技术平衡发生了根本性的转变。十多年来，防御行业一直依赖于人类劳动力稀缺性来限制攻击者；复杂的漏洞利用需要深厚的专业知识和大量的人力投入，这迫使对手要么针对高价值资产，要么针对成千上万的目标使用通用的自动化工具。

然而，AI Agent 通过在极少人类指导下实现漏洞发现与利用的自动化，打破了这种平衡。与依赖预设规则处理已知漏洞的传统自动化工具不同，AI Agent 可以模拟人类的战略决策能力，适应新系统，并发现新的攻击路径。这种自动化降低了攻击的边际成本，使得那些由于人力成本过高而此前被忽视的“长尾”系统，在经济上成为了可行的攻击目标。

核心问题在于，目前的防御策略是反应式且以模型为中心的，侧重于通过数据过滤、安全对齐和输出护栏来防止滥用。作者认为这些措施是不够的，因为：

1. 对抗性适应： 攻击者可以通过控制开源权重模型、自托管或通过微调移除对齐机制来绕过安全机制。
2. 经济可行性： AI Agent 不需要具备完美的成功率；由于能够以近乎零的边际成本并行化攻击，它们只需要极小的成功率即可实现盈利。
3. 防御差距： 防御者缺乏“进攻性安全情报”，无法预测攻击将如何大规模发生，从而无法预判 AI Agent 将利用的具体漏洞。

2. 方法论与提出的框架

本文并未呈现单一的实验结果，而是提出了一个转变防御态势的战略框架。该方法论包含三个主要支柱：

A. 威胁建模

作者构建了一个拥有最先进（SOTA）AI Agent 的经济驱动型对手的威胁模型。对手的目标不一定是最大化对单个目标的破坏，而是在异构受害者群体中实现总利润最大化。在这种模型中，失败和幻觉不会限制有效性，因为攻击可以进行大规模并行尝试。

B. 对当前防御手段的批判

本文系统地评估并否定了当前针对适应性 AI Agent 的安全防护措施的有效性：

• 数据治理： 过滤训练数据是无效的，因为 AI Agent 可以基于第一原理进行推理，并在推理时获取新信息，而非仅仅依赖于记忆中的漏洞文本。
• 安全对齐： 对齐技术（如 RLHF、微调）是脆弱的，可以通过越狱、目标扭曲或将看似无害的步骤组合成有害的长程轨迹来绕过。
• 表示工程： 内部模型的编辑难以验证，且当上下文发生变化或行为源于长期的智能体交互时，往往会失效。
• 输出护栏： 在智能体工作流中，这些措施会失效，因为有害结果往往源于一系列看似无害的行为序列，特别是在缺乏监控的自托管或开源权重环境中。
• 访问控制： 一旦模型作为开源权重广泛传播，这些控制措施就会失效，因为模型可以被泄露、复制或通过微调移除限制。

C. 提议的进攻性安全策略

作者提出，防御者必须开发进攻性安全情报，以便在对手之前掌握攻击者的能力。这涉及三个具体行动：

1. 构建全面的基准测试（Benchmarks）：

   • 超越静态数据集，构建涵盖完整攻击生命周期（侦察、利用、后渗透）的动态评估环境。
   • 包含大规模、真实的开源项目，并模拟“实战”环境（例如 Docker 环境、Kali/CodeQL 等工具集）。
   • 确保基准测试覆盖细粒度的类别（如漏洞链、命令与控制），并提供可靠的地面真值标签。

2. 从基于工作流向训练型智能体演进：

   • 当前的进攻性智能体依赖于外部工作流（提示词 + 工具调用），这种方式非常脆弱。
   • 本文主张直接在网络靶场（受控环境）中使用强化学习来训练智能体。这使得智能体能够学习适应性策略、积累经验并自主发现零日漏洞，而不是遵循固定的流水线。

3. 实施治理与蒸馏：

   • 遏制： 进攻性智能体必须被限制在经过审计、隔离的网络靶场中，并实施严格的网络隔离。
   • 蒸馏： 进攻性智能体的发现结果和攻击轨迹应被蒸馏到仅限防御的智能体中。这些防御性智能体专注于检测、根因分析和修复，而不继承攻击者的危险动作空间。
   • 分阶段发布： 进攻性能力应被视为高风险人工制品，根据测得的能力水平和版本控制进行分阶段发布。

3. 核心贡献

• 范式转移： 本文认为，进攻性 AI 能力必须被视为必要的防御基础设施。选择不是“是否”会出现进攻性 AI，而是防御者能否在负责任的治理下掌握它，还是被迫在成功攻击发生后对其进行逆向工程。
• 安全对齐的局限性： 本文提供了技术论据，证明面对拥有开源权重模型的坚定对手，安全对齐和数据过滤是不够的，必须转向主动的、基于能力的防御。
• 进攻性 AI 路线图： 它概述了进攻性安全智能体的具体演进路径（表 2），即从知识模型（成熟期）$\to$ 工作流智能体（现状）$\to$ 训练型智能体（实现零日发现的未来目标）。
• 基准测试标准： 它强调了当前网络安全基准测试的缺陷（如缺乏动态环境、生命周期覆盖有限），并提出了一种构建面向智能体、动态且全面的评估套件的方法论。

4. 结果与证据

本文依赖于对现有文献的综合以及初步观察，而非作者自行产生的实验数据。

• 基准测试表现： 表 1 总结了现有智能体在现有基准测试（如 CyberSecEval-3、CTF、漏洞检测）上的表现。文中指出，虽然智能体在小型生成任务（如修复短函数）上表现良好，但在大规模分析任务（如针对整个项目的 PoC 生成）和漏洞链方面表现乏力。
• 系统性风险分析： 作者认为，AI Agent 通过结合广度（扫描数千个目标）和深度（自适应后渗透），实现了“超人类”级别的网络攻击。他们指出，智能体可以比人类运行得更快，并能实时适应安全措施，从而创造大规模入侵的条件。
• 经济逻辑： 本文认为攻击的成本结构已发生根本变化；由于能够实现攻击并行化，低单次尝试成功率现在也是有利可图的，这使得传统的“高价值目标”防御假设失效。

5. 重要性与主张

本文声称，当前的防御性 AI 安全范式是具有局限性且脱离经济现实的。如果仅仅关注防止滥用（安全对齐），社区就会忽略理解并掌握进攻性能力对于构建韧性系统的必要性。

作者断言：

1. AI 驱动的攻击是不可避免的。 网络攻击自动化的经济激励过于强大，无法忽视。
2. 防御智能需要进攻能力。 为了预测攻击将如何大规模发生，防御者必须拥有与攻击者相同的能力，但需部署在受控、经过审计的环境中。
3. 负责任的发展是可能的。 通过严格的治理（网络靶场、蒸馏为防御智能体以及分阶段发布），可以在遏制进攻性 AI 风险的同时，获得加速漏洞发现与修复的收益。

文章总结道，如果不投资于进攻性安全情报，防御者将无法应对那些必然会独立探索这些能力的对手。目标是在对手利用软件生态系统的“长尾”之前，利用机器规模的智能，完成从发现到修复的闭环。