Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

该论文评估了前沿 AI 模型在两个多步网络攻击场景中的自主能力，发现模型性能随推理时计算量呈对数线性增长且无饱和迹象，同时新一代模型在固定计算预算下显著超越前代，其中最新模型在 32 步企业网络攻击中完成了 22 步（约相当于人类专家 6 小时的工作量），但在工业控制系统攻击中表现仍有限。

要点

这篇论文就像是一份**“超级黑客 AI 的成长体检报告”**。

想象一下，你正在观察一群正在接受训练的“数字学徒”（也就是现在的顶级人工智能模型）。研究人员给它们布置了两个极其复杂的“闯关游戏”，看看它们在没有人类手把手教的情况下，能自己走多远。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 两个“闯关游戏”：企业大楼 vs. 发电厂

研究人员设计了两个模拟环境（就像游戏里的副本），用来测试 AI 的“黑客”能力：

• 游戏一：“最后的人”（The Last Ones）—— 32 步的企业网络攻击

  • 比喻：想象 AI 是一个潜入大型跨国公司的间谍。它的目标不是炸毁大楼，而是偷走保险柜里的机密文件。
  • 过程：它需要像真正的黑客一样，先侦察（看谁在上网），再找漏洞（比如偷看别人的密码），然后一步步从普通员工电脑跳到服务器，最后拿到核心数据。这就像走一个有 32 个关卡的迷宫，每一步都依赖上一步的成功。
  • 难度：相当于一个人类专家需要花 14 个小时 才能走完的路线。

• 游戏二：“冷却塔”（Cooling Tower）—— 7 步的工业控制系统攻击

  • 比喻：这次 AI 的目标是潜入一个发电厂的控制室，试图让冷却塔过热甚至爆炸。
  • 过程：这里的机器（工业控制系统）非常古老且封闭，不像普通电脑那样容易“黑”进去。AI 需要理解特殊的工业语言，甚至要像拆弹专家一样逆向破解加密的通信协议。
  • 难度：虽然只有 7 步，但每一步都像是“拆弹”，难度极高。人类专家大概需要 15 个小时。

2. 核心发现：AI 变强了，而且“花钱”就能变强

研究人员测试了从 2024 年 8 月到 2026 年 2 月发布的 7 款不同 AI 模型。他们发现了两个惊人的趋势：

A. “烧钱”就能变强（算力即战力）

• 现象：如果你给 AI 更多的“思考时间”（也就是允许它消耗更多的 Token，你可以理解为更多的计算预算），它就能走得更远。
• 比喻：这就像给一个侦探更多的时间查案。以前 AI 可能查了 10 分钟就放弃了，现在如果你给它 100 分钟，它就能查得更深、更细。
• 数据：当计算预算从 1000 万 Token 增加到 1 亿 Token 时，AI 在“企业大楼”游戏中完成的关卡数增加了 59%。
• 关键点：这不需要黑客技术高超的人来操作，只要愿意花钱买算力，任何普通用户都能让 AI 变得更危险。

B. 新一代模型是“天才儿童”

• 现象：2026 年发布的最新模型（如 Opus 4.6），比 2024 年的老模型（如 GPT-4o）强得多。
• 比喻：2024 年的 AI 像个刚入行的实习生，在迷宫里转了两圈就晕了（平均只走了 1.7 步）；而 2026 年的 AI 像个经验丰富的老手，在同样的预算下，平均能走出 9.8 步。
• 最佳战绩：最强的 AI 在一次尝试中，独自完成了 32 步中的 22 步。这意味着它完成了人类专家 14 小时工作中约 6 个小时 的进度！

3. AI 的“软肋”在哪里？

虽然 AI 进步神速，但它们还不是完美的“超级黑客”：

• 遇到“硬骨头”就卡壳：
  在“企业大楼”游戏中，AI 在前期（侦察、找弱密码）表现很好。但一旦进入后期，需要“逆向工程”（像拆解精密钟表一样分析软件代码）、“密码学破解”或“编写病毒”时，AI 就经常卡住。
  • 比喻：AI 很擅长在图书馆里找书（侦察），但如果需要它自己写一本新书（开发新漏洞），它就有点力不从心了。
• 工业游戏太难了：
  在“冷却塔”游戏中，AI 的表现依然很差，平均只能完成 1-2 步。
  • 原因：工业系统太封闭、太特殊，AI 缺乏相关的“常识”和“直觉”。不过，最新的模型开始能偶尔突破一两步了，甚至发现了一些人类设计者都没想到的“歪门邪道”（比如直接暴力破解协议，而不是按部就班地走设计好的路径）。

4. 这意味着什么？（给普通人的启示）

• 门槛降低了：以前搞网络攻击需要顶尖黑客，现在只要有一个普通的 AI 账号，愿意投入一些计算资源，就能发起复杂的攻击。
• 速度变快了：AI 不需要睡觉，可以 24 小时不间断地尝试攻击。
• 未来的威胁：虽然 AI 还不能完全独立搞定所有攻击（特别是那些需要极高专业知识的步骤），但它们已经能帮人类黑客加速很多工作。未来的威胁可能不是"AI 独自发动战争”，而是“人类黑客 + AI 助手”的组合，效率翻倍。

总结

这篇论文告诉我们：AI 在“网络攻击”这个领域进步得非常快，而且只要给足资源，它们就能学会越来越复杂的技能。

虽然它们现在还不是无所不能的“超级反派”，但在处理复杂的、多步骤的入侵任务上，它们已经从一个“蹒跚学步的婴儿”长成了一个“能跑能跳的少年”。对于网络安全防御者来说，这意味着我们必须加快脚步，因为对手（无论是 AI 还是使用 AI 的人）正在迅速进化。

技术摘要

论文技术总结：衡量 AI 代理在多步网络攻击场景中的进展

1. 研究背景与问题 (Problem)

随着人工智能系统能力的提升，评估其自主执行网络攻击的能力已成为网络安全和 AI 治理的关键议题。如果 AI 代理能够在有限的人类干预下可靠地执行多步攻击链，将显著降低攻击门槛，扩大攻击规模，甚至催生新型进攻行动。

然而，现有的评估方法存在明显局限：

• 现有基准的不足：大多数评估依赖于独立的“夺旗”（CTF）挑战或问答基准。这些方法虽然能衡量特定技能，但无法捕捉在大规模网络环境中所需的自主多步推理、状态跟踪和错误恢复能力。
• 核心问题：当前的前沿模型是否具备在复杂网络环境中执行扩展攻击链的能力？这种能力的发展速度如何？

2. 方法论 (Methodology)

2.1 实验环境：网络靶场 (Cyber Ranges)

研究团队构建了两个专门设计的网络靶场，模拟真实世界的攻击场景（无主动防御机制）：

1. "The Last Ones" (企业网络攻击)：
   • 规模：32 个步骤。
   • 目标：从受保护的内部数据库窃取敏感数据。
   • 复杂度：涉及侦察、横向移动、凭证窃取、逆向工程、特权提升等。
   • 人类基准：估计专家需约 14 小时完成。
2. "Cooling Tower" (工业控制系统攻击)：
   • 规模：7 个步骤。
   • 目标：入侵并破坏模拟发电厂的冷却塔控制系统。
   • 复杂度：涉及 HMI 应用入侵、逆向工程加密库、与 PLC（可编程逻辑控制器）交互。
   • 人类基准：估计专家需约 15 小时完成。

2.2 实验设计

• 模型选择：评估了 2024 年 8 月至 2026 年 2 月间发布的 7 个前沿模型（包括 GPT-4o, Claude Sonnet/Opus 系列, GPT-5 系列等）。
• 推理预算：在不同推理计算预算下进行测试，主要对比 1000 万 (10M) 和 1 亿 (100M) Token 的消耗量。
• 代理架构：
  • 基于 ReAct (Reason + Act) 范式。
  • 运行在 Kali Linux 环境中，配备标准渗透测试工具（如 Mythic C2 框架）。
  • 上下文压缩 (Context Compaction)：为了解决长序列任务超出上下文窗口的问题，当对话历史达到 80% 容量时，调用同一模型对历史进行总结，保留关键信息（凭证、拓扑、进度），从而允许任务继续。
• 评估指标：自主完成的攻击步骤数量（通过检查提交的 Flag 验证）。

3. 关键发现与结果 (Key Results)

研究观察到了两个相互强化的趋势：

3.1 推理计算量的对数线性扩展 (Scaling with Compute)

• 性能随 Token 消耗增长：模型在"The Last Ones"上的表现与推理时消耗的 Token 数量呈对数线性关系，在测试范围内（高达 1 亿 Token）未观察到性能饱和（Plateau）。
• 显著收益：将 Token 预算从 10M 增加到 100M，攻击步骤完成数最多提升了 59%。
• 低门槛：这种性能提升不需要操作员具备特定的技术技巧，只需增加预算即可。
• 成本估算：以 Opus 4.6 为例，1 亿 Token 的尝试成本约为 80 美元。

3.2 模型代际的持续进步 (Model Generation Progress)

在固定 Token 预算下，新一代模型 consistently 优于前代：

• 企业网络攻击 ("The Last Ones")：
  • 在 10M Token 预算下，平均完成步骤从 GPT-4o (2024 年 8 月) 的 1.7 步 提升至 Opus 4.6 (2026 年 2 月) 的 9.8 步。
  • 最佳表现：Opus 4.6 在 100M Token 预算下的最佳单次运行完成了 22/32 步。
  • 时间效率：最佳运行覆盖了人类专家约 14 小时工作量中的 6 小时（实际墙钟时间约 10 小时）。
  • 瓶颈突破：Opus 4.6 是首个能可靠克服第 4 个里程碑（涉及 NTLM 中继攻击和实时进程协调）的模型，从而解锁了后续步骤。
  • 能力瓶颈：性能在涉及逆向工程、密码学和恶意软件开发的阶段（里程碑 4 之后）急剧下降，表明模型仍缺乏深度的专家级知识。
• 工业控制系统攻击 ("Cooling Tower")：
  • 表现依然有限。在 100M Token 下，最佳模型（Opus 4.6）平均仅完成 1.4 步（最大 2 步），GPT 5.3 Codex 单次最高完成 3 步。
  • 非预期行为：模型倾向于绕过设计好的攻击路径（如 Web 入侵 -> 逆向工程），直接通过协议探测和流量分析来推断 PLC 结构，甚至利用未预期的软件漏洞（Fuzzing 会话 ID）绕过认证。

3.3 其他实验发现

• 提示工程影响：增加高层指导或预填充示例并未显著提升性能。
• 工具调用失败：模型在使用自定义工具（如 Mythic）时经常失败，消耗大量 Token。
• 操作安全 (OpSec)：虽然模型能推进攻击，但触发警报的数量随进度增加，且不同模型在隐蔽性上存在差异，但目前缺乏成熟的评估基线。

4. 主要贡献 (Key Contributions)

1. 新的评估基准：提出了两个复杂的多步网络攻击靶场，填补了从孤立 CTF 挑战到真实世界多阶段攻击链之间的评估空白。
2. 纵向能力追踪：通过对比 18 个月内发布的 7 个模型，提供了 AI 自主网络攻击能力演变的纵向数据。
3. 计算扩展性验证：证明了在缺乏特定技术优化的情况下，单纯增加推理计算量（Token 预算）即可显著提升 AI 在复杂网络任务中的表现。
4. 揭示能力边界：明确了当前模型在需要深度专家知识（如逆向工程、密码学）的任务上仍存在显著短板，但在侦察和自动化执行方面进步迅速。

5. 局限性与未来工作 (Limitations & Future Work)

• 缺乏主动防御：靶场未包含实时响应和动态防御，这高估了模型的实战能力。
• 环境简化：相比真实企业网络，靶场的节点、服务和文件密度较低，噪声较少。
• 最小化脚手架：实验使用了标准 ReAct 代理，未针对特定模型优化工具链，这可能低估了模型潜力。
• 未来方向：需要引入更复杂的防御机制、更多样化的靶场（涵盖不同领域）、以及在真实渗透测试中的验证。

6. 意义与启示 (Significance)

• 威胁态势改变：AI 代理在自主执行多步攻击链方面的能力正在快速提升，且这种提升具有可预测的扩展性（随计算预算增加而提升）。这意味着非专家攻击者可能利用 AI 降低攻击门槛。
• 治理紧迫性：模型代际进步迅速（如 Opus 4.5 到 4.6 仅隔两个月，性能提升显著），表明现有的安全护栏和评估标准可能迅速过时。
• 人机协作风险：即使完全自主的攻击尚未实现，AI 作为“副驾驶”加速人类攻击者操作（特别是在侦察和初步利用阶段）的风险已迫在眉睫。
• 工业控制安全：尽管在 ICS 场景表现有限，但模型展现出的“非预期”攻击路径（如直接协议探测）提示了传统防御思路可能存在的盲区。

总结：该论文通过严谨的实验表明，前沿 AI 模型在自主网络攻击领域的能力正在经历快速且可扩展的增长。虽然尚未达到完全自主完成复杂攻击链的水平，但其进步速度和对计算资源的敏感性构成了严峻的安全挑战，亟需建立更动态、更贴近实战的评估与防御体系。