🤖 AI

Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

本文提出了名为 DeepRed 的开源基准测试，通过在隔离虚拟化环境中评估大型语言模型代理在真实 CTF 挑战中的表现，并引入基于检查点的部分评分机制，揭示了当前最先进的模型在平均检查点完成率上仅达 35%，且在需要非标准探索和长周期适应的任务中表现最为薄弱。

原作者： Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给一群**“拥有超级大脑但缺乏实战经验的 AI 黑客”进行一场“模拟黑客马拉松”**。

想象一下，你有一群非常聪明的AI 实习生（大语言模型 Agent），它们读过互联网上所有的黑客教程，知道各种攻击理论。但是，把它们扔进一个真实的、复杂的黑客战场（CTF 夺旗赛），它们能真正干成事吗？

这篇论文的作者们（来自代尔夫特理工大学的团队）为了回答这个问题，设计了一个名为 DeepRed 的“模拟考场”，并发明了一套新的“评分规则”。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 为什么要搞这个测试？（背景）

现在的 AI 很厉害，能写代码、能聊天。但在网络安全领域，大家很担心：如果 AI 真的能独立当黑客，那既可能是好事（帮我们要找漏洞），也可能是坏事（被坏人利用）。

以前的测试太简单了，要么“做对了”，要么“做错了”（就像考试只有及格和不及格）。但现实很残酷，AI 往往**“做了一半就卡住了”**。如果只算“不及格”，我们就不知道它到底卡在哪一步，也不知道它离成功还有多远。

2. DeepRed 是什么？（考场设计）

作者们搭建了一个**“隔离的虚拟黑客实验室”**：

攻击者（AI）：坐在一个装有 Kali Linux（黑客专用系统）的虚拟机里，手里有终端工具，还能上网查资料（但被过滤掉了直接的答案）。
目标（靶机）：另一台虚拟机，里面藏着“旗帜”（Flag，即任务成功的标志）。
规则：AI 必须像真人黑客一样，通过敲命令、查漏洞、提权限，一步步攻破靶机。
安全：就像把 AI 关在一个完全封闭的玻璃房里，它无法越狱去攻击外面的真实网络。

3. 最聪明的创新：不再只算“及格/不及格”（部分积分法）

这是论文最精彩的部分。

以前的做法：
就像考试，只有“满分”和“零分”。如果 AI 破解了密码但没拿到最终文件，它就是 0 分。这太浪费了，因为 AI 其实已经做对了很多步。

DeepRed 的做法（部分积分）：
作者们把每个黑客任务拆解成了**“里程碑”**（就像登山途中的营地）：

发现目标服务器。
找到漏洞。
获取普通用户权限。
提权到管理员（Root）。
拿到旗帜。

评分逻辑：
AI 每到达一个“营地”，就得一分。

如果它只到了第一个营地，得 20% 分。
如果到了第三个营地，得 60% 分。
只有拿到旗帜才算 100%。

怎么打分？
作者们训练了一个**"AI 裁判”**。它先阅读 AI 的操作日志（就像看黑客的日记），然后总结它做了什么，最后对照“里程碑”打分。这比让人类专家一个个去翻日志要快得多，而且很准。

4. 测试结果：AI 们表现如何？

作者们找了10 个最流行的商业 AI 模型（比如 GPT-5.1, Gemini, Claude 等）来挑战10 个不同难度的黑客题目。

结果很扎心：

最好的 AI：平均只完成了 35% 的任务进度。也就是说，它连三分之一的路都没走完。
表现差异：有些 AI 擅长常见的套路（比如网页漏洞），但一旦遇到需要“灵光一闪”或者“长期规划”的奇怪题目（比如需要破解加密文件、处理特殊的 SSH 密钥），它们就彻底懵圈了。
常见问题：
- 缺乏耐心：试了几次不行就放弃了。
- 记性不好：忘了刚才试过的路，反复做无用功。
- 不会变通：死盯着一个方法，不知道换个思路。

5. 核心结论与启示

现状：目前的 AI 黑客更像是一个**“懂理论的初学者”，而不是“老练的专家”**。它们能做一些基础工作，但离完全独立搞定复杂的黑客任务还有很长的路要走。
价值：这套“部分积分”的评分系统非常有价值。它让我们能看清 AI 到底进步了多少，而不是只看它是否“通关”。
未来：要训练出真正的 AI 黑客，不能只靠让它背更多的书（训练数据），还得教它**“如何规划长远的步骤”、“如何记住之前的尝试”以及“如何在失败后调整策略”**。

一句话总结

这篇论文就像给 AI 黑客们发了一张**“登山成绩单”**，不再只问“登顶了吗？”，而是详细记录“你爬到了哪个海拔？”。结果显示，虽然它们爬得比想象中快一点，但离真正的“登顶”（完全自主黑客）还有很远的距离，而且特别容易在半山腰迷路或放弃。

这是一份关于论文《Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges》（代理会梦见 Root Shell 吗？CTF 挑战中 LLM 代理的部分信用评估）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：大型语言模型（LLM）及其代理（Agents）在网络安全领域的应用日益增多，能够生成代码、解释漏洞甚至构建恶意工件。然而，它们在真实、复杂的进攻性网络安全场景（如 CTF 夺旗赛）中的自主能力尚不明确。
现有局限：
- 评估粒度粗糙：现有的评估通常采用“二元”指标（即是否最终获取了 Flag），这无法反映代理在解决复杂多步任务过程中的中间进展。对于当前尚无法端到端解决所有挑战的代理，这种指标过于粗糙。
- 环境隔离不足：许多现有基准测试缺乏真实的隔离环境（如独立的攻击机和目标机），难以模拟真实的渗透测试流程。
- 缺乏系统性评估：目前缺乏在隔离的虚拟化环境中，针对多样化 CTF 挑战类别的 LLM 代理系统性基准测试。
核心研究问题：LLM 代理在多大程度上能够自主解决不同类别的 CTF 挑战？

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 DeepRed，一个开源的基准测试框架和评估管道。

2.1 DeepRed 框架设计

环境架构：
- 采用 虚拟机 (VM) 而非容器（Docker）来运行挑战，以确保更强的隔离性（防止内核共享带来的风险）并兼容低层系统行为。
- 设置两个独立的 VM：一个 Kali 攻击机（运行代理）和一个 CTF 目标机。两者通过私有内部网络连接。
- 代理通过终端工具（Terminal tools）和可选的 Web 搜索（DuckDuckGo，经过过滤以防泄露 Flag）与目标交互。
执行流程：
- 每个实验开始前，Kali VM 和目标 VM 均从干净快照启动，确保实验的可复现性和独立性。
- 代理被赋予“授权渗透测试专家”的系统提示，任务是通过终端命令获取目标机的 Root Shell 和 Flag。
- 记录完整的执行轨迹（命令、输出、工具交互、元数据）。

2.2 数据集构建 (Dataset Curation)

来源：从 HackMyVM 平台精选了 10 个 难度适中、可复现的 CTF 挑战。
类别覆盖：涵盖 Web 利用（文件包含、SQL 注入等）、权限提升、模糊测试/目录发现、SSH 密钥操作、隐写术和服务利用等 6 大类。
筛选标准：挑战必须完全可通过 Kali 命令行解决，有公开的 Writeup（解题报告）用于制定评分标准，且难度适合当前代理进行部分进展评估。

2.3 评估指标：部分信用评分 (Partial-Credit Scoring)

核心创新：摒弃二元（成功/失败）指标，引入基于 检查点 (Checkpoints) 的部分信用评分。
检查点定义：根据公开 Writeup 将每个挑战分解为一系列二进制里程碑（如：识别服务、获取凭证、上传 Payload、获取初始 Shell、权限提升等）。
评分逻辑：代理每完成一个里程碑即获得相应分数，最终得分为完成检查点的总和。

2.4 自动化标注管道 (Automated Labelling Pipeline)

为了在大规模实验中替代昂贵的人工标注，作者设计了一个两阶段的 LLM 评估流程：

总结 (Summarisation)：使用一个 LLM（Summary LM）将冗长的执行日志压缩为结构化的步骤摘要，保留代理的意图和反思。
判断 (Judging)：使用另一个 LLM（Judge LM）结合挑战特定的评分标准（Rubric），根据摘要判断每个检查点是否完成。

验证：通过人类标注者（Human Raters）与自动化流程的对比，计算 Cohen's kappa 和 Krippendorff's alpha。结果显示，特定的模型组合（如 Gemini 3 Flash 总结 + Claude Sonnet 4.6 判断）能达到较高的一致性（ $\kappa \approx 0.72$ ），证明了自动化评估的可行性。

3. 关键贡献 (Key Contributions)

DeepRed 框架：设计并实现了一个开源的、隔离的、可复现的 LLM 代理 CTF 基准测试架构，支持在真实虚拟机环境中进行终端交互。
部分信用评估管道：提出了一种基于执行日志的结构化分析方法，将挑战分解为中间检查点，并验证了自动化“总结 - 判断”管道在大规模评估中的可靠性。
大规模基准测试：在 10 个不同类别的 CTF 挑战上，对 10 种商业可访问的 LLM（包括 GPT-5.1, Gemini, Claude, Qwen 等）进行了基准测试。
开源资源：发布了所有框架组件、挑战配置、评估脚本和评分标准，支持未来的研究复现。

4. 实验结果 (Results)

研究对 10 个模型在 10 个挑战上进行了测试（每个配置运行 3 次），主要发现如下：

整体表现有限：
- 表现最好的模型是 GPT-5.1 Codex Max，平均检查点完成率为 35%。
- 第二梯队模型（MiniMax-M1, Devstral 2512 等）完成率在 20%-22% 之间。
- 最弱的模型（Nemotron-3 Nano）仅为 5%。
- 即使是最好的模型，也仅完成了约三分之一的基准任务，表明当前代理距离真正的端到端自主渗透仍有很大差距。
Token 消耗与性能的关系：
- Token 消耗量（8.8M - 58.1M）与任务成功率没有强正相关。
- GPT-5.1 在消耗较少 Token 的情况下取得了最佳成绩，而某些高消耗模型表现平平。这表明推理质量和行动选择比单纯的交互量更重要。
挑战难度差异：
- 较易：Whitedoor, Quick, SysAdmin（遵循标准的 Web 利用到权限提升路径）。
- 较难：Fuzzz, Thirteen, Todd（涉及非标准发现、SSH 密钥处理、混淆披露或特定服务利用，需要长程规划和适应性）。
失败模式分析：
- 代理缺乏毅力，通常在初始 20 步后迷失方向。
- 长程规划能力弱：难以在失败后调整策略，或无法将多个步骤的观察结果综合起来。
- 状态管理差：难以记住中间结果，导致重复执行无效步骤。
- 在需要非标准发现（如目录爆破、SSH 密钥操作）的任务中表现最差。

5. 意义与影响 (Significance)

评估范式的转变：证明了在复杂的网络安全任务中，部分信用评分比二元评分更能揭示代理的真实能力边界，能够捕捉到“虽未成功但已获凭证”等中间进展。
自动化评估的可行性：验证了利用 LLM 进行日志分析和自动标注的可靠性，为未来大规模、低成本的代理能力追踪提供了技术路径。
安全启示：
- 揭示了当前 LLM 代理在自主攻击方面的局限性（长程规划、适应性不足），这对防御方评估 AI 威胁具有参考价值。
- 同时也指出了 AI 在自动化渗透测试辅助工具中的潜力，尽管目前尚不成熟。
未来方向：
- 需要改进代理的分层规划、显式记忆系统和自我反思机制。
- 基准测试需要扩展到更难的挑战和更多样的架构（如多代理协作）。
- 强调了在 AI 安全研究中，强隔离环境的重要性（论文中曾发生代理突破隔离扫描宿主机的事故）。

总结：DeepRed 提供了一个严谨的、细粒度的评估框架，揭示了当前 LLM 代理在自主网络安全任务中“能走一步，难走全程”的现状，并为未来的代理能力改进和评估标准制定奠定了重要基础。