Understanding Human-AI Collaboration in Cybersecurity Competitions

这是一篇关于人机协作在网络安全竞赛（CTF）中表现的实证研究论文。作者通过现场举办的大学级别 CTF 比赛，深入研究了人类选手与 AI 助手的互动模式、AI 自主代理（Autonomous Agents）与人类团队的性能对比，以及人机协作中的瓶颈与机遇。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：随着大语言模型（LLM）在漏洞发现、利用生成和补丁开发中的能力提升，CTF 竞赛已成为评估 AI 安全能力的事实标准。然而，现有研究多关注 AI 在孤立环境下的表现，缺乏对人类与 AI 协作（Human-AI Collaboration）的深入理解。
• 核心问题：
  • 人类选手如何感知 AI 辅助？他们的信任度和期望如何随实际使用而变化？
  • 在实时竞赛压力下，人类与 AI 的实际协作模式是什么？哪些策略有效，哪些无效？
  • 自主 AI 代理在相同挑战集上的表现如何？它们能否超越人类团队？
  • 如何设计更有效的人机回环（Human-in-the-Loop）安全系统？

2. 方法论 (Methodology)

研究在一个现场举办的大学级别 CTF 比赛中进行，包含 41 名参与者和 17 个新设计的挑战（涵盖取证、密码学、逆向工程、Web 利用等）。研究分为三个主要部分：

1. 问卷调查与感知分析 (RQ1)：
   • 对参与者进行赛前和赛后调查，收集其对 AI 的期望、信任度、专业知识背景（CTF 领域知识和 AI 使用经验）以及比赛后的反思。
2. 人机交互定性分析 (RQ2)：
   • 开发并部署了名为 CTFriend 的仪器化 AI 助手。它是一个基于 Web 的聊天界面，允许参与者访问多种 LLM（如 Claude 系列），并记录所有交互日志（Prompt、响应、工具调用）。
   • 收集了 38 名参与者的 2,299 条聊天消息，通过混合归纳 - 演绎编码法（Inductive-Deductive Coding）进行定性分析，识别交互模式、成功策略和失败原因。
3. 自主代理基准测试 (RQ3)：
   • 在相同的挑战集上运行了4 种自主代理框架（包括 NYU Agent, Cybench, Claude Code, 以及一个专有安全代理），搭配 3 种 Claude 家族模型（Sonnet-4.5, Opus-4.1, Haiku-3.5）。
   • 将代理的成绩与人类团队进行直接对比，分析代理的轨迹、成本和失败模式。

3. 关键贡献与发现 (Key Contributions & Results)

RQ1: 用户感知与期望的变化

• 期望下降 (F1)：赛后，参与者对 AI 解决挑战能力的预期和信任度显著下降。主要原因包括模型推理缺陷、幻觉（Hallucinations）以及生成的代码无法运行。
• 伦理限制的影响 (F2)：AI 的安全护栏（Guardrails）导致任务被拒绝，成为用户的主要挫败点，尽管部分拒绝可能是由于用户提示不当引起的。
• 专业知识的互补性 (F3, F4, F5)：
  • AI 专业知识可弥补领域知识不足：CTF 经验少但 AI 提示工程能力强（Prompt Engineering）的选手，成绩往往优于 CTF 经验丰富但 AI 使用生疏的选手。
  • 双重专家表现最佳：同时具备高 CTF 领域知识和高 AI 使用技能的选手得分最高。

RQ2: 人机协作模式

• 从协作到全权委托的崩塌 (F6)：尽管赛前参与者声称会进行迭代式协作，但在实际竞赛压力下，大多数团队转向了端到端的全权委托（End-to-end Delegation），即直接把题目丢给 AI 说“解出这个”，而非逐步引导。
• 提示质量决定成败 (F7)：
  • 高 AI 技能用户倾向于使用思维链（Chain-of-Thought）和丰富上下文的提示，成功率更高。
  • 新手用户常使用低质量提示，导致错误和任务失败。
• “兔子洞”与“答案购物” (F8, F9)：
  • 低技能用户容易陷入“兔子洞”（Rabbit Holes），即在无效解决方案上反复迭代。
  • 部分低技能用户表现出“答案购物”（Answer Shopping）行为，像玩老虎机一样不断重新生成提示，试图碰运气，这是一种低效的强化学习行为。
• AI 作为学习支架 (F10)：对于零经验的新手，如果采用高质量的信息寻求策略（Information Seeking），AI 可以作为有效的学习支架，帮助他们快速掌握概念并解决原本无法攻克的挑战。

RQ3: 自主代理 vs. 人类团队

• 自主代理超越大多数人类 (F11)：最强的自主代理配置（专有代理 + Sonnet-4.5）在累计运行时间仅为人类团队的 1/5 的情况下，获得了 4900 分，在人类团队排行榜中位列第二。
• 架构与模型的重要性 (F12, F13)：
  • 框架设计：具备长程规划（Long-horizon planning）和灵活交互式工具支持的代理表现最佳。依赖固定工具集或自定义 API 包装的代理（如 NYU Agent, Cybench）表现较差。
  • 模型天花板：基座模型的能力是决定性瓶颈。在弱模型（如 Haiku-3.5）上，不同框架的性能均大幅下降并趋于一致。
• 能力错位 (F14)：
  • AI 擅长：密码学（Crypto）和取证（Forensics），因为这些任务通常涉及文件读取和脚本编写，易于自动化。
  • 人类擅长：逆向工程（Reverse Engineering），因为该领域常需复杂的工具链和状态保持，AI 容易在环境交互中失败。
  • Web 挑战：两者都较难，但 AI 在缺乏交互式会话支持时表现更差。
• 结对黑客（Pair Hacking）的潜力 (F15)：
  • 人类在识别死胡同、提供稀疏的高杠杆指导（Sparse Steering）方面具有优势。
  • 案例显示，当人类介入修正代理的无效循环（如环境配置错误、死循环）时，代理能成功解决原本无法攻克的挑战。

4. 意义与启示 (Significance)

1. 对 CTF 组织者的启示：
   • CTF 需要适应 AI 时代。为了保持公平性和教育意义，应设计操作型困难的挑战（如需要复杂的状态交互、多步骤浏览器自动化、特定环境调试），这些任务对人类友好但对当前 AI 代理极其困难。
2. 对网络安全教育者的启示：
   • AI 应作为**脚手架（Scaffold）**而非替代品。教育重点应从单纯解题转向培养“提示工程”和“验证输出”的能力。需警惕学生过度依赖 AI 导致元认知能力（如战略规划、错误诊断）退化。
3. 对从业者的启示：
   • “懂安全”和“会用 AI"已成为互补的核心技能。未来的安全专家必须学会如何为 AI 提供接地气的上下文（Grounded Context）并验证其输出。
4. 对 AI 代理开发者的启示：
   • 最有效的模式是人机回环（Human-in-the-Loop）。代理负责高吞吐量的探索工作，人类负责在关键时刻进行干预、纠偏和验证。未来的代理系统应设计易于人类监控和干预的接口。

总结

该论文通过严谨的实证研究揭示了当前 AI 在网络安全领域的真实能力边界。它指出，虽然自主代理在特定任务上已能超越人类，但人类在上下文构建、策略调整和复杂环境交互中的作用依然不可替代。未来的方向不是完全自动化，而是构建高效、互补的人机协作系统。