✨ 要点🔬 技术摘要
想象一下，网络安全世界就像一场由数百万人每天参与的高风险国际象棋大赛。有些玩家是“蓝队”（防御者），试图守护城堡；另一些则是“红队”（攻击者），试图突破防线。长期以来，这些玩家依靠自己的大脑和手动工具进行对弈。
最近，他们开始使用一位全新的、超级智能的助手：人工智能（AI） 。但问题随之而来。AI 虽然聪明，却并不懂得专家实际 是如何下棋的。它知晓规则，却不了解那些技巧、失误，以及人类在激战中所使用的混乱而真实的策略。
本文介绍了CAI 数据集 ——一个旨在教会 AI 像真正的网络安全专家那样思考的庞大资料库。以下是用通俗语言进行的拆解：
1. 问题所在：“专家”鸿沟
将 AI 模型（比如你正在对话的那些）想象成博览群书的优秀学生，它们读遍了世间所有的教科书。然而，在网络安全领域，它们之所以表现不佳，是因为它们从未观察过大师 们是如何工作的。
发现 ：研究人员发现，AI 表现不佳并非因为不够聪明，而是因为它缺乏真实专家的“肌肉记忆”。它需要看到人类如何一步步地攻击或防御系统的实际日志，包括那些死胡同、拼写错误以及“灵光一现”的时刻。
2. 解决方案：“黑盒”记录仪
为了解决这一问题，作者开发了一种名为CAI （网络安全人工智能）的工具。你可以将这款工具想象成一个透明的玻璃盒 ，置于人类专家与 AI 之间。
工作原理 ：当人类专家使用 CAI 工具开展工作（攻击测试系统、修复漏洞或防御网络）时，该工具会记录一切 。它会记下人类输入的每一个命令、使用的每一种工具、犯下的每一个错误，以及他们如何修正这些错误。数据收集 ：在 14 个月的时间里，该工具记录了来自123 个国家 、16,000 名不同人员 的230,000 次会话 。这是一个包含2600 万条提示 （指令）和18 TB 数据 的图书馆。这相当于记录了一亿场国际象棋比赛中的每一步棋。
3. 图书馆里有什么？
这不仅仅是一份“好”答案的清单，而是对真实工作的原始、无过滤的呈现：
好与坏 ：约**36%**的数据属于进攻性内容（攻击者试图突破），**20%**具有明显的恶意意图，**27%**是业务工作（系统集成），**4%**是防御性工作。真实生活，而非理论 ：与其他由计算机生成的（合成的）数据集不同，这份数据是真实 的。它包括人们因为需要 AI立即 发挥作用，而将真实的密码、服务器名称和密钥粘贴到聊天框中的情况。“泄露”的现实 ：论文指出了一个令人惊讶且略带恐惧的事实：由于 AI 如此有用，专家为了更快完成任务，经常将他们的实时机密 （如密码和密钥）粘贴到聊天框中。他们知道数据会被记录，但速度和便利性对他们而言值得承担这一风险。这导致全球最敏感的机密高度集中在少数几家 AI 公司手中。
4. 为何这很重要（打造更优 AI 的“秘方”）
作者表示，该数据集是训练下一代网络安全 AI 所需的“秘密配方”。
当前状态 ：大多数 AI 训练使用的是干净、完美的示例。CAI 数据集 ：这里使用的是混乱的、现实世界的示例。它教会 AI 如何处理损坏的工具、如何从错误中恢复，以及如何跨越多个步骤串联起复杂的攻击或防御。目标 ：打造一个不仅知道漏洞是什么 ，而且知道如何在真实环境中发现并修复 它的 AI，就像人类专家一样。
5. 重大警告与解决方案
论文最后提出了一个关于安全与隐私的关键观察：
风险 ：目前，所有这些真实世界的机密和攻击策略正流入少数几家大型 AI 公司的服务器。如果其中一家公司遭到黑客攻击，或者数据被滥用，可能会在全球范围内引发混乱。解决方案 ：要在不泄露机密的情况下保持 AI 的速度和威力，唯一的办法是在你自己的大楼内 （本地部署）运行专用的 AI，在那里你可以掌控数据。贡献 ：CAI 数据集正专门向合作伙伴和客户发布，旨在帮助他们构建这些私有的、本地化的 AI 专家 。这样一来，各组织就能拥有一个超级智能的网络安全助手，它精通行业的真实技巧，同时将所有机密安全地保留在自己的围墙之内。
一句话总结
论文指出："我们记录了 14 个月里真实网络安全专家的工作全过程，包括所有失误，以此创建出 AI 的终极训练手册。这些数据证明，专家为了完成工作，已经愿意将最深层的机密托付给 AI。为了在保持高效的同时保护这些机密，我们需要基于这些真实世界数据构建私有的、专用的 AI 专家，而不是依赖公共的 AI 巨头。 "
技术摘要：CAI 数据集
问题陈述
该论文指出，将大语言模型（LLM）应用于网络安全领域存在一个关键瓶颈：尽管基础模型的能力已有所提升，但 LLM 在现实世界渗透测试和安全运营中的表现，受限于缺乏专家操作员轨迹 。先前的研究（PentestGPT）表明，决定成功的关键因素并非仅仅是底层基础模型，而是“ harness”（引导模型的智能体框架）以及人类操作员特有的多轮次、工具增强的工作流。
现有的公开数据集未能填补这一空白，因为它们通常最多只能满足有效监督微调（SFT）所需的三个必要属性中的两个：
规模 ：大多数网络安全语料库的规模比通用 SFT 混合数据集（如 T¨ULU 3、OpenHermes）小几个数量级。分布保真度 ：合成数据或基于指令的数据集（如 CySecBench、SecKnowledge）往往表现出安全与性能之间的权衡，且未能捕捉真实操作员的迭代、错误恢复以及工具输出解释行为。基于工具的多轮结构 ：像 CyberMetric 或 SecQA 这样的基准测试虽然考察了事实回忆能力，但缺乏智能体工作流所需的“行动–观察–修正”循环和工具调用模式。
此外，行业向封闭、经强化学习（RL）优化的前沿模型（如 GPT-5.5-Cyber）发展的趋势，造成对不透明远程 API 的依赖。这将敏感的进攻和防御操作员上下文（实时凭证、生产主机名、承载令牌）集中在少数几家 API 提供商手中，形成了一个单一故障点，构成了系统性风险。
方法论
作者提出了CAI 数据集 ，这是一个通过CAI（网络安全 AI） 开源智能体框架构建的语料库。该框架主要被设计为数据收集器，遥测系统作为其一级子系统。
数据收集 ：在 14 个月的时间段内（2025 年 3 月至 2026 年 5 月），CAI 框架从来自 123 个国家的 16,768 个不同源 IP 地址捕获了 230,935 个会话日志和 26,027,742 个用户提示。行为方法 ：收集过程严格基于行为；未注入任何提示，也未生成任何合成数据。该数据集记录了真实操作员使用其自有提示针对其自有目标的操作，包括失败的步骤、工具输出和重新规划。模式与脱敏 ：数据以 JSONL 会话日志形式存储，保留完整的 messages[] 数组，包括工具调用和提供商响应。为解决隐私和安全问题，在发布前应用了客户端脱敏方案，以剥离凭证（API 密钥、令牌）和基础设施标识符（主机名、S3 存储桶）。访问模式 ：为缓解双重用途风险同时支持研究，该数据集并非作为公开下载发布，而是作为面向受众规模的系列（CAI Dataset10、CAI Dataset1k、CAI Dataset200k）向合作伙伴组织和选定客户发布。
主要贡献
规模与范围 ：CAI 数据集是迄今为止描述过的最大的 LLM 驱动的网络安全轨迹语料库，包含约 2600 万个用户提示和 18.07 TB 的持久化存储。其规模约为第二大网络安全训练数据集（SecKnowledge）的 65 倍，比现有的智能体轨迹语料库大 3 到 4 个数量级。运营真实性 ：该语料库捕捉了操作员行为的全谱系，包括：
角色混合 ：36.4% 为进攻性，20.1% 为攻击意图，27.5% 为业务/集成，4.4% 为防御性提示。工具使用 ：大量使用网络工具（nc、nmap、curl）和网络扫描器（nikto、burp）。工作流复杂性 ：证据显示，在单个会话中执行了多阶段杀伤链（从侦察到持久化），通常涉及失败的命令和迭代修复。目标多样性 ：引用了 23,147 个唯一域名，包括生产环境的银行、电信、政府和物联网/机器人目标，而不仅仅是合成 CTF 环境。
模型多样性 ：该数据集测试了 4,187 个唯一的 LLM 标识符，反映了操作员对前沿模型（如 GPT-5.x、Claude Opus 4、Gemini 3.1、Qwen3、DeepSeek）以及本地和量化变体的常规 A/B 测试。泄露面分析 ：该论文实证量化了“泄露面”，发现 0.46% 的会话包含粘贴的凭证，0.76% 包含生产基础设施标识符。这突显了操作员在使用远程 API 时在生产力与保密性之间所做的权衡。
结果与观察
增长与节奏 ：该语料库平均每天增长约 540 个会话日志和 60,000 个提示。数据表明，每周重新训练的节奏对于 SFT 流水线捕捉分布变化是最优的，因为每日增量约占语料库的 0.23%。提示演变 ：提示长度已从简短的 Shell 循环指令（约 150 个字符）转变为复杂的、多步骤的规划简报（400–1,300+ 个字符），这是由智能体脚手架的复杂性所驱动的。CVE 武器化 ：对 CVE 提及的分析显示，传统漏洞（如 CVE-2019-11248、CVE-2017-10271）在武器化方面占据“长尾”主导地位，而非零日漏洞，尽管最近的披露（2025–2026 年）会被迅速武器化。地理分布 ：85.7% 的独特贡献者位于欧洲，亚洲和北美也有显著集群。值得注意的是，11.4% 的流量来自公共云/托管提供商，表明存在脚本化的侦察活动。双重用途能力 ：该数据集包含可验证的完整攻击者杀伤链（侦察、利用、权限提升、数据外泄、持久化）示例，这些操作在不到两小时内完成，展示了 LLM 增强的智能体所提供的“可观察的犯罪能力提升”。
意义与主张
该论文认为，CAI 数据集为训练网络安全专用 LLM 提供了必要的“缺失基质”。其意义体现在三个方面：
实现稳健的 SFT ：该数据集使得训练能够理解安全工作的迭代性和基于工具性质的模型成为可能，解决了当前仅依赖强化学习（RL）或仅依赖指令的方法的局限性。它支持持续预训练、SFT、DPO 和 RLVR 的方案。威胁情报 ：该语料库充当被动威胁情报源，使研究 CVE 到武器化的延迟、对手基础设施的使用以及野外攻击战术的演变成为可能。系统风险与架构 ：该论文提出，当前对远程、封闭的前沿模型的依赖，将全球的进攻和防御上下文集中在少数几家 API 提供商手中，形成了单点故障。作者声称，唯一能同时保持生产力和保密性的配置是本地部署、私有托管的网络安全专用 LLM 。CAI 数据集的形态正是为了使此类模型的训练变得切实可行，提供了一条解决操作员效率与数据主权之间紧张关系的途径。
作者总结道，该数据集不仅仅是一个训练资源，更是网络安全自动化进程中的记录，突显了迫切需要专用的、本地托管的模型来缓解集中式操作员上下文所带来的系统性风险。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。