RedSage: A Cybersecurity Generalist LLM

本文提出了开源本地部署的网络安全通用大模型 RedSage，通过构建大规模领域持续预训练数据与智能体增强微调流程，并引入 RedSage-Bench 基准测试，显著提升了模型在网络安全专业能力及通用推理任务上的表现。

要点

这篇论文介绍了一个名为 RedSage 的开源人工智能助手，它是专门为网络安全领域打造的。

为了让你更容易理解，我们可以把网络安全比作一座巨大的、充满陷阱的数字城堡，而传统的 AI 就像是一个刚毕业、只读过几本通用教科书的大学生。虽然它聪明，但面对城堡里复杂的防御系统、黑客的奇怪攻击手段和成千上万种专用工具时，它往往一头雾水，或者因为不敢乱说话而不敢给建议。

RedSage 的出现，就是为了解决这个问题。我们可以把它的训练过程想象成培养一名**“超级数字城堡守卫”**的三个阶段：

第一阶段：疯狂“刷题”与“通读秘籍” (持续预训练)

普通的 AI 可能只读过互联网上通用的文章。而 RedSage 的创造者做了一个大胆的决定：他们从互联网上过滤并收集了 118 亿个单词的网络安全专属资料。

• 比喻：想象一下，普通的 AI 只读过《百科全书》，而 RedSage 被关在一个房间里，强迫它读完了从古代兵书到现代黑客手册的所有资料，包括 MITRE（一个著名的网络安全框架机构）的官方文档、黑客的实战笔记、以及所有 Linux 工具的说明书。
• 目的：让它先成为一个“博学”的网络安全专家，脑子里装满了各种漏洞、攻击手法和防御策略的知识。

第二阶段：模拟“师徒传艺” (智能增强与微调)

光有书本知识还不够，专家还需要实战经验。作者们设计了一个**“智能代理（Agent）”系统，就像一个不知疲倦的“魔鬼教练”**。

• 比喻：这个“魔鬼教练”手里拿着上面读到的那些秘籍，然后开始扮演不同的角色（比如“新手小白”、“愤怒的黑客”、“严谨的审计员”），和 AI 进行26.6 万次的模拟对话。
  • 教练问：“如果我想测试这个服务器，该用什么命令？”
  • AI 回答：“你应该用 nmap，但要注意……"
  • 教练追问：“如果防火墙挡住了怎么办？”
  • AI 再回答：“那就试试……"
• 目的：通过这种高强度的“模拟演练”，AI 学会了如何像真正的专家一样思考，如何一步步解决问题，而不仅仅是背诵定义。它学会了**“怎么做”，而不仅仅是“是什么”**。

第三阶段：参加“终极比武” (RedSage-Bench 评测)

为了证明 RedSage 真的厉害，作者们没有用普通的考试，而是自己设计了一套**“红蓝对抗大考” (RedSage-Bench)**。

• 比喻：这场考试不仅考选择题（比如“什么是 SQL 注入？”），还考实操题（比如“请写出修复这个漏洞的具体命令”）。
• 结果：RedSage 在考试中表现惊人。在网络安全相关的题目上，它的得分比之前的同类 AI 高出很多（最高领先 5.59 分）。更厉害的是，它并没有因为太专攻网络安全而变笨，它在通用逻辑、数学和常识方面的表现也依然优秀，甚至超过了某些更大的模型。

为什么 RedSage 很重要？

1. 它是“开源”的：就像把训练好的“超级守卫”的配方和装备全部公开了，任何人都可以免费下载，在自己的电脑上运行。
2. 它是“本地化”的：很多网络安全公司不敢把敏感数据传给云端的 AI（怕泄密）。RedSage 只需要一张普通的显卡就能在本地运行，这意味着数据不出门，安全有保障。
3. 它是“全能”的：它不仅能回答“什么是病毒”，还能告诉你“怎么用 Kali Linux 里的工具去扫描漏洞”，甚至能模拟黑客的思维来帮你防御。

总结

简单来说，RedSage 就是把一个普通的 AI，通过**“狂读专业书” + “模拟实战演练”，培养成了一个懂技术、会操作、能推理的网络安全专家**。而且，它还是免费、安全、可以在你自家电脑上运行的。这就像给每个网络安全团队都配备了一位 24 小时待命、无所不知的**“数字福尔摩斯”**。

技术摘要

这篇论文介绍了 RedSage，一个专为网络安全领域设计的开源通用大语言模型（LLM）。该模型旨在解决现有网络安全助手在隐私保护、领域适应性和数据开放性方面的不足，通过全栈式的数据构建、训练和评估流程，实现了在特定领域知识和通用推理能力上的双重提升。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 需求与现状： 随着网络威胁的演变，组织急需能够辅助分析师处理多样化工作流（如威胁分析、事件响应、漏洞管理）的 AI 助手。然而，现有的解决方案存在明显缺陷：
  • 隐私风险： 依赖专有 API 的模型存在敏感数据泄露风险。
  • 领域适应不足： 现有的开源模型要么缺乏深度的领域预训练，要么仅依赖少量的监督微调（SFT）数据，导致专业深度不够。
  • 评估缺失： 现有的基准测试（Benchmarks）往往只关注单一维度（如仅知识或仅技能），缺乏对工具使用能力（Tool Proficiency）和开放性问题回答质量的系统性评估。
  • 可复现性差： 大多数相关工作未公开其数据管道或训练细节。

2. 方法论 (Methodology)

RedSage 的构建采用了一个数据为中心（Data-Centric）的管道，包含三个核心阶段：

A. 持续预训练数据构建 (Continual Pre-training)

• CyberFineWeb： 从 FineWeb（约 15T tokens 的通用网络语料）中，利用基于 ModernBERT 的二分类模型过滤出网络安全相关内容。
  • 初始过滤得到约 125M 文档（~89.8B tokens）。
  • 为防止灾难性遗忘（Catastrophic Forgetting），将 30% 的通用教育语料（FineWeb-Edu）混入。
  • 经过全局去重后，最终保留了约 13M 文档（~11.7B tokens）用于预训练。
• RedSage-Seed： 人工 curated 的高质量权威资源，包含 28,637 个样本（~0.15B tokens），分为三类：
  • 知识 (Knowledge)： MITRE ATT&CK, CWE, OWASP 等框架。
  • 技能 (Skills)： 渗透测试报告、黑客技术、Payload 示例等。
  • 工具 (Tools)： CLI 命令手册、Kali Linux 工具文档等。
• RedSage-Dump： 补充了约 459K 文档（~0.7B tokens）的未分类高质量网络安全文档（如 RFC, NIST 标准，NVD 漏洞库）。

B. 智能体增强微调数据 (Agentic Data Augmentation)

为了生成高质量的监督微调（SFT）数据，作者设计了一个智能体增强管道：

• Planner Agent： 分析 RedSage-Seed 中的每个数据块，规划技能集（如漏洞分析、命令生成）和增强策略（如何转化为对话）。
• Augmenter Agent： 根据规划生成多轮、角色扮演的真实对话（如红队与蓝队的交互、专家指导新手）。
• 数据规模： 该管道将种子数据扩展为 266,000 个多轮对话样本（约 353M tokens），覆盖了知识、攻击技能和工具使用。
• 通用指令融合： 结合 SmolLM3 的通用指令数据，确保模型在具备网络安全专长的同时，不丧失通用的指令遵循能力。

C. 评估基准构建 (RedSage-Bench)

为了弥补现有基准的不足，构建了 RedSage-Bench：

• 规模： 30,000 道多项选择题（MCQ）和 240 道开放性问题（Open-ended Q&A）。
• 维度： 全面覆盖知识（Frameworks）、技能（Offensive Skills）和工具（CLI/Kali）。
• 质量控制： 采用“智能体规划 + 生成 + 多阶段验证（LLM-as-Judge + 人工审核）”的流水线，确保题目自包含、无泄露且质量高。

D. 训练流程

基于 Qwen3-8B-Base 模型：

1. 持续预训练 (CPT)： 在 CyberFineWeb 和 RedSage-Seed/Dump 上进行。
2. 监督微调 (SFT)： 在 RedSage-Conv（增强对话）和通用指令数据上进行。
3. 偏好对齐 (DPO)： 使用 Tulu 3 偏好数据集进行直接偏好优化，提升回答的有用性和安全性。

3. 关键贡献 (Key Contributions)

1. 大规模领域语料： 构建了包含 11.8B tokens 的网络安全持续预训练语料库（CyberFineWeb + Seed）。
2. 智能体增强 SFT 数据集： 利用智能体管道生成了 266K 高质量多轮对话数据，模拟专家工作流。
3. RedSage-Bench： 提出了首个同时涵盖知识、技能和工具使用，且包含开放性问题质量评估的综合基准。
4. 开源全栈方案： 发布了模型（8B 参数）、数据、代码和基准，实现了完全的可复现性。

4. 实验结果 (Results)

在 8B 参数规模下，RedSage 展现了 State-of-the-Art (SOTA) 的性能：

• RedSage-Bench 表现：
  • 在 MCQ 任务中，RedSage-8B-DPO 超越了所有 8B 基线模型，比 Qwen3-8B 高出约 3.88% 的准确率。
  • 在开放性问题中，RedSage 在事实准确性和回答质量（Helpfulness, Depth）上均显著优于基线。
• 通用网络安全基准：
  • 在 CTI-Bench, CyberMetric, SECURE, SecEval 等现有基准上，RedSage 比基线模型（如 Llama-3.1-8B, Foundation-Sec）提升了 5.59% 的分数。
  • 即使在 0-shot 设置下，其表现也接近甚至超越了部分更大参数量的模型（如 Qwen3-32B）。
• 通用 LLM 基准 (Open LLM Leaderboard)：
  • RedSage 在 ARC-Challenge, GSM8K, MMLU 等通用任务上保持了竞争力，甚至在某些任务（如 GSM8K 数学推理）上优于基线，证明了领域微调并未损害通用推理能力，反而通过 DPO 提升了指令遵循能力。
• 效率与部署：
  • 作为 8B 模型，RedSage 可在消费级 GPU 上本地部署，满足隐私敏感场景（On-premise）的需求。

5. 意义与影响 (Significance)

• 填补空白： 解决了现有网络安全 LLM 在“工具使用能力”和“开放性问题评估”方面的缺失，提供了更全面的评估标准。
• 隐私与安全： 证明了通过本地部署的开源模型，可以在不依赖云端 API 的情况下，安全地处理敏感的安全运营数据。
• 方法论创新： 展示了“领域持续预训练 + 智能体增强数据生成 + 偏好对齐”的组合策略，不仅能提升垂直领域的专业性，还能增强模型的通用推理和指令遵循能力。
• 社区推动： 通过完全开源数据、代码和模型，降低了网络安全 AI 研究的门槛，促进了可复现性和社区协作。

总结： RedSage 不仅是一个性能卓越的网络安全助手，更提供了一套从数据构建、智能增强到严格评估的完整方法论，为构建下一代安全专用 AI 树立了新的标杆。