RedSage: A Cybersecurity Generalist LLM

この論文は、大規模なサイバーセキュリティ特化データとエージェントによる拡張パイプラインを活用して訓練されたオープンソースの一般化サイバーセキュリティアシスタント「RedSage」を開発し、その専門知識と汎用推論能力の向上を実証的に示すとともに、評価用ベンチマーク「RedSage-Bench」を公開したことを報告しています。

要約

この論文は、**「RedSage（レッドセージ）」**という名前の新しい人工知能（AI）について紹介しています。

簡単に言うと、**「サイバーセキュリティの専門家として、誰の助けも借りずに自分のパソコンで動かせる、賢い助手」**を作ったという話です。

以下に、難しい専門用語を避けて、身近な例え話を使って説明します。

---

1. なぜこの AI が必要なの？（問題点）

今のサイバーセキュリティの世界は、ハッカーの攻撃がすごく巧妙になっていて、守るのが大変です。でも、専門家（セキュリティアナリスト）が足りていません。

そこで、AI に頼ろうとする動きがありますが、これまでの AI には 2 つの大きな問題がありました。

• 問題 A（プライバシーのリスク）： 大手の AI 会社（クラウド型）を使うと、会社の秘密や機密データを外部に送ることになり、漏れる恐れがある。
• 問題 B（知識不足）： 無料で使える AI は、一般的なことは知っているけど、「ハッキングの手法」や「セキュリティツールの使い方」といった専門的なことには弱くて、役に立たないことが多い。

2. RedSage の解決策（3 つのステップ）

研究者たちは、この 2 つの問題を解決するために、AI を「育てる」ために 3 つの特別なステップを踏みました。

ステップ 1：専門書の山を読み込ませる（継続的学習）

まず、AI に**「サイバーセキュリティ専門の図書館」**を作りました。

• 何をした？ インターネットから 118 億語（11.8B トークン）ものセキュリティ関連の文章を集め、AI に読ませました。
• 例え話： 普通の AI が「小学生の教科書」しか読まなかったのに対し、RedSage は「大学レベルの専門書」や「ハッカーの日記」を大量に読み込ませたので、専門用語や攻撃手法を深く理解できるようになりました。
• 工夫： 専門知識を入れすぎると、普通の会話ができなくなる（忘れる）ので、一般教養の文章も混ぜてバランスを保ちました。

ステップ 2：AI 同士の「模擬訓練」で練習させる（エージェント増強）

ただ本を読むだけでは、実際に会話したり指示に従ったりする力がつきません。そこで、**「AI 同士でロールプレイ（役柄ごっこ）」**をさせました。

• 何をした？ 専門家が書いた資料（シードデータ）を元に、別の AI が「攻撃者役」と「防御者役」になって、何千回も対話を作り出しました。
• 例え話： 料理のレシピ（資料）をただ読むだけでなく、「料理人（AI）」と「見習い（AI）」が厨房で何度も練習し、失敗談やコツを会話形式で記録したノートを作ったようなものです。これにより、26 万もの「実践的な会話データ」が生まれました。

ステップ 3：試験を作って実力を測る（RedSage-Bench）

本当に強くなったか確認するために、独自の試験問題（ベンチマーク）を作りました。

• 内容： 単に知識を問うだけでなく、「ツール（Kali Linux など）の使い方を説明できるか」「実際の攻撃シナリオを分析できるか」といった、**「知識」「スキル」「ツールの操作」**の 3 つを総合的にテストします。
• 結果： 3 万問の選択問題と、240 問の自由回答問題で、RedSage は他の AI よりもはるかに高い点数を取りました。

3. RedSage のすごいところ

• プライバシーが守れる： 大きなクラウドサーバーを使わず、個人のパソコン（一般的なグラフィックボード）でも動かせるサイズ（80 億パラメータ）に作られています。だから、会社の機密データを外部に送らずに、社内で安全に使えます。
• 賢い： 専門的なセキュリティの質問だけでなく、一般的な質問や指示に従う力も、他の AI よりも優れています。
• オープンソース： 作ったデータ、コード、モデルをすべて公開しています。誰でも自由に使って、さらに改良できます。

4. まとめ

この研究は、**「セキュリティの専門家がいなくても、自分の PC で動かせる、信頼できる AI 助手」**を作ったという画期的な成果です。

• 従来の AI： 外部の先生に聞けばいいけど、秘密は漏れるし、専門知識は浅い。
• RedSage： 自分たちの部屋（ローカル環境）で、専門書を読み込み、模擬訓練を積んだ「最強の助手」が常駐している。

これにより、セキュリティの専門家不足を補いながら、機密情報を守ったまま、高度な防御活動が可能になることが期待されています。

技術概要

RedSage: サイバーセキュリティ専門の汎用 LLM に関する技術的サマリー

本論文は、RedSage（Retrieval-Enhanced Data-driven Security Assistant Guidance and Evaluation）と題された、オープンソースかつローカルで展開可能なサイバーセキュリティ特化型大規模言語モデル（LLM）の提案と評価について述べています。既存のセキュリティ AI 解決策が抱えるプライバシーリスクやドメイン適応の不足を解消し、高度な攻撃技術から防御ツールまでの知識を網羅的に習得したモデルを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

現代のサイバーセキュリティ運用は、高度化する脅威への対応において、多様なワークフローを支援する AI アシスタントの必要性が高まっています。しかし、現状のソリューションには以下の課題がありました。

• プライバシーリスク: 既存の多くのモデルは、プロプライエタリな API を介して動作しており、機密データの漏洩リスクがあります。
• ドメイン適応の不足: オープンソースのモデルは、特定のセキュリティ分野への継続的学習（Continual Pretraining）や、質の高い対話データの不足により、専門的なタスクでの性能が不十分です。
• 評価基準の限界: 既存のベンチマークは、知識（Knowledge）の測定に偏っており、実践的なスキル（Skills）やツール操作の習熟度（Tool Proficiency）、そして自由記述形式の回答の質を包括的に評価するものが不足していました。

2. 提案手法：RedSage の構築パイプライン

RedSage は、データ中心のアプローチにより、以下の 3 つの主要フェーズで構築されています。ベースモデルには Qwen3-8B-Base を採用しています。

2.1 継続的事前学習（Continual Pretraining）

ドメイン固有の知識を強化するため、大規模なサイバーセキュリティ特化コーパスを構築しました。

• CyberFineWeb: FineWeb（Web クロールデータ）から、ModernBERT ベースの分類モデルを用いてサイバーセキュリティ関連のテキストを抽出・フィルタリングしました。これにより、約 898 億トークンの候補プールから、重複除去と一般知識の混入防止（FineWeb-Edu を 30% リプレイ）を経て、約 117 億トークンの最終コーパスを構築しました。
• RedSage-Seed: 信頼性の高い構造化データを収集しました。MITRE ATT&CK、OWASP、Hacking 記事、Kali Linux ツールのマニュアルなど、28,637 件の高品質ドキュメント（約 1.5 億トークン）をカテゴリ（知識、スキル、ツール）別に整理しました。
• RedSage-Dump: 追加の技術文書や標準規格（RFC, NIST 等）を含む約 7 億トークンのデータを追加しました。

2.2 自律的データ拡張（Agentic Data Augmentation）

SFT（教師あり微調整）用の高品質な対話データを生成するために、エージェントベースの拡張パイプラインを導入しました。

• Planner Agent: Seed データを分析し、脆弱性分析やツールコマンド生成などの「スキルセット」と、それを対話形式に変換する戦略を提案します。
• Augmenter Agent: 計画に基づき、専門家とアシスタントの役割を演じる266,000 件のマルチターン対話（約 3.53 億トークン）を生成します。
• これにより、単なる Q&A ではなく、実践的なセキュリティ運用シナリオを反映した多様なデータセット（RedSage-Conv）が完成しました。さらに、一般的な指示追従能力を維持するため、SmolLM3 の非推論データセットも併用しています。

2.3 評価ベンチマーク：RedSage-Bench

包括的な評価を行うため、新しいベンチマーク「RedSage-Bench」を構築しました。

• 構成: 30,000 問の多肢選択問題（MCQ）と、240 問の自由記述形式の Q&A。
• カテゴリー: 知識（Frameworks）、スキル（Offensive Techniques）、ツール（CLI, Kali Linux）の 3 つの次元を網羅。
• 品質管理: 生成されたデータは、LLM-as-a-Judge と人間の検証を経て、事実の正確性と回答の質（0-10 点）で厳格にスコアリングされました。

2.4 学習プロセス

1. CPT: Qwen3-8B-Base に対して CyberFineWeb と RedSage-Seed/Dump で継続的学習。
2. SFT: RedSage-Conv と一般指示データで微調整。
3. DPO: Tulu 3 Preference Mixture データセットを用いて、直接選好最適化（Direct Preference Optimization）を行い、人間の好みに沿った回答を生成するように調整。

3. 主要な結果

RedSage-8B（80 億パラメータ）は、既存の 8B モデルおよび専門特化モデルを凌駕する性能を示しました。

• RedSage-Bench での性能:
  • MCQ において、ベースラインの Qwen3-8B を最大 +3.88 ポイント上回りました。
  • 自由記述 Q&A において、事実の正確性と回答の質の両方で最上位を記録し、DPO 適用により回答の質がさらに向上しました。
• 既存サイバーセキュリティベンチマーク:
  • CTI-Bench, CyberMetric, SECURE, SecEval などの主要ベンチマークで、ベースラインモデルを最大 +5.59 ポイント上回る結果を達成しました。
  • 特に、ツール操作（CLI/Kali）や攻撃手法に関するタスクで顕著な改善が見られました。
• 一般 LLM ベンチマーク:
  • Open LLM Leaderboard（MMLU, GSM8K, ARC-Challenge など）においても、サイバーセキュリティ特化による性能低下（Catastrophic Forgetting）を回避し、むしろ +5.05 ポイントの向上を示すケースもありました。これは、ドメイン知識が推論能力や指示追従能力の向上にも寄与したことを示唆しています。
• スケーラビリティ:
  • 32B モデル（Qwen3-32B）に対して部分的なデータで QLoRA 微調整を行った実験でも、同様の性能向上が確認され、手法の汎用性が証明されました。

4. 意義と貢献

本論文の主な貢献と意義は以下の通りです。

1. 包括的なオープンソース資産の公開:
   • 118 億トークンの事前学習データ、28,000 件のキュレーション済みシードデータ、266,000 件の拡張対話データ、および 30,000 問のベンチマークを含む、データ・コード・モデルのすべてをオープンソースで公開しました。これにより、再現性とコミュニティの発展が促進されます。
2. プライバシーとローカル展開の実現:
   • 8B モデルはコンシューマー向け GPU でも動作可能であり、クラウド依存なしに機密データを扱わずにローカル環境で高度なセキュリティ分析を行うことを可能にします。
3. ドメイン特化と一般能力の両立:
   • 「ドメイン意識を持ったエージェント的拡張（Agentic Augmentation）」と「事前学習・事後学習の組み合わせ」が、専門知識だけでなく、一般的な推論能力や指示追従能力の向上にも寄与することを示しました。
4. 新しい評価基準の確立:
   • 知識だけでなく、「スキル」と「ツール習熟度」を同時に評価する RedSage-Bench は、今後のセキュリティ AI の評価基準として重要な役割を果たします。

結論

RedSage は、大規模なドメイン特化データと自律的なデータ拡張パイプラインを組み合わせることで、既存のオープンソースモデルを大幅に上回るサイバーセキュリティ専門家としての能力を実現しました。その高性能さとローカル展開の容易さは、組織のセキュリティ運用強化や、セキュリティ人材不足の解消に寄与する可能性を秘めています。また、すべてのリソースが公開されているため、研究コミュニティにおけるさらなる発展が期待されます。