技術的サマリー：CAI データセット

問題定義

本論文は、サイバーセキュリティにおける大規模言語モデル（LLM）の応用において決定的なボトルネックを特定している。すなわち、ベースモデルの能力は向上しているものの、現実世界のペネトレーションテストやセキュリティ運用における LLM の性能は、専門オペレーターの軌跡（trajectories）の欠如によって制限されている。先行研究（PentestGPT）は、モデルを導く「ハーネス（エージェントフレームワーク）」と、人間オペレーターが用いる特定の多ターン・ツール拡張ワークフローが、基盤モデル単独よりも成功の決定的要因であることを確立した。

既存の公開データセットはこのギャップに対処できていない。なぜなら、それらは効果的な教師あり微調整（SFT）に必要な 3 つの特性のうち、多くても 2 つしか満たしていないからである。

1. 規模: ほとんどのサイバーセキュリティコーパスは、汎用的な SFT ミックス（例：T¨ULU 3、OpenHermes）に比べて桁違いに小さい。
2. 分布忠実性: 合成データや指示ベースのデータセット（例：CySecBench、SecKnowledge）は、安全性と性能のトレードオフを示すことが多く、現実のオペレーターが示す反復的、エラー回復、およびツール出力解釈の行動を捉えきれていない。
3. ツール基盤の多ターン構造: CyberMetric や SecQA などのベンチマークは事実の想起をテストするが、エージェントワークフローに必要な「行動–観察–修正」ループやツール呼び出しスキーマを欠いている。

さらに、ゲート付きの RL 最適化フロンティアモデル（例：GPT-5.5-Cyber）への業界の傾向は、不透明なリモート API への依存を生み出している。これにより、生きた認証情報、本番環境のホスト名、ベアラートークンといった機密性の高い攻撃的および防御的オペレーターコンテキストが、数社の API プロバイダーに集中し、システム全体のリスクをもたらす単一障害点（single failure surface）を形成している。

手法

著者らは、CAI（Cybersecurity AI） オープンソースエージェントフレームワークを通じて設計されたCAI データセットを提示する。このフレームワークは主にデータ収集器として設計され、テレメトリを第一級のサブシステムとして備えている。

• データ収集: 14 ヶ月間（2025 年 3 月～2026 年 5 月）にわたり、CAI フレームワークは 123 カ国、16,768 件の異なるソース IP から 230,935 件のセッションログと 26,027,742 件のユーザープロンプトを収集した。
• 行動アプローチ: 収集は厳密に行動ベースである。プロンプトの注入や合成データの生成は行われなかった。データセットは、失敗したステップ、ツール出力、再計画を含む、実際のオペレーターが自身のプロンプトを自身のターゲットに対して使用した様子を記録している。
• スキーマとマスキング: データは、ツール呼び出しやプロバイダー応答を含む完全な messages[] 配列を保存する JSONL セッションログとして格納される。プライバシーとセキュリティに対処するため、リリース前に API キーやトークンなどの認証情報、およびホスト名や S3 バケットなどのインフラ識別子を除去する、消費者側で適用されるマスキングレシピが適用される。
• アクセスモデル: データセットは、二重用途リスクを軽減しつつ研究を可能にするため、パブリックダウンロードとしてではなく、CAI Dataset10、CAI Dataset1k、CAI Dataset200k という聴衆規模に応じたシリーズとして、パートナー組織および選ばれた顧客にリリースされる。

主要な貢献

1. 規模と範囲: CAI データセットは、LLM 駆動のサイバーセキュリティ軌跡に関するこれまでに記述された中で最大のコーパスであり、約 2,600 万件のユーザープロンプトと 18.07 TB の永続的ストレージを包含している。これは、次に大きいサイバーセキュリティトレーニングデータセット（SecKnowledge）の約 65 倍、既存のエージェント軌跡コーパスの 3〜4 桁大きい規模である。
2. 運用上のリアリズム: コーパスは、オペレーターの行動の全スペクトルを捉えている。
   • 役割の混合: 攻撃的 36.4%、攻撃者意図 20.1%、ビジネス/統合 27.5%、防御的 4.4% のプロンプト。
   • ツールの使用: ネットワークツール（nc、nmap、curl）や Web スキャナー（nikto、burp）の重度な使用。
   • ワークフローの複雑さ: 単一セッション内で実行される多段階のキルチェーン（偵察から持続化まで）の証拠。これには失敗したコマンドや反復的な修復が含まれることが多い。
   • ターゲットの多様性: 合成 CTF 環境だけでなく、本番銀行、通信、政府、IoT/ロボティクスターゲットを含む 23,147 の一意のドメインへの言及。
3. モデルの多様性: データセットは 4,187 件の一意の LLM 識別子を行使しており、フロンティアモデル（例：GPT-5.x、Claude Opus 4、Gemini 3.1、Qwen3、DeepSeek）の A/B テストと、ローカルおよび量子化バリアントのオペレーターによる日常的な使用を反映している。
4. リーク表面分析: 論文は「リーク表面」を実証的に定量化し、セッションの 0.46% に貼り付けられた認証情報が含まれ、0.76% に本番インフラ識別子が含まれていることを発見した。これは、リモート API を使用する際のオペレーターが、生産性と機密性の間で行うトレードオフを浮き彫りにしている。

結果と観察

• 成長とリズム: コーパスは、1 日あたり平均約 540 件のセッションログと 6 万件のプロンプトの割合で成長した。データは、日々の増加分がコーパスの約 0.23% を占めるため、分布のシフトを捉えるために SFT パイプラインには週次再トレーニングが最適であることを示唆している。
• プロンプトの進化: プロンプトの長さは、エージェントの足場（scaffolds）の洗練に伴い、短いシェルループ指示（約 150 文字）から、複雑な多段階計画の要約（400〜1,300 文字以上）へとシフトしている。
• CVE の武器化: CVE 言及の分析は、ゼロデイよりもレガシー脆弱性（例：CVE-2019-11248、CVE-2017-10271）の「ロングテール」支配を示しているが、最近の公開（2025〜2026 年）は迅速に武器化されている。
• 地理的分布: 一意の貢献者の 85.7% がヨーロッパに所在し、アジアと北米に大きなクラスターが存在する。注目すべきことに、トラフィックの 11.4% がパブリッククラウド/ホスティングプロバイダーから発信されており、これはスクリプト化された偵察を示している。
• 二重用途能力: データセットには、2 時間未満で実行された完全な攻撃者キルチェーン（偵察、悪用、特権昇格、情報漏洩、持続化）の検証可能な例が含まれており、LLM 拡張エージェントが提供する「観測可能な犯罪能力の向上」を実証している。

意義と主張

本論文は、CAI データセットが、サイバーセキュリティ特化型 LLM のトレーニングに必要な「欠落した基盤」を提供すると主張している。その意義は以下の 3 点にある。

1. 堅牢な SFT の実現: このデータセットは、反復的かつツール基盤的なセキュリティ作業の性質を理解するモデルのトレーニングを可能にし、現在の RL のみ、または指示のみのアプローチの限界に対処する。継続的プリトレーニング、SFT、DPO、RLVR のレシピをサポートする。
2. 脅威インテリジェンス: コーパスは、パッシブな脅威インテリジェンスフィードとして機能し、CVE から武器化までの遅延、敵対者のインフラ使用、および野外における攻撃術の進化に関する研究を可能にする。
3. システムリスクとアーキテクチャ: 論文は、現在のリモートゲート付きフロンティアモデルへの依存が、世界の攻撃的および防御的コンテキストを数社の API プロバイダーに集中させ、単一障害点を生み出していると指摘する。著者らは、生産性と機密性の両方を維持する唯一の構成は、オンプレミスでプライベートにホストされたサイバーセキュリティ特化型 LLMであると主張する。CAI データセットは、そのようなモデルのトレーニングを実用的にするために特別に設計されており、オペレーターの効率性とデータ主権の間の緊張を解決する道筋を提供する。

著者らは、このデータセットが単なるトレーニングリソースではなく、進行中のサイバーセキュリティ自動化の記録であり、中央集権的なオペレーターコンテキストのシステムリスクを軽減するための、特化型でローカルにホストされたモデルの緊急の必要性を浮き彫りにしていると結論づけている。