STRIATUM-CTF: 一般目的の CTF 解決のためのプロトコル駆動型エージェントフレームワーク

技術的サマリー（日本語）

本論文は、オフフェンスセキュリティ（攻撃的セキュリティ）における自律的な意思決定と実行を可能にする新しいエージェントフレームワーク**「STRIATUM-CTF」**を提案し、その有効性を実証した研究です。大規模言語モデル（LLM）の能力をオフフェンスセキュリティ操作に応用する際の問題点（幻覚、文脈の喪失、実行の非効率性）を克服し、Model Context Protocol (MCP) を活用した神経記号（Neuro-Symbolic）アプローチによって、人間を上回る性能を達成しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を記述します。

---

1. 背景と課題 (Problem)

オフフェンスセキュリティ（ペネトレーションテスト、レッドチーム演習、CTF コンペティションなど）は、依然として手動かつ労働集約的な作業です。

• 複雑なワークフロー: 攻撃対象の特定、スキャン出力の解釈、適切なエクスプロイトの選択、防御回避のためのペイロード調整など、非線形的で複雑なプロセスが必要です。
• LLM の限界: 既存の LLM ベースのアプローチは以下の課題に直面しています。
  • 幻覚 (Hallucination): 存在しないコマンドフラグやソフトウェアパッケージを生成し、実行失敗を招く。
  • Reasoning-Action Gap: 脆弱性を正しく特定しても、それを正しくエクスプロイトする構文を生成できない。
  • 文脈のドリフト (Context Drift): 長期的なタスクにおいて、初期の偵察データを忘れ、文脈が崩壊する。
  • 人間との連携のボトルネック: 「コパイロット」型のアプローチは人間がコマンドを実行する必要があるため、リアルタイムな状態変化への対応が遅い。

2. 手法とアーキテクチャ (Methodology)

STRIATUM-CTF は、Model Context Protocol (MCP) を中核に据えた、神経記号的エージェントフレームワークです。確率的な推論（LLM）と決定論的な実行（ツール）を分離・統合することで、上記の課題を解決します。

2.1 3 層アーキテクチャ

システムは以下の 3 つの層で構成され、閉ループ制御を行います。

1. 推論層 (Reasoning Layer - 確率的):
   • 中核となる LLM（Claude Sonnet 4.5）が戦略的プランナーとして機能します。
   • 高レベルの戦略を策定しますが、OS に直接アクセスすることは物理的に隔離されており、直接コマンドを実行することはありません。
2. プロトコル層 (Protocol Layer - 記号的):
   • MCP を利用した厳格なスキーマ検証を行う層です。
   • LLM が生成した出力（JSON 形式のツール呼び出し）が、事前に定義された型制約（例：ポート番号が 1-65535 の整数であること）を満たすか検証します。
   • 無効なコマンド（幻覚）はここで遮断され、実行環境に到達する前にリジェクトされます。これにより、LLM の出力多様性を「有効な実行パス」に射影します。
3. 実行層 (Execution Layer - 決定論的):
   • コンテナ化されたセキュリティツール（Angr, Ghidra, GDB, Nmap など）が MCP サーバーとして動作します。
   • 安全なサンドボックス内でツールを実行し、生テキストではなく構造化された JSON 形式の観測結果（stdout/stderr の解析結果）を返します。

2.2 制御ループ

システムは以下の 4 段階の再帰的ループで動作します。

1. 計画 (Plan): 目標を原子タスクに分解し、キューに追加。
2. 実行 (Execute): 適切なツールを選択し、MCP を介して JSON ペイロードを送信。プロトコル層がバリデーションを行う。
3. 解析 (Parse): 構造化された観測結果から重要な情報（開いているポート、メモリリーク、ガジェットオフセットなど）を抽出し、文脈トークンを節約。
4. 反復 (Iterate): 結果に基づいて自己修正を行い、次のステップを調整するか、フラグ取得で終了する。

3. 主要な貢献 (Key Contributions)

1. プロトコル駆動型エージェントアーキテクチャの提案:
   • MCP を利用して LLM と攻撃ツール間のインターフェースを標準化し、厳密なスキーマ準拠によって幻覚を大幅に削減しました。構造化されたフィードバックループによる堅牢なエラー回復を実現しています。
2. 専門的分析プリミティブの統合:
   • シンボル実行（Angr）、静的解析（Ghidra）、動的デバッグ（GDB）といった複雑なドメイン固有のツールを、LLM の文脈窓に統合しました。これにより、単純なスクリプト作成を超えた深いバイナリ解析とエクスプロイト生成が可能になりました。
3. ライブ競技での実証:
   • 合成データセットではなく、実際の大学主催の CTF コンペティション（2025 年 11 月開催）でシステムを評価しました。STRIATUM-CTF は 21 チームの人間を破り、第 1 位を獲得しました。

4. 実験結果 (Results)

4.1 ベンチマーク評価

• データセット: 15 種類の CTF チャレンジ（メモリ破損、リバースエンジニアリング、Web エクスプロイト、暗号など）。
• アブレーション研究: 文書化のレベル（完全なドキュメント、テンプレート、教訓、最小構成）を変えて評価。
  • 結果: 完全な構成（Baseline）で**86.7%**の成功率を達成。
  • 重要な発見: 最小構成（ツール定義のみ、55 行）でも**77.8%**の成功率を達成しました。これは、成功の主要因が「プロンプトエンジニアリング」や「長い文脈」ではなく、**MCP によるプロトコル層の構造的グラウンディング（現実への接地）**にあることを示唆しています。
  • ケーススタディ: 時間側面攻撃（Timing Side-Channel）のような複雑なタスクではドキュメントの恩恵が大きかった一方、シンボル実行が直接的に適用できるタスクでは最小構成でも 100% 成功しました。

4.2 ライブ CTF コンペティション結果

• 環境: 2025 年 11 月、大学キャンパスで開催されたオープンコンペティション（30 チーム以上参加）。
• 成績: STRIATUM-CTF（チーム名 "Graveyard"）は215 点を獲得し、1 位となりました（2 位は 205 点、3 位は 200 点）。
• 人間との比較: 上位 3 チームの差はわずか 15 点でしたが、STRIATUM-CTF は残りのチーム（135 点未満）と大きな差をつけていました。
• 性能要因:
  • 効率性: 人間の 30-60 秒かかる GDB 操作を 1 秒未満で完了。
  • 体系的なデバッグ: 疲労なくパラメータを変化させ、失敗した試行をログとして記録・回避。
  • 時間圧力への耐性: 人間が推測に頼る場面でも、体系的な仮説検証を維持。

5. 意義と将来展望 (Significance & Future Work)

• 意義:

  • 従来の「人間が指示するコパイロット」や「単純なシェルパイプライン」を超え、自律的に複雑な攻撃チェーンを遂行できるシステムの実現を示しました。
  • MCP によるグラウンディングが、LLM の幻覚問題を解決し、オフフェンスセキュリティにおける自律的推論の鍵となることを実証しました。
  • 既存の静的ベンチマーク（データ汚染のリスクあり）ではなく、動的なライブ環境での評価により、モデルの「一般化能力」を証明しました。

• 今後の課題と展望:

  • トークン効率の向上: MCP の再注入によるオーバーヘッドを軽減するため、軽量なローカル LLM を用いた階層的な文脈管理戦略を開発中。
  • 長期的タスクへの対応: 複雑なペネトレーション目標をサブゴールに分解する階層的計画フレームワークの導入。
  • ドメイン固有のプリミティブ層: 高レベル推論をセキュリティ固有の微細な操作にマッピングする層の構築により、探索空間を拡大。

結論

STRIATUM-CTF は、LLM の推論能力と厳密なシステム制御を融合させることで、オフフェンスセキュリティ分野における自律エージェントの新たな基準を確立しました。このアプローチは、人間のエージェントを凌駕する速度と精度を達成し、次世代の堅牢な自律サイバー作戦システムの基盤となる可能性を秘めています。