AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset

以下は、提示された論文「AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset」の技術的な要約です。

1. 問題背景 (Problem)

ソフトウェアの複雑化とサイバー攻撃の高度化に伴い、自動化された脆弱性検出の需要が高まっています。深層学習を用いたデータ駆動型の脆弱性検出（DLVD）アプローチは有望ですが、その性能は大規模かつ正確にラベル付けされた学習データに依存しています。しかし、既存のデータセットには以下の課題があります。

• ノイズの多いラベル: 現実のコードからヒューリスティックに抽出されたデータセット（例：BigVul, CrossVul）は、ラベルの精度が低く（一部で 25% 程度）、誤検知が多い。
• 現実性の欠如: 合成データセット（例：Juliet）は制御しやすいが、本番環境のコードの構造的・意味的複雑さを反映しておらず、モデルが表面的な手がかりを学習してしまう。
• 既存の脆弱性注入技術の限界: 既存の注入ツール（VULGEN, VGX, VulScribeR など）は、パターン採掘に依存して編集範囲が狭かったり、注入の成功率やカバレッジが不十分だったり、下流タスクの性能向上を優先するあまり注入の正確性が犠牲になったりする。

これらの課題を解決し、高忠実度（High-Fidelity）、広範なカバレッジ、そして現実的な文脈を持つ大規模な脆弱性データセットを自動生成する手法が求められています。

2. 提案手法：AVIATOR (Methodology)

著者らは、AVIATOR（AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning）という、AI エージェントのワークフローを用いた新しい脆弱性注入フレームワークを提案しました。これは、単一のモデルによる生成ではなく、セキュリティ専門家の推論プロセスを模倣した協調的な AI エージェントのワークフローとして設計されています。

主要な構成要素

1. マルチエージェント・ワークフロー:

   • 複雑なタスクを、専門的な AI エージェント（LLM）とツール（静的解析器等）に分解します。
   • 脆弱性注入モジュール: コードの理解、注入箇所の特定、変換（注入）を行います。
   • 検証モジュール: 差分分析、静的解析（cppcheck）、文脈に基づく LLM によるレビューを行い、注入された脆弱性が意図通りか、かつコードの機能性が保たれているかを検証します。
   • 自己修正ループ: 注入が失敗した場合や trivial な編集（コメント変更のみなど）しか行われなかった場合、エージェントはフィードバックを受け取り、再注入や修正を行います。

2. 技術的基盤:

   • RAG (Retrieval-Augmented Generation): 注入対象の脆弱性カテゴリに関する文脈や、類似の脆弱性注入例を知識ベースから検索し、LLM に提供することで、現実的な注入を誘導します。
   • LoRA (Low-Rank Adaptation) によるファインチューニング: 大規模モデル全体を再学習させることなく、効率的に「脆弱性注入エージェント」を特定タスク向けに最適化します。教師あり微調整（SFT）と強化学習（GRPO）の両方が検討されました。
   • ツール連携: 静的解析器（cppcheck）や差分ツールを組み込み、LLM の判断を補完・検証します。

3. 設計思想:

   • 手動の脆弱性注入プロセス（理解→注入箇所の特定→修正→レビュー）を模倣し、単一ステップの生成ではなく、反復的な検証と修正を行うことで、注入の質と多様性を高めています。

3. 主要な貢献 (Key Contributions)

• 初の AI エージェント型脆弱性注入フレームワーク: 単一のモデルではなく、専門家の推論をシミュレートするマルチエージェントワークフローを初めて導入しました。
• 高忠実度かつ広範なカバレッジ: 既存の手法（VGX は 23 種類の CWE に対応）を凌駕し、133 種類の CWE（Common Weakness Enumeration）に対応可能です。
• 下流タスクでの顕著な性能向上: 生成されたデータを用いて DLVD モデルを学習させた際、既存のデータ拡張手法よりも優れた性能を示しました。
• 効率性とスケーラビリティ: 構文エラーによる拒否率が 2% 未満であり、既存の LLM ベース手法（VulScribeR）と比較して4.3 倍のコスト削減を実現しました。

4. 実験結果 (Results)

3 つのベンチマーク（SARD100, FormAI, PrimeVul）および下流タスクの評価において、以下の結果が得られました。

• 注入成功率 (Injection Success Rate):
  • SARD100: 95%
  • FormAI: 91%
  • PrimeVul（手動評価）: 94%
  • 全体平均で**93%**の成功率を達成し、VGX（90%）や VulScribeR（推定 80%）を上回りました。
• 下流タスク（脆弱性検出）への影響:
  • 5,000 件の注入サンプルを用いてモデルを学習させた結果、F1 スコアが**+21.8%（無増強対比）、+24.6%（VGX 対比）、+2.9%**（VulScribeR 対比）向上しました。
  • 特に、VulScribeR に対して**Recall が +7.4%**向上し、Precision は維持（または微増）されました。これは、注入されたデータがノイズ少なく、学習しやすいシグナルを提供していることを示唆しています。
• 分布の忠実度:
  • 生成されたデータセットは、元の現実世界のデータセットとの KL 発散が最も小さく、分布的な歪みが最小限に抑えられていました。
• コストと効率:
  • 1,000 件の注入あたりのコストは約$0.44（GPU 電力のみ）で、VulScribeR の 4.3 倍の効率性を示しました。

5. 意義と結論 (Significance)

AVIATOR は、ソフトウェアセキュリティ分野におけるデータ生成のパラダイムシフトをもたらすものです。

1. 高品質なデータセットの構築: 人手による注釈やヒューリスティックな抽出に依存せず、AI エージェントの自律的な推論と検証によって、大規模かつ高品質な脆弱性データセットを構築できることを実証しました。
2. 汎用性と拡張性: 特定の言語や CWE に限定されず、エージェントの設計により多様なプログラミング言語や脆弱性カテゴリへの適応が可能です。
3. 実用性: 低コストかつ高品質なデータ生成が可能であるため、DLVD モデルのトレーニングや、セキュリティベンチマークの構築において、現実的な解決策として機能します。

今後は、関数レベルの編集から、マルチファイルやプロジェクトレベルの文脈を考慮した注入への拡張が予定されています。