論文要約：フィードバックループ型ファジング（Human-in-the-Loop for Fuzz Testing）：文献レビューと今後の展望

この論文は、ソフトウェアの脆弱性発見において最も効果的な手法の一つである「ファジング（Fuzz Testing）」の限界を克服し、人間の専門知識をファジングのループに統合する「Human-in-the-Loop (HITL)」アプローチに関する体系的な文献レビューと、将来の研究ロードマップを提示したものです。特に、大規模言語モデル（LLM）の台頭を踏まえ、人間と AI が協調する次世代のファジングエコシステムへの転換を提唱しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

現代のファジング技術は、大規模で複雑化するソフトウェアシステムのセキュリティ確保に不可欠ですが、以下の根本的な限界に直面しています。

• 自動化の限界: 従来のファジングは、自動的なヒューリスティクスに依存していますが、意味論的な制約（複雑なプロトコル、状態機械、構造化データ）を乗り越えたり、深い実行パスを探索したりする際に困難に直面します。
• 局所最適化とカバレッジの停滞: 自動的なヒューリスティクスは、特定のパスで探索が停滞（Plateau）したり、リソース配分が最適化されなかったりすることが多く、深い脆弱性を見逃すことがあります。
• 人間の関与の不足: 既存のツールでは、人間は主に初期設定や結果の最終確認（オフライン）に留まっており、ファジング実行中のリアルタイムな介入や戦略の調整が困難です。
• LLM の課題: 最近の LLM を活用したファジング研究は進んでいますが、LLM 単独ではハルシネーション（幻覚）や低品質な出力、ドメイン知識の不足などの問題があり、完全な自動化は信頼性が低いです。

したがって、「人間の専門知識（ドメイン知識、直感）」と「AI による自動化」を効果的に統合し、相互補完させるための体系的な枠組みとロードマップが欠如していることが本研究の課題です。

2. 手法 (Methodology)

著者らは、HITL ファジングに関する既存研究を体系的に分析するために、以下の手法を用いました。

• 文献収集と選定:
  • Google Scholar, IEEE Xplore, ACM Digital Library, DBLP などのデータベースを用いてキーワード検索を行いました。
  • 「Fuzzing」と「Human/Visualization/Interaction」などのキーワードを組み合わせ、2007 年から 2025 年までの論文を対象としました。
  • 初期に 115 件の候補を抽出し、バックワード・フォワード・スノーボール法（引用文献の追跡）を用いて 23 件を追加。
  • 選定基準: ファジングプロセスに人間が直接関与（監視または介入）していること、最終結果の確認のみではないこと、4 ページ以上の技術論文であることなど。
  • 最終対象: 44 件の論文（35 件の技術論文、9 件のサーベイ論文）を分析対象としました。
• 分析フレームワーク:
  • ファジングの 5 つの標準フェーズ（前処理、シード管理、スケジューリング、テストケース合成、実行）を基盤としました。
  • 人間の関与を「**人間による監視（Human Monitoring：受動的な観察・分析）」**と「**人間による操縦（Human Steering：能動的な介入・制御）」**の 2 つのモードに分類して分析しました。
  • LLM の役割（人間を代替するエージェント、人間を支援するツール）についても考察しました。

3. 主要な貢献 (Key Contributions)

この論文の主な貢献は以下の 3 点です。

1. 体系的な文献レビューと分類:
   • 44 件の HITL ファジング研究を収集・分析し、ファジングの 5 つのフェーズにおける人間の関与の現状を可視化しました。
   • 既存の研究が「実行フェーズでの監視」に偏っており、「実行中のリアルタイムな介入（Steering）」や「LLM との協調」が不足していることを明らかにしました。
2. インタラクション設計空間の分析:
   • ファジングの各フェーズと HCI（人間とコンピュータの相互作用）の原則を組み合わせ、人間がファジングプロセスにどう関与できるかの設計空間をマッピングしました。
   • 現在の研究のトレードオフと未解決の課題（コスト、スケーラビリティ、一般化の欠如）を特定しました。
3. 将来のロードマップの提示（3 つの段階）:
   • 次世代の HITL ファジングに向けた具体的な研究指針を提示しました。
     • Stage I: 微細で説明可能なファジング監視の確立。
     • Stage II: リアルタイムかつ戦略的な人間による操縦の実現。
     • Stage III: 人間と LLM の相乗的な協調（Synergistic Collaboration）への進化。

4. 結果と知見 (Results & Findings)

文献レビューから得られた主要な知見は以下の通りです。

• 現状の偏り: 既存の HITL 研究の多くは「実行フェーズ」での可視化（ダッシュボード、カバレッジヒートマップ）に集中しており、人間は主に「事後分析」や「シードの事前準備」に留まっています。実行中のリアルタイムな戦略変更を行う研究は極めて少ないです。
• LLM の役割: LLM はシード生成、ドライバ作成、プロトコル推論などで人間の一部の役割を代替できますが、信頼性や説明可能性の面で限界があります。したがって、「人間 vs LLM」ではなく、「人間と LLM の協調」が最適解です。
• フェーズごとの課題:
  • 前処理: ドメイン知識の注入やドライバ作成に人間の関与が必要だが、自動化の余地も大きい。
  • シード管理: 人間によるシードの選別や注入は効果的だが、スケーラビリティが課題。
  • スケジューリング/合成: 自動化が支配的であり、人間が介入するインターフェースが不足している。
  • 実行: 可視化は進んでいるが、実行中の動的な制御（Steering）は未開拓。

5. 今後の展望と意義 (Significance & Road Ahead)

著者らは、ファジングの進化を以下の 3 つの段階で捉えるロードマップを提案しています。

• Stage I: 微細で説明可能な監視 (Fine-Grained and Explainable Monitoring)
  • 単なるカバレッジ数値だけでなく、前処理から実行までの全フェーズにわたる多様な信号（シードの由来、変換履歴、実行コストなど）を統合した「標準化された観測モデル」の構築。
  • 複雑なファジングの挙動を診断・比較するためのインタラクティブな可視化ツールの開発。
• Stage II: リアルタイムかつ戦略的な操縦 (Real-time and Strategic Human Steering)
  • 実行を停止せずに、人間がファジングの戦略（変換オペレータの重み付け、シードの優先順位など）を動的に変更できる「ランタイムパイプライン」の設計。
  • 自然言語やパラメータ化された UI を通じて、専門家が直感的に介入できるインタラクション技術の開発。
• Stage III: 人間と LLM の協調 (Synergistic Human-LLM Collaboration)
  • 低レベルタスクの自動化: LLM がシードの重複削除、クラッシュの分類、パラメータ調整などの反復作業を担う。
  • 高レベル戦略の指揮: 人間は「監督者（Supervisor）」として、LLM マルチエージェントシステムに高レベルな目標やドメイン知識を与え、LLM が実行戦略を自律的に調整する。
  • これにより、人間の専門知識をスケーラブルに活用しつつ、AI の処理能力を最大限に引き出す「人間-AI 共生」のファジングエコシステムの実現を目指します。

意義:
この論文は、従来の「自動化 vs 手動」という二項対立を超え、人間の直感・ドメイン知識と AI の計算能力・生成能力を融合させる新しいパラダイムを提示しました。これにより、より深く、複雑なソフトウェアの脆弱性を発見可能になり、次世代のソフトウェアセキュリティ保証の基盤となる重要な指針を提供しています。