APFuzz: 自動グレーボックスプロトコルファジングの技術的サマリー

本論文は、状態を保持するネットワークプロトコルの実装に対するAPFuzz（Automatic greybox Protocol Fuzzer）という新しいファジングツールを提案するものです。従来のグレーボックスファジングの課題である「状態モデルの自動構築」と「バイナリプロトコルにおける構造認識の欠如」を解決し、大規模言語モデル（LLM）と静的・動的解析を組み合わせることで、ファジングの効率性と発見能力を大幅に向上させています。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

従来のグレーボックスプロトコルファジング（例：AFLNET）には、以下の 2 つの主要な課題が存在しました。

1. 状態表現の自動化の難しさ:
   • プロトコルの状態を正しく特定し、状態モデルを推論する必要があります。
   • 既存ツールは、サーバーレスポンスのステータスコードに依存するか、ユーザーがソースコードから状態変数を手動で指定する必要があります。
   • 手動指定は人的コストが高く、ステータスコード依存はすべてのプロトコルで機能しないため、自動的で正確な状態追跡が困難でした。
2. 入力構造の認識（特にバイナリプロトコル）:
   • 既存の構造認識手法（例：ChatAFL）はテキストベースのプロトコルに特化しており、キーワードやコマンドに基づいていますが、バイナリプロトコル（SSH, DNS, TLS など）には適用できません。
   • バイナリプロトコルでは、メッセージ内のフィールド（ビット範囲、値の範囲など）の構造を理解せずにランダムなミューテーションを行うと、メッセージ形式が破損し、サーバーに拒否されて深層状態空間への到達が困難になります。

2. 手法 (Methodology)

APFuzz は、状態モデルとメッセージモデルの両方の観点からファジングの「知能化」を図る 2 つの中核的な技術を導入しています。

A. 状態表現学習 (State Representation Learning)

ソースコードから状態変数を自動的に特定し、正確な状態モデルを推論する 2 段階のアプローチを採用しています。

1. 静的解析 (Static Analysis):
   • ソースコードから潜在的な状態変数を抽出します。
   • 既存の手法（NSFuzz, SGFuzz）のヒューリスティックを組み合わせ、ネットワークイベントループ内で読み書きされる変数や、列挙型（enum）で定義された定数を含む変数を候補としてリストアップします。
   • この段階では「見落とし（False Negative）」を最小化することを重視します。
2. 動的解析 (Dynamic Analysis):
   • 静的解析で得られた候補変数を実行時に追跡し、ノイズ（False Positive）をフィルタリングします。
   • LLVM インフラストラクチャを用いてコンパイル時に計測コードを注入し、変数の値の変化を追跡します。
   • フィルタリング基準: 変数が取りうる一意の値の数が一定範囲内（例：3〜9 個）にあること、特定の閾値以上のヒット数があることなどを条件とし、プロトコル状態と強く関連する変数のみを抽出します。

B. 入力構造学習 (Input Structure Learning)

バイナリプロトコルのメッセージ構造を LLM を用いて解釈し、フィールド単位のミューテーションを可能にします。

1. LLM によるシード解釈:
   • 初期シード（実際のトラフィックから抽出されたメッセージ）をバイナリ文字列に変換し、LLM に提示します。
   • Few-shot learning を用いたプロンプトにより、LLM にメッセージのフィールド構造（フィールド名、開始ビット位置、ビット長）を推論させます。
   • これにより、RFC などの仕様書がなくても、バイナリメッセージの構造を自動的に理解できます。
2. フィールドベースのミューテーション:
   • 従来のバイト単位やメッセージ単位のミューテーションに加え、フィールド単位のミューテーションを導入します。
   • 推論されたフィールド構造に基づき、特定のビット範囲に対して値を書き換えたり、辞書から値を代入したりする操作を行います。
   • これにより、構造的に有効なメッセージを生成し、深層状態空間への到達率を向上させます。

3. 主要な貢献 (Key Contributions)

1. 自動状態変数特定手法の提案:
   • ソースコードから状態変数を自動的に特定し、正確かつ効率的なプロトコル状態追跡と状態モデル推論を実現しました。
2. LLM 駆動のバイナリプロトコル構造学習:
   • LLM を活用してバイナリプロトコルのメッセージ構造を学習し、フィールド単位のミューテーション演算子を実装しました。これにより、手動の仕様解析なしにバイナリプロトコルの深層状態を探索可能になりました。
3. 包括的な評価:
   • 広く利用されているプロトコルファジングベンチマーク「ProFuzzBench」を用いて、ベースライン（AFLNET）および最先端のファジングツール（StateAFL, NSFuzz, ChatAFL など）と比較評価を行いました。

4. 評価結果 (Results)

ProFuzzBench に含まれる 13 のターゲット（テキストベースとバイナリベースのプロトコル）を用いた実験結果は以下の通りです。

• コードカバレッジの向上:
  • APFuzz はベースラインの AFLNET と比較して、ブランチカバレッジで平均 10.03%、ラインカバレッジで 8.42% の向上を達成しました。
  • 最先端のツールと比較しても、多くのターゲットで優れたカバレッジを記録しました。
• スループット（効率性）:
  • 1 秒あたりの実行回数（Executions/sec）およびメッセージ送信数（Messages/sec）において、APFuzz は AFLNET の約 5.19 倍および 6.20 倍のスループットを達成しました。
  • 状態モデルの推論や構造学習によるオーバーヘッドが、探索効率の向上によって相殺されていることが示されました。
• 脆弱性発見能力:
  • ユニークなクラッシュ数: 5 回の 24 時間実行において、APFuzz は13 個のユニークなクラッシュを特定し、他のすべてのツール（NSFuzz: 12, StateAFL: 12, AFLNET: 8）を上回りました。
  • 発見までの時間: 特定の脆弱性（ヒープバッファオーバーフローなど）の発見において、APFuzz は他のツールよりも大幅に短い時間で脆弱性を特定しました（例：TinyDTLS のグローバルバッファオーバーフローを 148 秒で発見）。
• LLM による構造解析精度:
  • DNS プロトコルなどではフィールド解析精度が 90% 以上を達成しましたが、SSH や DICOM など複雑なプロトコルでは精度は低下しました。しかし、部分的な精度でもランダムなミューテーションに比べ、有効なテストケース生成に寄与し、ファジング効率を向上させることが確認されました。

5. 意義と結論 (Significance)

APFuzz は、プロトコルファジングの自動化と効率化において重要な進展をもたらしました。

• 自動化の深化: 状態変数の手動指定やプロトコル仕様の事前知識を必要とせず、ソースコードと LLM のみで高度なファジングを可能にしました。
• バイナリプロトコルへの対応: 従来のテキストプロトコル中心の構造認識手法をバイナリプロトコルに拡張し、5G/6G などの次世代通信システムで広く使われるバイナリプロトコルのセキュリティ評価を強化しました。
• 実用性: 高いスループットと優れた脆弱性発見能力を両立しており、実際のセキュリティ評価プロセスへの導入が期待されます。

今後の課題:
現在の実装では、バイナリプロトコルにおけるフィールド間の依存関係（Dependency）の完全な解決や、静的解析の精度向上によるノイズの低減が今後の課題として挙げられています。しかし、APFuzz は自動かつ効率的なプロトコルファジングの新たな基盤を確立したと言えます。