FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework

技術的サマリー：FunFuzz

問題定義
言語処理システム、特にコンパイラに対する現代のファジングは、入力空間が高度に構造化され意味的に豊かであるため、重大な課題に直面しています。従来のアプローチは、持続的な意味的多様性を維持することにしばしば苦労し、深いコンパイルパイプラインや希少な機能の相互作用を十分にテストできない浅いパターンに収束することが頻繁にあります。一方、大規模言語モデル（LLM）は、構文的に有効で意味的に多様なプログラムを合成するための有望な代替手段を提供しますが、LLM 駆動のファジングは特定の失敗モードに陥りやすい傾向があります。つまり、プロンプトの初期化に対する感度、サンプリングのばらつきによる反復的なプログラムスタイルの生成、そして多様性を維持するための明示的なメカニズムがない場合の探索軌道の早期崩壊です。既存の LLM 支援型ファッザーは、単一の共有プロンプトまたは暗黙のフィードバックに依存することが多く、これにより探索が偏り、新しいコンパイラ動作の探索が制限されます。さらに、ファッザーを新しいコンパイラや言語バリエーションに適応させるには、通常、広範な手動エンジニアリングが必要となり、移植性が低下します。

手法
FunFuzz は、LLM ベースのプログラム合成を、確率性を緩和し多様性を維持する堅牢な探索手順と統合するように設計された、マルチアイランド進化型ファジングフレームワークです。このフレームワークは、主に 2 つの段階で動作します。

1. プロンプト蒸留と初期化:

   • システムは、蒸留用 LLM を使用してユーザーが提供するアーティファクト（ドキュメント、仕様、コード例）を処理し、ベースプロンプトを生成することから始まります。
   • すべての探索軌道が入力空間の同じ領域から開始するのを防ぐため、FunFuzz はアイランドごとのシード指示を導き出します。これらは、ドキュメントから抽出された異なるトピック（例：割り当てパターン、制御フロー）を強調する短い指示です。
   • システムは、ベースプロンプトと組み合わせたこれらの指示のバッチ（異なる温度でサンプリングされたもの）を評価し、コンパイル有効性が最も高いバッチを選択します。その結果、各アイランドに固有の初期プロンプトが生成され、複数の意味的に異なる出発点が生まれます。

2. 進化型ファジングループ（マルチアイランド）:

   • アイランドの動作: 各アイランドは、候補プログラムの独立した集団を維持します。プログラムは、アイランドの現在のプロンプトに基づいて LLM によって生成され、フォーマットアーティファクトを除去するために正規化され、計器化されたコンパイラに対してコンパイルされます。
   • 適応度スコアリング: 候補は、マージナルなコンパイラカバレッジ（行使された新しいコンパイラソース行数）と失敗シグナル（例：内部コンパイラエラー）に基づいてランク付けされます。適応度関数は、独立した探索を促進するために、アイランドごとに局所的に計算されます。
   • 選択と進化: 親プログラムは、適応度スコアに対する温度制御されたソフトマックス分布を使用して選択されます。選択された親は、生成を誘導するために次のプロンプトに組み込まれ、特定のプログラムへの過学習を罰するメカニズムが備えられています。
   • アイランド間移住: 蓄積された探索コンテキストを破棄することなく停滞を緩和するため、FunFuzz は「ソフト移住」ポリシーを採用しています。3 時間ごとに、カバレッジ上位 51% のアイランドが「強」と、下位 49% のアイランドが「弱」として指定されます。強いアイランドは、そのエリート集団の 10% を弱いアイランドと共有し、弱いアイランドの集団の最下位 30% を置き換えます。弱いアイランドをリセットする以前の「FunSearch」アプローチとは異なり、この方法は残りの探索コンテキストを保持します。

主要な貢献

• マルチアイランド LLM 支援進化型ファジング: 局所フィードバックを維持する独立した集団を維持し、探索と利用のバランスを取るために定期的な移住を利用するファジングループの導入。これにより、早期収束が防止されます。
• アイランドごとの意味的初期化を伴うプロンプト蒸留: 各アイランドに固有のシード指示を生成するオートプロンプティング技術の拡張。構文的な有効性を維持しつつ、意味的に多様な出発点を確保します。
• 現代のコンパイラにおける包括的な評価: C および C++ における GCC と Clang に対する厳密な 24 時間評価。強力なベースライン（Fuzz4All および Kitten）との比較を含み、中核的な設計選択の影響を分離するための制御されたアブレーション研究も実施されました。

実験結果
FunFuzz は、GCC と Clang に対する反復的な 24 時間キャンペーンで評価されました。結果は以下を示しています。

• カバレッジの向上: FunFuzz は、ベースラインよりも一貫して高いコンパイラソース行数カバレッジを達成しました。GCC において、C では標準 Fuzz4All より最大**+27.1%、C++ では+31.0%高いカバレッジを達成しました。Clang では、C で+9.3%、C++ で+4.4%**の改善が見られました。
• バグの発見: このフレームワークは119 個の固有のコンパイラバグを発見し、そのうち80 個が開発者によって確認されました。FunFuzz は、Fuzz4All および Kitten の両方よりもはるかに多くの固有の失敗トリガー入力を見つけました。特に、テンプレートと意味論の複雑さが高い C++ において顕著でした。
• アブレーションの洞察:
  • スコアリング: カバレッジベースのスコアリングが性能の主要な駆動力でした。
  • 初期化: 共有シードと比較して、固有のアイランドごとのシードは初期探索を大幅に改善しました。
  • 移住: 「ソフト移住」（コンテキストの保持）は、弱いアイランドの完全なリセットよりも優れていました。
  • 並列化: 5 つのアイランドを持つ構成が、探索の多様性と進化の深さの間の最適なトレードオフを提供しました。10 または 20 のアイランドに増やすと、探索が断片化し、固定された時間制約下で性能が低下しました。
  • ウォームスタート: 選別されたコーパスで初期化された場合（ウォームスタート）、FunFuzz はさらに高いカバレッジを達成しました。これは、LLM 誘導型進化が従来のシードベースのアプローチを補完することを示唆しています。

重要性
本論文は、FunFuzz をより堅牢で移植性の高いコンパイラファジングへの一歩として位置づけています。LLM 駆動型合成とマルチアイランド進化戦略を組み合わせることで、FunFuzz は、単一プロンプト LLM ファジングに固有のプロンプト感度と探索の崩壊という制限に対処します。このフレームワークは、広範な手動エンジニアリングやターゲット固有のヒューリスティックに依存することなく、意味的に豊かなプログラムに向けた長期的な探索圧力を維持することが可能であることを実証しています。結果は、複数の異なる探索軌道を維持し、コンテキストをリセットせずに高価値な候補を共有することが、複雑で進化し続けるコンパイラシステムにおける深層的な欠陥を特定するための効果的な戦略であることを示唆しています。著者は、評価が現在 C/C++ コンパイラに限定されているものの、設計はテスト対象システムに依存しないことを意図しており、将来の作業は他の構造化入力ドメイン向けに計画されていると指摘しています。