💻 computer science

GapForge: Directed Compiler Fuzzing via Coverage-Gap Analysis

GapForgeは、カバー率の低いファイルを優先し、パス差分分析を通じて微細なトリガー要件を推論し、プロンプトを反復的に合成することで、GCCおよびLLVMにおけるカバレッジとバグ発見において既存の手法を大幅に上回る、ロングテールなカバレッジギャップを体系的に特定し埋めるための、ターゲットを絞ったLLMベースのコンパイラファジング技術である。

原著者： Mingxuan Zhu, Qingyuan Liang, Junjie Chen, Zhihong Xue, Dan Hao

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mingxuan Zhu, Qingyuan Liang, Junjie Chen, Zhihong Xue, Dan Hao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたのスマートフォンや車、あるいはインターネットを動かしているソフトウェアを、巨大で目に見えない「工場」だと想像してみてください。この工場の中には、何百万もの小さな作業員（コードの行）がいて、あなたの高度な指示を受け取り、コンピュータが理解できるマシン語へと変換しています。この工場のことは「コンパイラ」と呼びます。もし作業員が一人でも怠慢だったり、混乱したり、ルールを破ったりすれば、工場全体がゴミのような製品――つまり、クラッシュしたり、フリーズしたり、密かに誤った動作をしたりするプログラム――を生み出してしまう可能性があります。これらの工場は非常に巨大で複雑であるため、すべての作業員が適切に監視され、テストされていることを確認するのは極めて困難です。

ここで「ソフトウェアテスト」の世界が登場します。これは、工場が正しく機能しているかを確認するために、検査チームを派遣することを考えてみてください。長年、検査官は主に2つのトリックを使ってきました。一つは、工場に向かってランダムにダーツを投げること（ランダムテスト）、もう一つは、既存の指示をねじ曲げて壊そうとすること（ミューテーションテスト）です。しかし、ここには問題があります。検査官たちは工場の手が届きやすい角ばかりを叩いてしまい、埃っぽくて暗く、到達しにくい奥まった部屋を完全に無視してしまっているのです。これらの「死角」こそが、最も危険なバグが潜んでいる場所であり、トラブルを引き起こすために待ち構えている場所なのです。最近、科学者たちは、コードを書くことができる超スマートなAIである「大規模言語モデル（LLM）」を、検査の補助として使い始めました。しかし、これらのAIヘルパーでさえ、どこに最も光を当てるべきかを正確に知らず、目的もなくさまよってしまうことがよくあります。

ここで、「GapForge」と呼ばれる新しい手法が登場します。これは、魔法の地図を持つ探偵のように振る舞います。単にダーツを投げたり推測したりするのではなく、GapForgeは工場の地図をスキャンして、どの部屋が一度も訪問されていないかを正確に把握します。そして、そのロックされた扉を開けるために必要な特定の「合言葉」（特定の種類のコードと特別な設定）を導き出すために、そのAI脳を使用します。研究者たちは、世界最大級のコンパイラ工場である「GCC」と「LLLLVM」でこれをテストしました。その結果、GapForgeは隠れた部屋を見つける達人であることが分かりました。わずか72時間で、GCCのコアコードの68.13%、LLVMのコードの69.11%をカバーしました。これが100%に届かないように聞こえるかもしれませんが、以前の最高峰のAI手法がわずか64.62%と65.02%程度しか到達できなかったことを覚えておいてください。GapForgeは単に数字を押し上げただけでなく、他の手法が完全に見逃していたGCCの24,736行、およびLLVMの19,798行ものコードを見つけ出したのです。

どのようにしてこれを行うのでしょうか？GapForgeを3ステップのプロセスとして考えてみましょう。まず、工場の地図をスキャンし、最も「汚れた」部屋――つまり、未テストのコードが最も多い部屋――を選び出します。次に、部屋全体を見るのではなく、特定の埃っぽい場所にズームインし、AIに「この場所を開けるにはどんな鍵が必要か？」と問いかけます。AIは周囲のクリーンな領域を分析することで、その場所に到達するために必要なコード構造と工場の設定（特定のスイッチをオンにするなど）の正確な組み合わせを推測します。第三に、もしAIが試した鍵がうまくいかなかった場合、GapForgeはその失敗を記憶します。そしてAIに「それはもう試さないで。別の方法を試して」と伝え、より優れた計画を持って再び送り出します。このサイクルを繰り返すことで、ゆっくりと、しかし確実に、あらゆる暗い隅々まで光を当てていくのです。

結果は素晴らしいものでした。GapForgeは他の8つのトップクラスの手法よりも広い範囲をカバーしただけでなく、影に隠れていた12個の実世界のバグを発見しました。これらには、8個のクラッシュ（コンパイラが諦めて停止してしまう現象）と、4個の誤コンパイル（コンパイラが完璧に見えるものの、壊れたプログラムを密かに構築してしまう現象）が含まれていました。研究者たちは、GapForgeのプロセスのあらゆる部分が重要であることを示しました。もし「地図の読み取り」、「鍵の推測」、あるいは「失敗からの学習」のいずれかを取り除けば、結果は著しく悪化します。他の手法が何千ものテストプログラムを生成している間に、GapForgeはより少ない、しかしよりスマートなプログラムを生成しており、ソフトウェアテストの世界では、量よりも質と方向性が重要であることを証明しました。

技術サマリー: GapForge

問題提起

GCCやLLVMといった現代のコンパイラのコードベースは、その規模と複雑さが極めて大きく、包括的なコードカバレッジを達成することが困難である。文法補助型、ミューテーションベースの手法、あるいは近年の大規模言語モデル（LLM）を用いた手法といった既存のテスト生成技術は、主に「プログラム駆動」の形式で動作している。これらは、多様な入力を生成したりバグを誘発したりすることに焦[]注しており、どの特定のコンパイラ領域を検証しているかを明示的にモデル化していない。その結果、これらの手法は頻繁にトリガーされる「ホットスポット」のパスを繰り返し実行する傾向があり、十分にテストされていないファイルや、到達が困難なエッジ領域にある「ロングテール」のカバレッジギャップを大幅に残してしまう。WhiteFoxのようなホワイトボックス技術は、最適化コードの要約によってこの問題に対処しようと試みてきたが、それらは多くの場合、ファイルレベルの粗い要約に依存しており、特定のコンパイルオプションやプログラム構造を必要とする特定の未カバー領域に到達するために必要な、きめ細かなガイダンスを提供するには至っていない。

手法: GapForge

GapForgeは、カバレッジギャップについて推論することによって、ソースコードのカバレッジを体系的に向上させるために設計された、ターゲット指向型のLLMベースのコンパイラテスト生成技術である。一般的なファザーとは異なり、GapForgeは未カバーのコード領域を明示的なターゲットとして扱い、これらの特定のギャップを検証するテストプログラムを生成するために、3つのステップからなるプロセスを反復する。

1. カバレッジ駆動のターゲット選択

数千のソースファイルにわたる不均一なカバレッジポテンシャルに対処するため、GapForgeはランダムサンプリングではなく、確率的な選択メカニズムを採用している。

探索スコア: 各ファイル $f$ に対して、スコア $S_f = L_f \times (1 - C_f)^2$ を割り当てる。ここで、 $L_f$ は行数、 $C_f$ は現在のカバレッジ率である。二次項は、カバレッジ率が低いファイルの優先度を増幅させる。
選択確率: 高スコアのファイルが決定的に選択プロセスを支配し続けないよう、スコアは正規化され、選択確率 $P_f = 1 - (1 - W_f)^k$ に変換される。この非線形変換により、高ポテンシャルのファイルが優先される一方で、低ポテンシャルのファイルにも選択される機会が与えられ、探索（exploration）と活用（exploitation）のバランスが保たれる。

2. ターゲット指向の要約

GapForgeはファイル全体を要約するのではなく、特定の未カバーの行スパンに対してきめ細かな分析を行う。

コンテキストのペアリング: 各未カバー領域に対して、システムはそれを直前の「カバーされたコンテキスト」（ギャップを取り囲むコード）とペアにする。
パス差異分析: LLMは、カバーされたコンテキストと未カバーのターゲットとのコントラストを分析する。これにより、以下を推論する：
- 機能的役割: コンパイラパイプライン内における当該ファイルのハイレベルな目的。
- トリガー要件: 未カバーのブロックへと実行を導くために必要な、特定のプログラム構造（例：データ型、制御フローのパターン）。
- コンパイルオプション: コードパスを活性化するために必要な特定のフラグ（例：-fsanitize、-fdump-ada-spec）。
出力: このプロセスにより、次の生成ステップのための精密な指示書となる、構造化された「ターゲット要件（Target Requirements）」が得られる。

3. 失敗の反映を伴うプロンプト合成

GapForgeは、以下の3つのコンポーネントを統合することで、テスト生成用LLMのための構造化されたプロンプトを合成する。

一般的制約: 生成されるプログラムが有効であり、決定論的であり、かつ深いコンパイラパスをトリガーするのに十分な構造的複雑さを備えていることを保証するためのルール。
ターゲット要件: ターゲット指向の要約ステップから導出された、特定の目標と制約。
失敗の反映（Failure Reflection）: 以前の失敗したプロンプト（コンパイルエラーになったもの、あるいは新しい領域をカバーできなかったもの）のファイルごとのログ。システムは最近の失敗事例を抽出し、生成されたプログラムが構造的に類似したプログラムを避けるようLLMに指示することで、不毛な戦略から生成を逸らす反復的な洗練ループを作成する。

主な貢献

GapForgeフレームワーク: カバレッジ駆動のファイル選択、きめ細かな領域分析（未カバーコードとカバーされたコンテキストの結合）、および失敗を考慮したプロンプト合成という3つのワークフローを通じて、カバレッジギャップを明示的にターゲットとするLLMベースの技術。
きめ細かな推論: 従来のホワイトボックス的アプローチがファイルを包括的に要約するのに対し、GapForgeは個々の未カバーの基本ブロックに対して、特定のトリガー要件（プログラム構造およびコンパイルオプション）を推論する。
実証的検証: GCC 14.3.0およびLLVM 19.1.0を用いた広範な実験により、最先端のベースラインに対する大幅な改善を実証した。
再現性: 手法のソースコードとデータを含む公開パッケージ。

実験結果

著者らは、72時間の期間において、GCCおよびLLVMに対して、Csmith、WhiteFox、LegoFuzz、Fuzz4Allを含む8つの最先端技術と比較評価を行った。

カバレッジの向上: GapForgeは、コアGCCモジュールで68.13%、コアLLMモジュールで69.11%のカバレッジを達成した。これは、前述のホワイトボックス技術であるWhiteFoxを上回り、GCCで24,736行、LLVMで19,798行の追加のカバレッジを実現した。
増分的な利得: GapForgeは、公式のテストスイートに新たにカバーされた行をGCCで3,452行、LLVMで531行追加したが、いくつかのベースラインは公式スイートへの追加がゼロであった。
効率性: GapForgeは、WhiteFox（2.30Mトークン）やLegoFuzz（3.63Mトークン）と比較して、大幅に少ないトークン消費量（GCCに対して976Kトークン）でこれらの結果を達成した。
バグの発見: 本手法は、12件の実世界のコンパイラ障害（GCCで5件、LLVMで7件）を発見した。これには8件のクラッシュと4件の誤コンパイルが含まれる。
アブレーション研究: 3つのコアコンポーネント（ターゲット選択、ターゲット指向の要約、または失敗の反映）のいずれかを除去すると、測定可能な性能低下を招き、各モジュールの必要性が確認された。特に、ターゲット指向の要約またはコンパイルオプションの推奨が欠如した場合、最も顕著なカバレッジの低下が見られた。

重要性

本論文は、GapForgeが現在のコンパイラテストにおける決定的な限界、すなわち「ロングテール」のカバレッジギャップを体系的に到達できないという問題に対処していると主張している。プログラム駆動のアプローチからカバレッジギャップ駆動のアプローチへと転換することで、GapForgeは、特定の未テストのコード領域にどのように到達するかを明示的に推論するメカニズムを提供する。これらの結果は、カバレッジのフィードバックときめ細かなLLMによる推論を組み合わせることが、コンパイラのような大規模で複雑なソフトウェアシステムのより効率的かつ効果的なテストを可能にし、最終的には従来のファジング手法では隠れたままとなる微細な欠陥の発見につながることを示唆している。