BUGSCOPE: 人間のバグ検出プロセスを模倣した大規模言語モデル（LLM）ベースのソフトウェア監査フレームワーク

本論文「BUGSCOPE」は、急速に進化するコード生成の時代において、複雑でドメイン固有なバグ検出タスクを大規模言語モデル（LLM）に効果的に実行させるための新しいフレームワークを提案するものです。既存の LLM ベースの監査ツールや静的解析ツールが抱える「文脈の不足」「幻覚（ハルシネーション）」「ドメイン知識とのミスマッチ」といった課題を解決し、人間のエクスパートがバグパターンを学習し適用するプロセスを自動化・構造化した点が最大の特徴です。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、評価結果、意義の観点から詳細にまとめます。

---

1. 問題定義 (Problem)

ソフトウェア監査は、GenAI によるコード生成の加速に伴い重要性を増していますが、既存の手法には以下の重大な限界があります。

• 従来の静的解析ツール（Infer, CodeQL など）の限界:
  • プログラムをグラフとして抽象化し、構造的な推論に依存するため、深い意味論的（セマンティック）な推論が困難です。
  • 複雑な数値計算やライブラリ関数の振る舞いを考慮できず、特定のバグ（例：ゼロ除算、バッファオーバーフロー）を見逃すか、誤検知（False Positive）が多発します。
• 既存の LLM ベース監査ツールの限界:
  • 文脈の不足: 大規模なコードベース全体を一度に処理できず、必要なコードセグメント（文脈）の取得に失敗します。
  • ドメイン固有タスクとのミスマッチ: バグ検出は非常に複雑で、900 種類以上の CWE（Common Weakness Enumeration）に分類されるように、単純な定義だけでは対応できません。
  • 過剰な検知と見逃し: 適切な検出ロジックがないため、ゼロ除算のチェックがない場合でも「バグあり」と断定して誤検知したり、逆に複雑な条件分岐を持つバグを見逃したりします。
  • 構造化された推論の欠如: 人間のように「バグの種（Seed）の特定」→「関連文脈の取得」→「証拠に基づく検出」という段階的なプロセスを経ずに、全体像から直感的に（かつ不正確に）バグを探そうとするため、信頼性が低いです。

2. 手法 (Methodology)

BUGSCOPE は、人間のエクスパートがバグレポートから学習し、新しいコードを監査するプロセスを模倣する3 段階のワークフローと、それを自動化する2 段階のアーキテクチャ（学習段階と監査段階）を提案しています。

2.1 人間の監査プロセスの模倣

人間は以下の 3 つのステップでバグを検出します：

1. Seed 識別 (Seed Identification): 潜在的なバグの場所となるコード構造（例：除算演算子、バッファアクセス）を特定する。
2. 文脈取得 (Context Retrieval): 特定された Seed から、データフローや制御フローを追跡し、バグの発生源や影響範囲となる関連コードを収集する。
3. バグ検出 (Bug Detection): 収集した文脈に基づき、バグの存在を決定づける「証拠パターン（Evidence Patterns）」を検証する。

2.2 BUGSCOPE のアーキテクチャ

A. 学習段階 (Learning Stage)

既存のバグレポートから、特定のバグタイプ（例：ゼロ除算、バッファオーバーフロー）に対する検出ガイドラインを自動的に生成します。

1. 情報抽出: バグレポートから修正コミット、関連関数、ファイルパスなどを抽出。
2. データ拡張 (Data Augmentation): 単一のバグ例だけでなく、LLM に指示して「Seed のバリエーション」「文脈取得の終了条件」「バグを確定させる証拠パターン」の正例・負例を生成させます。これにより、多様なバグパターンを網羅的に学習させます。
3. ガイドライン合成:
   • 検索戦略 (Retrieval Strategy): Seed 抽出器（Tree-sitter 等を使用）と、文脈取得エージェントのための探索ルール（方向性、終了条件）を生成。
   • 検出プロンプト (Detection Prompt): 検出エージェント向けに、バグを特定するための具体的な反パターン（Anti-pattern）仕様と推論ロジックを生成。

B. 監査段階 (Auditing Stage)

生成されたガイドラインを用いて、新しいプロジェクトを監査します。

1. 文脈取得エージェント: 静的解析（AST, 呼び出しグラフ）と LLM を組み合わせ、Seed を特定し、学習されたルールに従って必要なコードセグメントを収集します。
2. バグ検出エージェント: 取得した文脈に「検出プロンプト」を適用し、ステップバイステップで推論を行い、バグレポートを生成します。
3. バリデーション (Validator): 生成されたレポートに含まれる仮定がコードのセマンティクスに基づいているかを確認し、LLM の幻覚（根拠のない推測）を抑制します。

3. 主要な貢献 (Key Contributions)

1. 人間の学習プロセスの自動化: バグレポートから「Seed 識別」「文脈取得」「証拠検出」の 3 段階にわたる構造化されたガイドラインを自動生成するフレームワークを初めて提案。
2. ドメイン固有の適応性: 特定のバグタイプ（OOB, DBZ, メモリリークなど）に対して、LLM が人間の専門家のように「反パターン」を学習し、汎用的なプロンプトではなく、精密な検出ロジックを構築する。
3. 高精度な文脈取得と推論: 単なるコード検索ではなく、データフローや制御フローに基づいた「終了条件付き」の文脈取得を行い、LLM の推論範囲を最適化して誤検知を削減。
4. 大規模実世界での検証: 構築されたフレームワークが、Linux カーネルなどの大規模プロジェクトにおいて、これまで発見されなかった多数のバグを特定できることを実証。

4. 評価結果 (Results)

4.1 制御実験（構築されたデータセット）

21 のオープンソースプロジェクトから厳選された 33 の実バグ（OOB, DBZ, MLK）を用いた評価。

• BUGSCOPE (Claude 3.7 Sonnet Thinking 搭載):
  • Precision (精度): 86.05%
  • Recall (再現率): 87.88%
  • F1 スコア: 0.87
• 比較対象:
  • Claude Code (Opus 4.6): F1 0.51
  • Cursor BugBot: F1 0.43
  • RepoAudit: F1 0.38
  • Infer (静的解析): F1 0.05
• 結果: BUGSCOPE はすべてのベースラインを大幅に上回り、特に複雑な反パターン（例：負のオフセット、不十分なゼロチェック）において、他のツールが検出できないバグを正確に特定しました。

4.2 実世界プロジェクトへの適用

6 つの主要な C/C++ プロジェクト（vim, systemd, git など）および Linux カーネルへの適用。

• 新規バグ発見: 実プロジェクトで184 個の未発見バグを発見。
  • うち78 個が既に修正済み、7 個が開発者によって明示的に確認済み。
  • Linux カーネル: 12 個のバグを発見し、マインテナーによって修正または承認されました。
• 精度: 6 プロジェクト全体で 76.92% の精度（True Positives 80, False Positives 24）。
• コスト: 1 つの Seed あたりの平均コストは約$0.12（Claude 3.7 使用時）で、高い精度とバランスが取れています。

4.3 アブレーション研究

• 文脈取得なし (NoRetrieval): 再現率が 42.42% に低下し、新規バグ発見数が激減。文脈の重要性を示唆。
• 学習段階の整合性なし (NoAlign): 誤検知が 6 倍以上に増加し、精度が低下。データ拡張とガイドライン合成の重要性を確認。

5. 意義と結論 (Significance)

BUGSCOPE は、LLM を単なる「コードの読み手」から「人間の監査員のような推論プロセスを実行するエージェント」へと進化させる画期的なアプローチです。

• 実用性の証明: 既存の商用ツールや最先端の LLM エージェントが苦手とする、複雑なデータフローや条件分岐を伴うバグを、高い精度で検出できることを実証しました。
• スケーラビリティ: 学習段階で得られたガイドラインを再利用することで、新しいプロジェクトや異なるバグタイプへの適応が容易です。
• セキュリティへの寄与: 大規模なオープンソースプロジェクトにおいて、実際に修正された多数のバグを発見したことは、ソフトウェアの安全性向上に直接的な貢献を果たしています。

本論文は、LLM によるソフトウェア品質保証において、単なる「生成」ではなく、「構造化された学習と推論」が不可欠であることを示し、今後の研究と実装の方向性を示唆する重要な成果です。