論文「Program Analysis Guided LLM Agent for Proof-of-Concept Generation (PAGENT)」の技術的サマリー

本論文は、ソフトウェアの脆弱性報告に対して、その脆弱性を再現する「Proof-of-Concept (PoC)」入力を自動的に生成する課題に焦点を当てています。従来の手法や単独の LLM アプローチの限界を克服するため、**静的解析（Static Analysis）と動的解析（Dynamic Analysis）**を LLM エージェントに統合したハイブリッド手法「PAGENT」を提案しています。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

ソフトウェア開発者は、脆弱性報告を受け取った際、その脆弱性を確実に再現する PoC 入力を生成する必要があります。しかし、多くの脆弱性報告には有効な PoC が付随しておらず、開発者が手動で再現するのは時間がかかる作業です。

既存の自動化手法には以下の課題があります：

• シンボリック実行・ファジング: 専門家のガイドや手動ステップが必要であり、スケーラビリティ（拡張性）に課題がある。
• LLM エージェント: 自動化レベルは向上したが、ハルシネーション（幻覚）により精度が低く、PoC 生成の成功率が低い。
• 従来の静的解析: スケーラブルだが誤検知が多く、自動的に PoC を生成できない。

LLM エージェントはコードのセマンティクスを理解する能力がありますが、単独では複雑な制御フローや入力制約を正確に推論できず、誤った PoC を生成する傾向があります。

2. 提案手法：PAGENT

PAGENT は、ソースコードと特定の脆弱性コード位置を入力とし、静的・動的解析のガイダンスを用いて LLM エージェントが PoC を生成するハイブリッドフレームワークです。

構成要素

PAGENT は以下の 3 つの主要コンポーネントで構成されます。

(1) 静的解析ガイダンス (Static Analysis Guidance)

LLM エージェントに信頼性の高い脆弱性固有の情報を提供し、ハルシネーションを抑制します。

• 軽量静的解析: エントリポイント（main や LLVMFuzzerTestOneInput など）から到達可能な関数のみを含む到達可能性グラフ（Reachability Graph）を構築し、スケーラビリティを確保します。
• ルールベースの静的解析: LLVM-IR レベルで定義された脆弱性ルール（Datalog を使用）を適用します。これにより、バッファオーバーフロー、整数オーバーフローなどの 12 種類の脆弱性パターンを検出し、以下の情報を抽出して「脆弱性レポート」を生成します。
  • 脆弱性の種類、脆弱な関数、エントリポイント
  • 汚染パス (Taint Path): 脆弱なコードに到達する関数呼び出し経路
  • テンプレートアサーション: 脆弱性をトリガーするために満たすべき条件（例：0 <= index <= SIZEOF(buffer)）

(2) PoC 生成エージェント (PoC Generation Agent)

LLM エージェント（OpenHands の CodeAct アーキテクチャベース）が、静的解析レポートを基に PoC を生成・修正します。

• 対話型環境: エージェントはサンドボックス環境内でソースコードにアクセスし、Python スクリプトやバイナリ入力を生成できます。
• タスクガイダンス: 静的解析で得られた汚染パスやアサーション条件を README ファイルとして提示し、エージェントの推論をプログラム構造に基づいたものへ誘導します。

(3) 動的解析ガイダンス (Dynamic Analysis Guidance)

生成された候補 PoC を検証し、失敗した場合にフィードバックを提供します。

• インストルメント化されたバイナリ: AddressSanitizer (ASan) などのサニタイザを付与したバイナリを実行環境で構築します。
• フィードバックループ:
  • クラッシュ検出: エグジットコードが非ゼロの場合、PoC 成功と判定。
  • カバレッジ情報: クラッシュしない場合、ファイル名、関数カバレッジ、行カバレッジ、分岐カバレッジなどの詳細なプロファイリング情報をエージェントに返します。
  • 改善: エージェントは、カバレッジ情報に基づいて「なぜ脆弱なコードパスに到達できなかったか」を推論し、PoC 入力を反復的に修正します。

3. 主要な貢献

1. LLM エージェント向けの静的解析設計: 大規模コードベースに対応可能で、拡張性のある静的解析手法を設計し、LLM の PoC 生成精度を向上させました。
2. LLM エージェント向けの動的解析設計: PoC の検証と改善を促進するため、実行フィードバック（プロファイリング・カバレッジ）をエージェントに統合しました。
3. エージェントの有効性向上:
   • 最も性能の低いオープンソース LLM（DeepSeek3.1）に対し、静的・動的解析のガイダンスにより132% の精度向上を実現しました。
   • 最上位のクローズドソース LLM（GPT-5, Sonnet-4）を上回る性能を、より低コスト（トークン単価が 32 分の 1）で達成しました。
4. パッチ後の脆弱性検出: 修正済みコードにおいても、隠れた脆弱性（パッチが不完全な場合や、別の脆弱性）を発見する能力を 4 倍向上させました。

4. 評価結果

データセット: Cybergym ベンチマークから選ばれた 203 件の脆弱性（10 件のオープンソースプロジェクト、binutils, libredwg, gpac など）。
比較対象: Cybergym ベンチマークの各種 LLM エージェント（GPT-5, Claude-4 など）、PoCGen、Faultline。

• PoC 生成成功率:
  • PAGENT（DeepSeek3.2 使用）は**64.6%**の成功率を達成。
  • 最上位の GPT-5 エージェント（56%）や、他のトップエージェントを大きく上回りました。
  • 最悪のモデル（DeepSeek3.1）でも、PAGENT 化により GPT-5 エージェントを上回る**42.3%**の成功率を記録しました。
• アブレーション研究:
  • 静的解析のみ、動的解析のみ、両方なしの比較において、両方のガイダンスを組み合わせることで最も高い性能が得られました。
  • 動的解析を除外すると成功率が約 25〜42% 低下し、両方のコンポーネントが不可欠であることが示されました。
• 排他的な PoC 生成:
  • PAGENT は、他のどのエージェントの組み合わせよりも多くの「排他的な（他では生成できない）PoC」を生成しました。
• コスト効率:
  • DeepSeek モデルを使用することで、GPT-5 などの商用モデルに比べ、出力トークンあたりのコストを約 33 倍削減しつつ、同等以上の性能を発揮しました。

5. 意義と将来展望

• 実用的な自動化: PAGENT は、脆弱性報告から PoC 生成までのプロセスを自動化し、開発者の負担を大幅に軽減します。
• CI/CD 統合: コードコミットごとに修正されたコード位置を PAGENT に渡すことで、新たな脆弱性の導入を即座に検知し、PoC を生成する CI/CD パイプラインへの統合が可能です。
• ハイブリッドアプローチの優位性: 単なる LLM の推論に依存するのではなく、形式手法（静的・動的解析）を LLM の「目」として統合することで、ハルシネーションを抑制し、実世界での信頼性を高めました。

本論文は、LLM エージェントと伝統的なプログラム解析技術を密接に結合させることで、セキュリティ脆弱性の再現と PoC 生成という難問に対して、スケーラブルかつ高精度な解決策を提供する重要な成果です。