Evaluating Large Language Models for Multilingual Vulnerability Detection at Dual Granularities

この論文は、7 つのプログラミング言語にまたがる 3 万枚以上のパッチを用いた大規模な実証研究を通じて、指示微調整と少数ショットプロンプティングを適用した GPT-4o が、従来の事前学習言語モデル（PLM）を上回る多言語・多粒度（関数レベルおよび行レベル）の脆弱性検出能力を有することを明らかにしています。

要約

この論文は、**「最新の AI（大規模言語モデル）が、世界中のさまざまなプログラミング言語で書かれた『バグ（脆弱性）』を見つけられるか？」**という問いに答えた、大規模な実験レポートです。

まるで、**「世界中のあらゆる国（言語）の『危険な建物の設計図』を、新しい『AI 建築検査員』がチェックできるか」**を試したような研究だと考えてください。

以下に、専門用語を避け、身近な例えを使ってわかりやすく解説します。

---

1. 背景：なぜこの研究が必要なの？

これまで、ソフトウェアのバグを見つけるには、2 つのタイプの「検査員」がいました。

• 従来の AI（PLM）：
  • 例え： 「過去の事故例を大量に暗記した、経験豊富なベテラン検査員」。
  • 特徴： 特定の言語（C や C++ など）には強いですが、言語が変わると「あれ？この国のルールは違うんだっけ？」と混乱し、見落としが多くなります。
• 最新の AI（LLM）：
  • 例え： 「インターネット上のあらゆる情報を瞬時に読み込み、論理的に考えることができる天才的な新人検査員」。
  • 特徴： 言葉のニュアンスや文脈を理解するのが得意ですが、バグ発見という「特殊な仕事」を任されたとき、本当に役立つかは誰も確信を持っていませんでした。

今回の研究の目的：
「ベテラン（従来の AI）」と「天才新人（最新の AI）」を、7 つの異なるプログラミング言語（C, Java, Python など）で、**「関数（大きな部屋）」と「行（壁のひび割れ）」**の 2 つのレベルでテストし、どちらが優れているか、そしてどうすればもっと良くなるかを調べました。

---

2. 実験のやり方：どんなテストをした？

研究者たちは、世界中の実際のソフトウェアから集めた**3 万枚以上の「修正された設計図（パッチ）」**を使いました。

• 7 つの言語： C, C++, C#, Go, Java, JavaScript, Python。
• 2 つのレベル：
  1. 関数レベル： 「この部屋（機能）全体に危険があるか？」と判断する。
  2. 行レベル： 「この壁のひび割れ（特定の行）が危険だ」とピンポイントで指摘する。
• AI の使い分け：
  • ゼロショット： 何も教えずに「これを見て、危険か？」と聞く。
  • フューショット： 「例を 3 つ見せて、これに似てるものは危険だ」と教える。
  • インストラクションチューニング： 「バグを見つける専門家として、このルールに従って判断しなさい」と徹底的に教育（訓練）する。

---

3. 驚きの結果：勝者は誰？

結論から言うと、**「教育された天才新人（GPT-4o）」**が圧勝しました。

🏆 優勝：GPT-4o（インストラクションチューニング＋フューショット）

• どんな選手？
  • 単に「天才」であるだけでなく、「バグ発見のルール」を教わり（インストラクション）、さらに「過去の事例（フューショット）」を見せられた状態です。
• 活躍：
  • 関数レベル： 7 言語すべてで、従来のベテラン（CodeT5P）を大きく引き離しました。特に Go 言語では 8 割以上の正解率を達成。
  • 行レベル： 「どの行が危ないか」を特定する精度も、従来の AI を凌駕しました。
  • 危険度： 最も致命的なバグ（CWE-Top25 など）を見逃すことが少なく、実務で使えるレベルでした。

🥈 準優勝：CodeT5P（従来の AI）

• どんな選手？
  • 特定の言語に特化したベテラン。
• 活躍：
  • 単体では GPT-4o に劣りますが、それでも無視できない実力者です。特に「行レベル」の検出では、GPT-4o と互角の戦いを繰り広げました。

❌ 敗者：教わらない AI（ゼロショットやフューショットだけ）

• 結果：
  • 最新の AI でも、**「何も教えずに、例を見せるだけ」**だと、ベテランの AI にも負けてしまいました。
  • 「天才だから何でもできる」というのは間違いで、**「バグ発見という仕事に特化した教育」**が不可欠であることがわかりました。

---

4. 深い洞察：なぜ勝ったのか？

🧠 複雑な思考が得意

GPT-4o は、複雑な条件分岐（if-else の入れ子など）や、長いコードの文脈を理解するのが得意でした。従来の AI は、コードが長くなったり複雑になったりすると、どこに注目すべきかを見失ってしまいました。

📏 大きさや「推論」は万能ではない

• モデルの大きさ： 700 億パラメータなどの巨大なモデルを使っても、必ずしも性能が向上するわけではありません。「適切な教育（チューニング）」の方が重要です。
• 推論機能： 「ステップバイステップで考える」機能を持つ AI も試しましたが、今回のタスクでは、通常の AI と大差なく、むしろ時間がかかるだけでした。

💰 費用対効果

• GPT-4o： 非常に高性能ですが、API 利用料がかかります。大規模な検査にはコストがかかる可能性があります。
• CodeT5P： 性能は少し劣りますが、自前のパソコン（GPU）で動かせるため、コストは圧倒的に安いです。
• 結論： 予算とプライバシーの制約によって、使い分けるのがベストです。

---

5. まとめ：この研究が教えてくれること

1. AI は進化している： 最新の AI（GPT-4o）は、適切な指導（インストラクション）とヒント（フューショット）を与えれば、7 つの異なるプログラミング言語で、従来の AI を大きく凌駕してバグを見つけられます。
2. 万能薬ではない： 「AI なら何でもできる」わけではありません。特に「行レベル」の細かいバグ発見や、データが偏っている場合（不均衡データ）には、従来の AI の方が安定する場面もあります。
3. 実用への道： この研究は、世界中の多様なソフトウェアを、より安全に守るための「新しい検査員」の選び方を示しました。

一言で言うと：
「最新の AI は、『バグ発見の専門家』として教育すれば、世界中のどんな言語のコードでも、従来のベテランよりも鋭く、かつ正確に危険を察知できることが証明されました。ただし、コストや状況に合わせて、従来の AI と使い分けるのが賢明です。」

技術概要

論文概要

本論文は、事前学習済み言語モデル（PLM）と大規模言語モデル（LLM）を用いた自動化されたソフトウェア脆弱性検出（AVD）の性能を、多言語（7 言語）および二重粒度（関数レベル、行レベル）の観点から包括的に評価した実証研究です。既存の研究が単一言語（主に C/C++）や関数レベルに限定されていたのに対し、本研究は現代の開発環境における多言語・多粒度の課題を解決するためのモデルの能力を体系的に検証しました。

1. 研究背景と課題（Problem）

ソフトウェア脆弱性はシステムへの重大なリスクをもたらしますが、既存の自動検出手法には以下の限界がありました：

1. 単一言語への依存: 多くの研究が C/C++ のみに焦点を当てており、Python、Go、Java などを含む多言語環境での汎用性が検証されていませんでした。
2. 粒度の不足: 脆弱性の有無を判定する「関数レベル」の評価は一般的ですが、脆弱なコード行を特定する「行レベル」の評価、特に多言語間での評価が不足していました。
3. PLM と LLM の比較不足: 従来の PLM（CodeBERT など）と最新の LLM（GPT-4 など）の性能差、およびプロンプト戦略（ゼロショット、フューショット、インストラクションチューニング）の影響が、多言語・多粒度の文脈で十分に解明されていませんでした。

2. 研究方法（Methodology）

データセット

• REEF データセットを使用：実世界の CVE（4,466 件）とパッチ（30,987 件）から構成され、以下の 7 言語をカバーしています。
  • C, C++, C#, Go, Java, JavaScript, Python
• 粒度:
  • 関数レベル: 関数が脆弱か否かの二値分類（訓練/検証/テスト合計 20,165 関数）。
  • 行レベル: 関数内の脆弱なコード行の特定（訓練/検証/テスト合計 8,134 関数、対応する行ラベル）。
• 前処理: Tree-sitter による構文解析、コメントの除去、512 トークンを超える関数のフィルタリングなどを実施。

評価対象モデル

• **PLM **(6 種): CodeBERT, CodeT5, CodeT5P, UniXCoder, LineVul, Text-Embedding Models (OpenAI)。
• **LLM **(5 種): DeepSeek-Coder, Code Llama, Llama 3, GPT-3.5-Turbo, GPT-4o。
  • 追加評価として、推論能力を持つ LLM（DeepSeek-R1, QwQ-plus）や、より大規模なモデル（70B パラメータ版）も比較対象に含めました。

評価戦略（LLM 向け）

1. ゼロショット・フューショット・プロンプティング: 例なし、または例（3 件）を含めたプロンプト。
2. インストラクションチューニング: LoRA（Low-Rank Adaptation）を用いた微調整。
3. 組み合わせ: インストラクションチューニング＋ゼロショット/フューショット。

評価指標

• Accuracy, Precision, Recall, F1-score, FPR, FNR, MCC, AUC。
• 不均衡データ（行レベル）では F1-score を主要指標とし、CVSS セverity や CWE-25 上位の脆弱性タイプごとの分析も実施。

3. 主要な結果（Key Results）

RQ1: 関数レベルでの性能

• PLM の最高性能: CodeT5Pが最も優れた性能を示し、平均 Accuracy は 0.6037 でした。
• LLM の性能: ゼロショットやフューショットのみでは LLM はランダム推測に近い性能（Accuracy ≈ 0.5）しか示しませんでした。
• 決定的な改善: GPT-4oにインストラクションチューニングとフューショット・プロンプティングを組み合わせることで、平均 Accuracy が 0.7196 に向上し、CodeT5P を大きく上回りました。
• 言語別: Go 言語で最高（0.8082）、Python で最低（0.6626）の Accuracy を記録しましたが、全言語で PLM を凌駕しました。

RQ2: 行レベルでの性能

• PLM の最高性能: CodeT5Pが F1-score 0.4841 で最上位でした。
• LLM の性能: 同様に、インストラクションチューニング＋フューショットを適用したGPT-4oが、F1-score 0.6641 を達成し、PLM や他の LLM 構成を大幅に上回りました。
• 精度: GPT-4o は高い Precision（0.7012）と Recall（0.6307）のバランスを示し、誤検知（FPR）を極端に低く抑えつつ、脆弱な行を正確に特定できることが確認されました。

RQ3: 強みと弱みの分析

• ユニークな検出: GPT-4o（IT+FSP）は、PLM や他の LLM が見逃した脆弱性を独自に検出する能力が高く、特に誤検知（Unique Incorrect）が極めて少なかったです。
• 危険な脆弱性: 2023 年 CWE Top 25 のうち、GPT-4o は関数レベルで 75.87%、行レベルで 50.79% の検出率を示し、他のモデルを凌駕しました。
• 深刻度: 高深刻度（Critical/High）の脆弱性検出において、GPT-4o は PLM よりも優れた性能を発揮しました。
• モデルサイズと推論: モデルサイズ（7B vs 70B）や推論能力（Reasoning LLM）の向上が、必ずしも脆弱性検出性能の向上に直結しないことが示されました。

4. 主な貢献（Contributions）

1. 包括的な実証評価: 7 言語、2 つの粒度（関数・行）において、PLM と LLM の性能を初めて体系的に比較評価しました。
2. 戦略の最適化: インストラクションチューニングとフューショット・プロンプティングの組み合わせが、多言語脆弱性検出において最も効果的であることを実証しました。
3. 詳細な分析: 固有の正解/誤解の分析、CWE タイプ別、CVSS 深刻度別、モデルサイズ、推論能力、データリーク、不均衡データ、導入コスト（TCO）など、多角的な視点からモデルの特性を解明しました。
4. リポジトリ公開: 使用したデータ、コード、分析詳細をすべて公開し、研究の再現性を保証しています。

5. 意義と結論（Significance）

• LLM の実用性: 適切な学習戦略（インストラクションチューニング＋フューショット）を適用すれば、LLM は従来の PLM を凌駕し、多言語・多粒度の脆弱性検出において極めて有効であることが示されました。
• 実務への示唆: 高深刻度の脆弱性や複雑な論理構造を持つコードの検出において、GPT-4o などの高度な LLM が特に有効です。一方で、大規模な組織では API コストを考慮し、PLM（CodeT5P など）をローカルでデプロイする方がコスト効率が良い場合もあることが示唆されました。
• 将来の展望: 本研究は、多言語ソフトウェアセキュリティにおける LLM の役割を明確にし、今後の研究（マルチタスク学習、メタ学習、統一表現の導入など）の基盤を提供しました。

総じて、本論文は「単にモデルを比較する」だけでなく、「どのような戦略で、どの粒度で、どの言語において LLM が有効か」を解明し、実世界でのソフトウェアセキュリティ対策への応用可能性を大幅に高めた重要な研究です。