Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs
この論文は、C、C++、Python における関数間依存関係に基づく脆弱性検出において、複数の最新 LLM の効果、コスト、説明性を評価し、コンテキストの追加が検出精度向上に寄与し、Gemini 3 Flash や Claude Haiku 4.5 などのモデルが特定の言語やコスト制約下で優れた性能を示すことを実証しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、**「AI（大規模言語モデル）を使って、プログラミングの『バグ（脆弱性）』を見つけられるか？」**というテーマを、ある重要な視点から検証した研究報告です。
一言で言うと、**「AI にコードを見せる時、その関数（機能）の『中身』だけを見せるのと、その関数が『誰と会話しているか（呼び出し元や呼び出される先）』まで見せるのと、どちらの方が AI はバグを見つけやすいのか？」**という実験を行いました。
まるで**「探偵が事件を解決する」**ような話に例えて、わかりやすく解説します。
🕵️♂️ 探偵と事件現場の物語
この研究では、4 人の有名な探偵（AI モデル：Claude, GPT, Gemini など）に、**「このコードにバグがあるか？」**という事件を解決してもらいました。
1. 実験のシチュエーション：2 つの証拠の出し方
探偵に事件を解かせる際、2 通りの証拠の出し方（コンテキスト）を試しました。
- A 方式（関数コードのみ）：
事件現場（ターゲットの関数）の写真だけを渡す。「ここだけ見て、犯人（バグ）を探して」というスタイル。 - B 方式（インタープロシージャル・コンテキスト）：
事件現場の写真に加え、**「この部屋に来た人（呼び出し元）」や「この部屋から行った先（呼び出される先）」**の状況も全部見せる。「文脈を全部教えて、バグを探して」というスタイル。
**「文脈（B 方式）があれば、AI はもっと賢くバグを見つけられるはずだ！」**というのが、これまでの一般的な考えでした。
2. 驚きの結果：「余計な情報」が邪魔をした
しかし、実験結果は**「意外な逆転」**でした。
ある探偵（GPT などのモデル）の場合：
余計な情報（B 方式）を渡すと、逆にバグを見逃す確率が高まりました！- 例え話： 探偵に「犯人は赤い服を着ている」というヒントだけ渡せば見つけられたのに、「犯人の家族、近所の猫、天気予報まで全部」渡されたせいで、情報が多すぎて混乱し、肝心の犯人を見失ってしまったのです。
- 特に C 言語（システムに近い言語）では、この傾向が強く、精度が 25% も下がったケースもありました。
別の探偵（Claude や Gemini の一部）の場合：
余計な情報を与えても、**「必要な情報だけ選りすぐって」**バグを見つけ続けました。情報量が増えても、性能は安定していました。
結論： 「もっと多くの情報（文脈）を与えれば AI は賢くなる」というのは、AI によって違うし、言語によって違うことがわかりました。むしろ、情報が多すぎると AI が混乱して、精度が落ちることさえあります。
3. お金の話：「高騰するコスト」
バグを見つけるためには、AI にコードを渡す必要があります。AI は**「文字（トークン）」の量に応じてお金がかかります。**
- A 方式（現場だけ）： 文字数が少ない → 安価
- B 方式（文脈も全部）： 文字数が約 2 倍になる → お金も約 2 倍かかる
**「2 倍のお金を払って、2 倍の情報を渡しても、バグ発見率は上がらないどころか、下がることさえある」という、「コスパ最悪」な結果になりました。
「情報が多いほど良い」という常識は、この分野では「無駄な出費」**になる可能性が高いのです。
4. どの探偵が優秀だったか？
- Gemini 3 Flash：
「コストと性能のバランスが最高」。C 言語のバグ発見において、非常に高い精度を維持しつつ、最も安価に済ませました。実務で使うなら、この探偵がおすすめ。 - Claude Haiku 4.5：
「説明が上手い」。バグを見つけた時、「なぜここがバグなのか？」という理由を、非常に詳しく、正確に説明してくれます。93.6% のケースで完璧な説明でした。 - GPT モデル（Mini 版）：
安価ですが、余計な情報を与えると**「パニックになって」**精度がガクッと落ちました。また、間違ったバグ発見の説明をする率も他より高かったです。
💡 この研究から学べる教訓（まとめ）
- 「情報過多」は危険：
AI にコードを解析させる時、あえて「関連する他の関数」まで全部渡す必要はありません。むしろ、**「対象の関数だけ」**を渡した方が、AI が集中できて、バグを見つけやすいことが多いです。 - モデル選びは重要：
どの AI を使うかで結果が全く違います。「文脈が多い方が良い」という前提で設計すると、失敗する可能性があります。 - お金の節約：
余計な情報を渡すことで、AI 利用料が 2 倍になるのに、効果は上がらない（むしろ下がる）なら、それは無駄遣いです。
**「探偵（AI）には、事件現場（コード）だけをクリアに渡してあげるのが、一番の近道」**というのが、この研究が教えてくれた新しい知恵です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。