🤖 machine learning

ANVIL: Anomaly-based Vulnerability Identification without Labelled Training Data

本論文は、マスクされた再構成とハイブリッド・スコアリング・メカニズムを通じてコードの異常を特定するために大規模言語モデルを活用する、教師なし脆弱性検出フレームワークであるANVILを紹介しており、教師あり検出器を上回る性能を示し、ファザーと統合された際に未知の脆弱性を正常に発見することを実証している。

原著者： Weizhou Wang, Eric Liu, Xiangyu Guo, Xiao Hu, Ilya Grishchenko, David Lie

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weizhou Wang, Eric Liu, Xiangyu Guo, Xiao Hu, Ilya Grishchenko, David Lie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

何百万もの完璧なレンガでできた巨大な壁の中から、たった一つの、わずかに壊れたレンガを見つけようとしている場面を想像してください。

問題点：「コイン投げ」のジレンマ
通常、これらの壊れたレンガを見つけるには、壊れた例を数千個も研究し、それらが正確にどのようなものかを学んだ専門家チームが必要です。これが、現在のほとんどのコンピュータプログラムの仕組みです。これらは「教師あり学習」と呼ばれます。しかし、ここには大きな問題があります。それは、AIに教え込むための「壊れたコード」の例が十分に存在しないということです。

最近、非常に賢いAIモデル（大規模言語モデル、またはLLM）が登場しました。これらは、これまでに書かれたほぼすべてのコードを読み込んできました。あなたはこう思うかもしれません。「素晴らしい！彼らはすべてを見ているのだから、間違いを見つけられるはずだ」と。しかし驚くべきことに、単に「このコードの行は壊れていますか？」と尋ねるだけでは、彼らの性能はコイン投げ（勘）と大差ありません。彼らはコードを「書く」ことには長けていますが、「批判（レビュー）」することには不得意です。なぜなら、彼らはパターンを模倣するように訓練されており、エラーを見つけ出すように訓練されていないからです。

解決策：ANVIL（「違い探し」ゲーム）
この論文の著者たちは、ANVILという手法を用いて、その逆を試みることにしました。AIに「壊れた」コードがどのようなものかを教えるのではなく、「AIは『正常な』コードの行はどのようなものであるべきだと考えているか？」と問いかけたのです。

ANVILの仕組みを、簡単な比喩を使って説明します：

マスキング・ゲーム： 物語の一節を取り出し、その中の1行を黒いマーカーで塗りつぶしたと想像してください。そして、その前後の文章だけをヒントにして、隠された行が元々何であったかをAIに推測させます。
期待値： もし隠された行が正常で標準的なコードであれば、AIはそのパターンを数百万回も見ているため、おそらく正解（あるいは正解に近いもの）を導き出せるでしょう。
異常： もし隠された行が「脆弱な（壊れた）」コードである場合、それは残りのデータと比較して、奇妙であったり特異であったりする可能性が高いです。その結果、AIは推測に苦戦します。AIは全く異なるものを推測するか、あるいは非常に確信が持てない状態になります。
スコア： ANVILは、AIの推測と元の行がどれほど異なっているかを測定します。もし推測が大きく外れていたり、AIが混乱していたりする場合、ANVILはその行を「異常（不審）」であるとフラグを立てます。

「ハイブリッド」な探偵
研究者たちは、単に差異を測定するだけでは不十分であることに気づきました。例えば、わずかな違い（> を >= に変えるなど）であっても、それが重大なエラーになることがありますが、AIはそれを大きな問題ではないと考えるかもしれません。そこで、彼らは4つの異なるツールを備えた探偵のような「ハイブリッド・スコア」を作成しました：

完全一致（Exact Match）： AIは100%正解できましたか？もしそうでなければ、それは警告信号です。
混乱メーター（Confusion Meter）： AIはどの程度確信が持てませんでしたか？AIが言葉を濁している場合、そのコードは奇妙である可能性があります。
複雑性チェック（Complexity Check）： そのコードの行は過度に複雑ではありませんか？複雑なコードには、ミスが隠れやすいものです。
「損失」スコア（Loss Score）： 元の行に対して、AIがどれほど「驚いたか」を示す数学的な指標です。

結果：干し草の山から針を見つける
チームは、現実世界のコードを用いた大規模なデータセットでANVILをテストしました。

専門家に打ち勝つ： 彼らは、学習データを必要とする既存の最高峰のツールと比較しました。ANVILは学習データを一切使用していないにもかかわらず、他のツールよりも2倍の精度で脆弱性を発見しました。
コンテキストのトリック： 彼らは、ファイル全体をAIに読ませることは（干し草の山の中から針を探すために、干し草小屋全体を見ようとするようなものであり）かえって混乱を招くことを発見しました。代わりに、ANVLは「スマート・コンテキスト」という手法を採用しました。つまり、疑わしい行の周囲にある特定のコードブロック（関数）のみに焦点を当てるのです。これにより、速度と精度が向上しました。
実世界での成功： 実用性を証明するために、彼らはANVILを「ファザー（fuzzer）」（ランダムなデータを投入してソフトウェアを破壊しようとするツール）に接続しました。ANVILは、ファザーが2つの新しい、未知の脆弱性を発見するのを助けました。そのうちの一つは非常に深刻であり、公式のセキュリティID（CVE）が付与されました。

結論
ANVILは、「悪いもの」がどのようなものかをAIに教える必要はないことを証明しています。ただ、「正常なもの」とは何かをAIに問えばよいのです。コードが「正常な」パターンに適合しないとき、それは壊れている可能性があります。これは、過去のミスの膨大なライブラリを学習することなく、セキュリティホールを見つけ出すための、よりスマートで、より速く、より汎用的な方法なのです。

技術要約: ANVIL – ラベル付き学習データを用いないアノマリーベースの脆弱性特定

問題提起

教師あり学習ベースの脆弱性検出器は、大規模で高品質なラベル付き学習データの不足により、性能が低迷することが頻繁にあります。大規模言語モデル（LLM）は、膨大なラベルなしコードコーパスで学習されており、コード生成には長けていますが、直接プロンプトを与えて脆弱性を検出させようとすると、ランダムな推測と同程度の精度しか出せないことがよくあります。この限界は、LLMが「バグのある」あるいは「脆弱な」コードに関する明示的な監督なしに、学習分布に類似したコードを生成するように訓練されていることに起因します。その結果、彼らは脆弱なコードと無害なコードを区別するためのドメイン固有の知識を欠いています。さらに、合成的な脆弱性を生成したり、特定のコード特徴量を選択したりすることでデータの不足を補おうとする既存の試みも、合成データが現実世界の脆弱性の多様な現れ方を捉えきれていないため、わずかな改善にとどまっています。

手法

本論文では、脆弱性検出をアノマリー検出（異常検知）タスクとして再定義する、行レベルの脆弱性特定アプローチであるANVILを導入しています。その核心となる前提は、脆弱なコードは稀であり、したがってLLMの事前学習中に学習された分布に対してアノマリー（異常）を構成するという点です。

コア・ワークフロー

マスクされたコードの再構成: 分析対象となる特定のコード行に対し、元の行をマスク（削除）します。その後、LLMに対し、周囲のコンテキストに基づいてこの行を再構成するように指示します。
アノマリー・スコアリング: LLMによって生成された再構成内容と、グラウンドトゥルース（元の行）を比較します。逸脱はアノマリーとしてスコア化されます。アノマリー・スコアが高いことは、その行がモデルにとって「分布外（out-of-distribution）」であることを示しており、それが脆弱性であることを示唆しています。
コンテキスト選択（適応型コンテキスト）: 適切なコンテキストを選択するという課題に対処するため、ANVILは**適応型コンテキスト（Adaptive Context: AC）**戦略を採用しています。ACは、固定されたウィンドウの行を使用する代わりに、マスクされた行を包含する最大の複合文（例：関数本体）を選択します。これにより、無関係なコードによるノイズや、過度に長いコンテキストに関連する「真ん中での消失（lost-in-the-middle）」の問題を回避しつつ、モデルが意味的に関連のあるコンテキストを受け取れるようにします。

ハイブリッド・アノマリー・スコア

ANVILは、生成されたコードと元のコードの間の不一致を定量化するために、4つの異なるコンポーネントを集計するハイブリッド・アノマリー・スコア（ $\delta_{hybrid}$ ）を提案しています。

クロスエントロピー損失 ( $\delta_{loss}$ ): 再構成された行の平均クロスエントロピー損失であり、生成されたトークンの確率を測定します。
完全一致インジケータ ( $\delta_{EM}$ ): グラウンドトゥルースからのいかなる逸脱もペナルティを与えるバイナリ指標です。生成された行が元の行と完全に一致しない場合、アノマリー・スコアに寄与します。これは、微細だが決定的な文字の違い（例：> と >=）が軽視される可能性があるソフトな損失値の限界に対処するものです。
初等トークン分散 ( $\delta_{var}$ ): モデルの確信度の尺度であり、生成された最初の位置における上位10個の予測トークンの分散として計算されます。脆弱な行は中程度の分散を示す傾向がありますが、無害な行は高分散（明確な補完）または低分散（単純なコンテキストにおける躊躇）を示します。
AST複雑度 ( $\delta_{ast}$ ): 元の行の抽象構文木（AST）のノード数に基づく指標です。複雑度が高いほど、見落とされるエッジケースのリスクが高まります。

最終的なスコアは、これらのコンポーネントの正規化された合計であり、完全一致に報い、同時に微妙な逸脱、モデルの不確実性、およびコードの複雑さを捉えるように設計されています。

主な貢献

ANVILフレームワーク: ラベル付き学習データを必要とせず、事前学習済みLLMを活用して、マスクされた再構成を通じて脆弱性をアノマリーとして特定する、新しい行レベルの脆弱性検出アプローチ。
ハイブリッド・スコアリング・メカニズム: 損失、完全一致、確信度分散、および構文的複雑さを組み合わせた複合スコアリング関数の提案と検証。これにより、個別の指標よりも優れた性能を示すことを実証しました。
適応型コンテキスト戦略: 関連する複合文を動的に特定する構造認識型のコンテキスト選択手法の導入。これにより、固定サイズウィンドウと比較して、検出精度と計算効率の両方を向上させました。
包括的な評価: 複数のLLMファミリー、コンテキストサイズ、およびスコアリング手法にわたる厳格な評価。これには、LLMの学習カットオフ後に公開された脆弱性を用いた、リークのない評価も含まれます。

実験結果

著者らは、大規模なオープンソースC/C++プロジェクトのコレクションであるPrimeVulデータセットを用いて、ANVILを最先端の教師あり検出器であるLineVul、LineVD、およびLLMAOと比較しました。

教師あり検出器との性能比較: ANVILはすべての教師ありベースラインを大幅に上回りました。
- Top-3精度: ANVILは最大で2倍高い精度を達成しました（ベストなベースラインの17.3%に対し、ANVILは31.3%）。
- 正規化MFR: ANVILは75%の改善を示しました（ベストなベースラインの0.39に対し、0.18）。
- ROC-AUC: ANVILは**61.8%**を達成し、ランダムな推測付近（~50%）を漂うベースラインを大幅に上回りました。
コンテキストとスコアリング: 研究により、ハイブリッド・スコアリング手法と適応型コンテキストが最高の性能をもたらすことが確認されました。100行未満の固定コンテキストサイズは性能を低下させ、一方で大きすぎる固定サイズはノイズとメモリの問題を引き起こしました。
汎用性: ANVILは、LLMの学習カットオフ後に公開された脆弱性を含むリークのないデータセットにおいて強力な汎用性を示し、再学習なしで未知の脆弱性を検出できる能力を証明しました。
実用的な有用性: ANVILをファザー（fuzzer）と統合してシード選択をガイドすることで、著者らは2つの未知の脆弱性を発見しました。そのうちの1つにはCVEが割り当てられており、アノマリー誘導型検出の実用的な有用性を実証しています。

重要性

本論文は、ラベル付きデータのボトルネックを回避することにより、ANVILが脆弱性検出における教師あり学習に代わる実用的な選択肢を提供すると主張しています。LLMが学習したコードの「自然さ」を活用することで、ANVILは行レベルでの脆弱性を効果的に分離します。結果は、アノマリーベースの検出、特にハイブリッド・スコアリングと適応型コンテキストによって強化された手法が、現在の教師あり手法、特に学習データが存在しない新しい、あるいは未知のコードベースにおいて、それらを凌駕できることを示唆しています。この研究は、LLMが本質的に脆弱性が何かを「知って」いなくても、統計的な正しいコードの規範から逸脱するコードを効果的に特定できることを浮き彫りにしています。