Learning to Triage Vulnerability Reports from Program Analysis: An Empirical Study in Node.js

あなたは、巨大で混沌とした都市に潜む、数人の特定の危険な犯罪者を見つけ出そうとしている刑事だと想像してください。ソフトウェアの世界において、この都市はインターネットであり、犯罪者は「脆弱性」です。これらは、ハッカーがプログラムを制御できてしまう隠れたバグです。これらを見つけるために、私たちは「プログラム解析」スキャナーと呼ばれる自動化ツールを使用します。これらのスキャナを、街のあらゆる街角の写真を撮りながら空を飛ぶ、高度なテクノロジーを搭載したドローンの艦隊だと考えてください。問題は、これらのドローンがあまりにも徹底しているため、何百万枚もの写真を撮ってしまうことです。そのほとんどは、ただコーヒーを買っている無実の人々の写真に過ぎません。これらの無実な写真は「誤検知（false alarms）」と呼ばれます。

セキュリティアナリストは、どの写真が実際に犯罪者を示しているかを判断する刑事です。しかし、何百万枚もの写真を見ることは不可能です。もしドローンが大量の誤検知を送ってくると、刑事たちは苛立ち、ドローンを使うのをやめてしまいます。この論文は、シンプルですが極めて重要な問いを投げかけています。「スマートなコンピュータ（機械学習）を使って、ドローンの写真を最初にチェックし、それらを分類させ、最も犯罪である可能性が高いものだけをデテクティブ（刑事）に見せることができるだろうか？」という問いです。目標は、刑事の代わりになることではなく、彼らに「優先順位リスト」を与え、コーヒーを買っている写真に時間を浪費させないようにすることです。

刑事の新しい助手

この研究では、多くのウェブサイトやアプリを動かす人気のエンジンである「Node.js」のような、特定の種類のソフトウェアに焦点を当てました。彼らは、特定の種類の犯罪、すなわち「任意のコード実行（ACE）」および「任意のコマンド注入（ACI）」に着目しました。平たく言えば、これらはハッカーがプログラムを騙して、自分の悪意のあるコマンドを実行させる（例えば、コンピュータに自身のファイルを削除させたり、パスワードを盗ませたりするように指示する）方法です。

研究者たちは、まず「NodeMedic-FINE」というツールから始めました。このツールを、単に写真を撮るだけでなく、安全な仮想サンドボックス内で犯罪をシミュレートしようとする超スマートなドローンだと想像してください。もしドローンがサンドボックス内でソフトウェアを「ハッキング」することに成功すれば、その脆弱性が本物であることを確認できます。しかし、ドローンは不完全です。複雑な犯罪のシミュレーションに苦戦して断念してしまうことがあり、その結果、「おそらく（maybe）」という報告書の山を残してしまいます。また、見た目は怪しいものの、実際には無実のコードに対して混乱してしまうこともあります。

これを解決するために、チームは1,883個のNode.jsパッケージを含む「Triage-JS」という大規模なデータセットを構築しました。各パッケージについて、人間の専門家（シニア刑事）がドローンの「おそらく」という報告書を確認し、「これは本当の犯罪か、それとも単なる誤検知か？」を判断しました。これにより、ゴールドスタンダードとなる訓練セットが作成されました。

AIにトリアージを教える

研究者たちは、次に人間の判断から学ぶ、いくつかの異なるタイプの「AI刑事」を訓練しました。彼らは主に3つのアプローチをテストしました。

1. グラフのエキスパート（GNNおよび古典的ML）: これらのモデルは「プロベナンス・グラフ（由来グラフ）」、つまりデータがコード内をどのように移動したかを示すフローチャートのようなものを見ました。彼らはコードを地図として扱い、犯罪につながる特有の移動パターンを探しました。
2. 言語のエキスパート（LLM）: これらは物語を書いたりチャットしたりするのと同じタイプのAIです。彼らには実際のコードのスニペットが与えられ、人間のようにコードを読み、ハッカーがどのようにシステムを悪用するかという「物語」を探るよう求められました。
3. ハイブリッド・チーム: 地図を読むエキスパートと物語を読むエキスパートを組み合わせたものです。

結果：レースの勝者は誰か？

結果は非常に明確で、驚くほど効果的でした。

• 従来の方法: ドローン（NodeMedic-FINE）単体では、精度スコア（F1スコアと呼ばれる）は0.676でした。悪くはありませんでしたが、多くの実在する犯罪を見逃し、あまりにも多くの無実なものをフラグ立てしてしまいました。
• グラフのエキスパート: フローチャートだけを見たモデルははるかに優れており、0.904に達しました。彼らは犯罪の構造的なパターンを特定することに長けていました。
• 言語のエキスパート: コードを物語のように読んだAIが最も優れたパフォーマンスを発揮しました。トップのモデルである、ファインチューニングされたDS-Distill-Qwen-7Bは、0.915というスコアを達成しました。

論文は、たとえ「言語のエキスパート」が最も正確であったとしても、「グラフのエキスパート」（特にXGBoostと呼ばれるモデル）はそれに匹然であり、かつるよりもはるかに高速で安価に動作することを示唆しています。

なぜこれが重要なのか：「90%ルール」

最もエキサイティングな発見は、単に高いスコアを出したことではなく、どれほどの作業を節約できるかということです。研究者たちはこう問いかけました。「すべての本当の犯罪の**90%**を捕まえたい場合、どれだけの無実な写真を捨てなければならないだろうか？」

AIを、本当の脅威の90%を捕まえるように調整したとき、人間のアナリストがチェックしなければならないリストから、**75%**の誤検知を排除することができました。現実の世界において、これはセキュリティチームが「おそらく」という報告書の山を凝視し続ける代わりに、より小さく、質の高い「可能性の高い」脅威の山に集中できることを意味します。

また、この研究は、AIモデルがドローンを混乱させる具体的な理由を特定することに非常に優れていることも明らかにしました。例えば、コードが（通常は安全な）spawnという特定のコマンドを使用している場合、それは誤検知である可能性が高いこと、一方でexec（危険なコマンド）はレッドフラッグであることなどを学習しました。また、ハッカーの入力が安全チェックによってブロックされている場合、たとえドローンが見逃していたとしても、それを認識することも学習しました。

結論

この論文は、すべてのソフトウェアバグを見つける問題を永遠に解決したと主張しているわけではありません。その代わりに、機械学習はノイズを整理するための強力なツールであることを示しています。AIにセキュリティレポートの「トリアージ・ナース」として機能することを教えることで、無害な誤検知をフィルタリングし、人間の専門家がより危険なものに集中できるようにできるのです。

この研究は、最も高度なAIモデル（LLM）が最も正確である一方で、より単純で高速なモデル（XGBoostなど）も非常に効果的であり、コンピュータの計算資源が限られているチームにとっては、そちらの方が適している可能性があることを示唆しています。最終的に、この論文は、自動化スキャナーからの生のデータと、賢く学習されたソート（分類）を組み合わせることで、ソフトウェアセキュリティをより管理可能なものにし、混沌とした報告書の山を、明確で実行可能な道筋へと変えられることを証明しています。