💻 computer science

Evaluating Retrieval-Augmented Generation for Explainable Malware Analysis

本論文は、構造化された証拠が既に存在する状況において、マルウェア分析は知識検索問題ではなく信号抽出タスクとして扱う方が適切であることを示唆しつつ、検索拡張生成（RAG）がノイズや無関係な文脈を導入することでマルウェアの説明の質を低下させることを実証的に示す。

原著者： Jayson Ng, Amin Milani Fard

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jayson Ng, Amin Milani Fard

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある探偵になって、謎を解こうと想像してみてください：なぜこのコンピュータ・ファイルは犯罪者のように振る舞っているのでしょうか？

サイバーセキュリティの世界では、分析官がVirusTotalと呼ばれる巨大なデータベースを持っています。このデータベースを、超詳細な警察報告書だと考えてください。ファイルが何をしたかを正確にリストアップしています。「ドアを開けた」「ファイルをコピーした」「怪しい電話番号に電話した」。すべてが、明確で構造化された事実としてそこにあります。

最近、セキュリティの専門家は、これらの警察報告書を読み、ファイルがなぜ悪いのかを明確に説明する物語を書くために、AI 探偵（大規模言語モデル、LLM）を使い始めました。

大きな問い：AI に「図書館」は必要か？

AI にはRAG（検索拡張生成）と呼ばれる人気のあるアイデアがあります。その論理はこうです：「もし私たちの AI 探偵が物語を書いているなら、まず追加の書籍の図書館を与えて読み込ませましょう。もしかしたら、より良い説明を書くために、他の犯罪物語における『ドアを開ける』ことが通常何を意味するかを調べる必要があるかもしれません」。

この論文の著者たちは、警察報告書（VirusTotal）がすでに完璧で完全である場合、この「図書館」が実際に役立つかどうかをテストすることにしました。

実験：図書館ありとなしの探偵

研究者たちは、2 つの AI 探偵グループによるテストを設定しました。

A グループ：VirusTotal 報告書を読み、説明を書いた。
B グループ：VirusTotal 報告書を読み、さらに AI が「図書館」に行き、マルウェアに関する追加の書籍を手に取り、それらの物語を説明に混ぜ込もうとした。

彼らは、AI の物語が完璧な説明の「ゴールドスタンダード」とどの程度一致するかを見るために、スコアリングシステム（BERTScore と呼ばれる）を使用しました。

驚くべき結果：図書館は状況を悪化させた

この論文は、追加の図書館の本を加えることが、AI の説明をむしろ悪化させたことを発見しました。

次のアナロジーをご覧ください：
あなたが裁判官に交通事故を説明しようとしていると想像してください。スピード、スリップマーク、天候など、公式の警察報告書を持っています。

図書館なし：AI は報告書を見て、「車がスピード違反をして木に衝突した」と言います。（明確で正確）
図書館あり：AI は図書館に行き、「木がどのように成長するか」についての本と、「速度制限の歴史」についての別の本を見つけます。それらを物語に混ぜ込もうとします。突然、説明は次のようになります：「車がスピード違反をしていましたが、木は通常ゆっくり成長するものであり、この木は速い車に衝突しました。これは 1990 年代の速度制限に関する議論を思い出させます…」

追加の情報は役立たず、AI を混乱させました。それは「ノイズ」を追加し、物語を混乱させたり、一般的なものにしたりしました。

なぜこれが起きたのか？

著者たちは、マルウェアの分析は最初からエッセイを書くことではなく、干し草の山から針を見つけることに似ていると説明しています。

VirusTotal 報告書にはすでにすべての「針」（特定の悪意ある行動）が含まれています。
AI の仕事は、単にそれらの針を抽出し、それらが何を意味するかを伝えることです。
AI に追加の本（RAG）を読むよう強制すると、針ではなく「干し草」（無関係または関連性が薄い情報）を見るようになります。それは、関連しているように聞こえるが、実際にはこの特定のファイルについての物語ではないことに混乱させられます。

セキュリティチームへの教訓

この論文は、この特定の作業（完全な報告書に基づいてマルウェアを説明する）については、少ない方が多いと結論付けています。

過度に複雑にしないこと：すでに完全な事実がある場合、AI に追加情報を検索させないでください。それは AI を幻覚させたり、混乱させたりするだけです。
信号とノイズ：この仕事は、図書館から新しい知識を合成することではなく、データから明確な信号を引き出すことです。
より良いツール：「図書館」アプローチを使う代わりに、セキュリティツールは、事実をよりよく整理するか、無関係な混乱を無視することで、AI が既存の報告書をより慎重に読めるようにすることに焦点を当てるべきです。

要約すれば：証拠がすでに目の前にある場合、AI を図書館へ送ることは、それが何を見ていたべきかを忘れさせるだけです。

技術的概要：説明可能なマルウェア分析における検索拡張生成（RAG）の評価

問題定義

大規模言語モデル（LLM）が、API 呼び出しやレジストリ編集などの低レベルのマルウェア指標を自然言語の説明に変換するためにますます活用される一方で、この特定の分野における検索拡張生成（RAG）の有効性は未検証のままです。既存の仮説では、RAG 経由で外部のセキュリティ知識を注入することが説明の質を向上させるとされています。しかし、マルウェア分析は、すでに十分な文脈データを内包している構造化された証拠（VirusTotal レポートなど）に依存することが多く、このような状況での無差別な検索は、「物語的なノイズ」や、文脈を混乱させる要素、あるいはモデルが重要な信号を抽出する能力を低下させる一般的な記述をもたらす可能性があります。その結果、セキュリティ上重要なパイプラインにおいて誤った説明につながる恐れがあります。

手法

本研究は、構造化された VirusTotal レポートを主要な入力として、RAG ありおよびなしでの LLM の説明可能性を実証的に評価しました。

データセットとアーキテクチャ: データセットは、API 呼び出しやレジストリ操作などの構造化された指標を含む MalGPT コーパスからの 1,702 件の VirusTotal レポートで構成されています。RAG パイプラインは、オーケストレーションに LlamaIndex、ベクトル保存に ChromaDB、LLM ゲートウェイに OpenRouter を使用しています。埋め込みは all-MiniLM-L6-v2 と OpenAI の text-embedding-3-large を用いて生成されます。ドキュメントは 1,024 トークンにチャンク化され、100 トークンのオーバーラップが設定されており、検索は 0.5 の閾値を用いたトップ- $k$ 類似度検索を採用しています。
知識ベース: 検索ソースには、MITRE ATT&CK フレームワーク、研究ガイド（MalGPT、CISA/MITRE マッピングなど）、VirusTotal の技術ドキュメント、マルウェアインテリジェンスデータセット（分類体系、CVE など）が含まれます。
システムプロンプト: 一貫性を強制する構造化された 10 セクションのプロンプトが使用され、出力には判定、非技術的な要約、証拠の引用、マルウェアファミリーのマップ、IoC グループ化、行動要約、信頼度スコア、および実行可能な推奨事項が含まれることが要求されます。
評価プロトコル: 除去実験（アブレーションスタディ）により、GPT OSS 21B、DeepSeek-R1 671B、GPT-5.1 などの各種 LLM を同一プロンプト下で比較し、VirusTotal JSON のみと、検索された文脈で拡張された JSON でのテストを行いました。検索効果を分離するため、ファインチューニングは適用されませんでした。
指標: 説明の質は、BERTScore を用いて測定されました。これは、RAG なしの GPT-5.1 ベースラインに対する意味的類似性を評価するものです。この指標は、言い換えに対する頑健性と、関連性の低い検索された文章によって引き起こされる意味的漂移への感度が高いため選択されました。

主要な結果

実験により、構造化された証拠が既に存在する状況では、RAG が説明の質を向上させるのではなく、頻繁に低下させることが明らかになりました。

性能の低下: 複数のモデルにおいて、検索された文脈の追加は一般的に BERTScore を低下させました。例えば、DeepSeek-R1 は RAG なしで最高スコア（0.8617）を達成しましたが、異なる埋め込みモデルを使用すると 0.8583 および 0.8582 に低下しました。同様に、GPT OSS 21B は、RAG なしの 0.8407 から all-MiniLM-L6-v2 リトリーバー使用時に 0.8184 まで大幅に低下しました。
埋め込みへの感受性: text-embedding-3-large は GPT OSS 21B に対してわずかな改善をもたらしましたが、DeepSeek-R1 には何の利益も提供しませんでした。
低下の原因: 著者は、この低下を、汎用的なマルウェア記述など、意味的に類似しているが実用性の低い文章（「ハードネガティブ」）の検索に起因すると考えています。これらの邪魔者は、モデルの注意を、もっともらしいが無関係な物語へとシフトさせ、構造化された VirusTotal レポートに見られる特定の信号を希薄化させます。
モデルの挙動: 強力なモデル（DeepSeek-R1 など）は、追加の文脈を冗長か、あるいは軽微な矛盾として扱う傾向があり、このタスクが知識補完ではなく信号抽出であることを示す仮説をさらに支持しています。

主要な貢献

RAG 仮説への実証的挑戦: 高品質な構造化された証拠（VirusTotal レポート）が利用可能な場合、マルウェア説明への RAG のデフォルト適用は逆効果であることを示す証拠を提供しました。
タスクの再定義: 著者は、マルウェア説明は主に信号抽出タスクであり、知識検索問題ではないと主張しています。したがって、外部文脈を追加することは、価値を追加することなく、認知的負荷とエラーのリスクをもたらす可能性があります。
設計上の推奨事項: 本論文は、セキュリティワークフローにおける検索誘発ノイズを軽減するための具体的な戦略を概説しています。
- 構造化されたレポートが十分である場合の RAG のスキップ（文脈充足性予測子の使用）。
- ハードネガティブを回避するための厳格な $k$ 制限を適用するドメイン調整済み再ランク付けの適用。
- 固定ウィンドウのチャンク化を、メタデータで強化された行動または IoC 中心のチャンクに置き換えること。
- キャッシュ拡張生成（CAG）やコンテキストエンジニアリングなどの代替手段の探求。

意義と主張

本論文は、セキュリティ上重要なパイプラインにおいて、RAG ベースの説明が基盤となる証拠から逸脱すると、自動化バイアスのリスクが高まると主張しています。著者は、分析者は拡張された物語よりも、一貫性と追跡可能性からより多くの利益を得ると述べています。構造化された推論に依存する分野において RAG が性能を低下させる可能性があることを実証することで、この研究はツール設計の転換を提唱しています。すなわち、検索による知識合成から、構造化された信号抽出へと移行することです。その知見は、ソース証拠が既に包括的であるタスクにおいては、検索メカニズムによって導入される「ノイズ」が、外部知識の注入による潜在的な利益を上回っていることを示唆しています。