💻 computer science

A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts

本論文は、既存の言語モデルの安全性ベンチマークにおける混同問題を解決するため、実行可能なマルウェア要求と有害なセキュリティ知識クエリを厳密に区別する合意ラベル付け分類フレームワークと、検証済みの1,554プロンプトからなる「CODE」バンクを導入する。

原著者： Richard J. Young, Gregory D. Moody

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Richard J. Young, Gregory D. Moody

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

セキュリティガードが悪人を阻止する能力をテストしようとしている状況を想像してください。ガードに渡すリクエストのリストがあります。あるリクエストは、ガードに実弾入りの拳銃を渡して「この人を撃て」と言うようなものです。他のリクエストは、教科書を渡して「銃の仕組みと狙い方を説明せよ」と言うようなものです。

長らく、AI の安全性をテストする研究者たちは、これら 2 種類のリクエストを 1 つの大きな山に混ぜ合わせていました。AI に「ウイルスを作成せよ（実弾入りの拳銃）」と求め、同時に「ウイルスの拡散方法を説明せよ（教科書）」と求め、その上で AI が「ノー」と答えた回数を単純に数えるだけだったのです。

この論文の著者であるリチャード・J・ヤングとグレゴリー・D・ムーディは、このようなテスト方法は乱雑だと指摘します。AI がウイルスの作成は拒否するものの、教科書的な説明は喜んで行う、あるいはその逆の場合、単一の「ノー」の回数では AI の脳内で何が起きているのかを把握できません。これは、ガードが銃弾を止める能力を測る際に、ガードが「銃弾に関する知識」を止める能力も一緒に数えてしまうようなものです。ガードが武器を止めるのが得意なのか、それとも単に情報を止めるのが得意なのかを区別できません。

核となるアイデア：「武器」と「知識」の分離

これを解決するため、研究者たちは新しいツールを作成しました。「検証済みプロンプトバンク」です。これは、非常に整理され、二重に確認された書棚のようなものです。彼らは 4 つの既存のテストリストから数千の質問を取り出し、2 つの明確な引き出しに分類しました。

「武器」引き出し：これらは、マルウェアやコンピュータ上で実行可能なスクリプトなど、実際に危険なものを「構築」することを AI に求めるプロンプトです。これらは「実行可能な武器」です。
「知識」引き出し：これらは、コードを実際に構築することなく、ウイルスの仕組みやシステムへのハッキング方法を「説明」するなど、危険なものを「記述」することを AI に求めるプロンプトです。

書棚の作り方

彼らは単に紙を分類しただけではありません。分類が正確であることを確信したかったのです。そこで、5 つの異なる AI 判事からなる「陪審員」を設置しました。これらの判事は、5 つの異なるテック企業（Anthropic、OpenAI、Google、Zhipu AI、Alibaba）から選ばれました。

5 人の異なる専門家が単一のリクエストを検討すると想像してください。彼らは全員、「これは武器を求めるリクエストか、それとも単なる情報求めるリクエストか？」と投票しなければなりません。

5 人中少なくとも 3 人が同意すれば、それが最終的な答えとなります。
彼らは、合意度を評価するために統計ツール（フレスのカッパ係数）を用いて作業を検証しました。その結果は「ほぼ完璧」な一致（1.0 点中 0.876 点）でした。つまり、この分類は極めて信頼性が高いことを意味します。

結果：クリーンで検証済みのリスト

17,000 件以上の元のリクエストを分類し、重複や曖昧なものを除外した後、彼らは「武器」（悪意のあるコード）を要求するもののみを対象とした、クリーンで検証済みの1,554 件のプロンプトのリストにたどり着きました。また、後で比較のために使用する「知識」に関する 388 件のプロンプトのリストも保持しました。

なぜこれが重要なのか

この論文以前、研究者が AI の安全性をテストしようとする場合、自分自身で「武器」と「知識」のどちらに該当するかを推測しながら、ごちゃごちゃとした質問の山を構築する必要がありました。これは、すべての研究がわずかに異なることを意味し、結果を比較することを困難にしていました。

この論文は、標準化され、事前に分類された質問セットを提供します。これにより、研究者は「私たちは AI を、これら特定の 1,554 件の武器リクエストでテストしました」と言うことができ、他の誰もがその意味を正確に理解できるようになります。これにより推測が排除され、異なる AI モデルが危険なリクエストをどのように処理するかを、公平で「りんご同士」の比較が可能になります。

重要な安全に関する注記

著者たちは非常に明確に述べています。彼らは新しいウイルスや危険なコードを一切作成していません。他の学術研究から既存の質問を取り出し、分類しただけです。このツールの目的は、どこで失敗するかを正確に理解することで AI をより安全にし、誰かが攻撃を構築するのを助けることではありません。データは「ゲート付き」システムによって保護されており、実際の質問のテキストにアクセスできるのは、安全性に取り組む認定された研究者のみです。

要約すれば、この論文は AI の安全性を測定するための、より良く、よりクリーンな定規を構築しました。「悪いことを実行する」リクエストと「悪いことについて語る」リクエストを分離することで、それらを正確に測定できるようにしたのです。

技術的概要：悪意のあるコード生成のための検証済みプロンプトバンク

1. 問題定義

悪意のあるコーディングタスクにおける大規模言語モデル（LLM）の拒絶を評価する現在のベンチマークは、致命的な方法論的欠陥に苦しんでいます。すなわち、実行可能な悪意のあるソフトウェア（武器）に関するリクエストと、有害なセキュリティ知識（情報）に関するリクエストを混同している点です。既存のデータセットには、「キーロガーを作成せよ」（実行可能コード）というプロンプトと、「キーロガーの仕組みを説明せよ」（記述的知識）というプロンプトが混在しています。

この混同は問題です。なぜなら、これら 2 種類のリクエストは、安全性に調整されたモデルにおいて、おそらく異なる拒絶経路を触发するからです。異質な混合物全体で計算された単一の拒絶率統計では、マルウェアの作成は拒絶するが暗号学を説明するモデルと、マルウェアを作成するが暗号学の記述は拒絶するモデルを区別できません。その結果、現在の文献における「コード安全性拒絶率」は未知の構成概念を測定しており、観測されない変動を導入して、研究間の比較可能性やメカニズムレベルの分析を制限しています。さらに、以前のベンチマークはしばしば単一の注釈者によるラベル付けや、厳密な多者間合意なしのペアワイズ合意に依存しており、残存するクラス境界の曖昧さを残しています。

2. 手法

本論文は、実行可能コードのリクエストと知識ベースのプロンプトを分離するために、多者間合意プロトコルを通じて実装された**「武器対知識」分類軸**を導入します。

2.1 データの統合と事前フィルタリング

本研究は、4 つの公開ベンチマークから抽出された3,133 件の候補プロンプトを統合しました。

RMCBench: 473 件のプロンプト（すべてコード生成リクエスト）。
MalwareBench: 320 件のフィルタリング済みプロンプト（3,520 件のサブセット。敵対的言い換えバリエーションを除外）。
CySecBench: 1,820 件のプロンプト（命令形コード生成フレーズのための正規表現ベースのスクリーニングを用いて、12,662 件の生プロンプトからフィルタリング）。
harmful_behaviors（AdvBench より）: 520 件のコンテンツ安全性プロンプト。

ルールベースの事前フィルタにより、完全な重複とコード生成リクエストではないもの（例：概念に関する質問）を除去し、初期分類プールには実行可能な出力を妥当に要求するプロンプトのみを保持しました。

2.2 5 モデル合意分類器

3,133 件の各プロンプトは、判事として機能する5 つの大規模言語モデルのパネルによって独立して分類されました。このパネルは意図的にベンダー多様性（Anthropic、OpenAI、Google、Zhipu AI、Alibaba の 4 つのベンダーファミリーに跨る）を持ち、相関するラベル付けエラーを軽減するために、汎用モデルとコード特化モデルの両方を含みました。

Claude Sonnet 4.6（Anthropic、汎用）
GPT-5.3-Codex（OpenAI、コード特化）
Gemini 3 Flash（Google、汎用）
GLM-5（Zhipu AI、汎用）
Qwen3-Coder-Next（Alibaba、コード特化）

分類タスク: 判事には二値ラベルの割り当てが指示されました。

CODE: プロンプトが実行可能コード、スクリプト、または機能するソフトウェアアーティファクトの生成を求めている場合。
KNOWLEDGE: プロンプトが自然言語での情報、戦略、チュートリアル、または説明を求めている場合。

合意ルール: 5 人中 3 人の多数決ルールが適用されました。少なくとも 3 人の判事が CODE とラベルした場合、プロンプトは合意 CODE セットに割り当てられ、少なくとも 3 人が KNOWLEDGE とラベルした場合、合意 KNOWLEDGE セットに割り当てられました。3 人中 3 人の多数決に達しなかったプロンプトはなく、「曖昧」バケットは空のままとなりました。

2.3 信頼性指標

判者間信頼性は、Fleiss' $\kappa$ を用いて定量化され、10,000 回イテレーションのブートストラップ 95% 信頼区間が算出されました。この指標は、5 人の判事すべてが有効なラベルを返したプロンプトのサブセット（2,488 件）に対して計算されました。

3. 主要な貢献

主な貢献は、コード安全性研究のための標準化され、検証済みの基盤として機能する合意ラベル付きプロンプトバンクの公開です。

コード安全性バンク: 1,554 件の合意 CODE プロンプト（1,551 件の一意のプロンプト文字列を表す）のデータセット。このセットは、実行可能な悪意のあるソフトウェアに関するリクエストを分離します。
知識比較セット: 補完研究における被験者内比較に使用される、388 件の合意 KNOWLEDGE プロンプトのセット（harmful_behaviors ソースから exclusively 派生）。
検証: データセットには、個々の判事ラベル、合意段階（例：5/5、4/5）、ソース分類カテゴリ（27 のマルウェアカテゴリ）を含むプロンプトごとのメタデータが含まれています。
オープンサイエンス: 統合コード、合意ラベル、信頼性統計は、GitHub でオープンソース（MIT ライセンス）として公開されています。プロンプトテキストは、デュアルユースリスクを軽減しつつ真摯な研究を可能にするため、Hugging Face でゲート付きアクセスデータセットとして利用可能です。

4. 結果

4.1 フィルタリングカスケード

パイプラインは、17,175 件の生ソースプロンプトを最終アーティファクトに削減しました。

事前フィルタリング: プールを 3,133 件の候補に削減。
合意: 1,618 件のプロンプトが CODE とラベルされ、1,515 件が KNOWLEDGE とラベルされました。
最終アーティファクト: 長さおよびメタデータ品質のパスの後、1,554 件の CODE プロンプトと388 件の KNOWLEDGE プロンプトが公開されました。

4.2 判者間信頼性

全体の合意: 5 人の判事は、Landis & Koch の慣習によれば**「ほぼ完璧」**の合意に対応する Fleiss' $\kappa$ 0.876 [95% CI: 0.862, 0.888] を達成しました。
全会一致: 3,133 件のプロンプトのうち69.3%（2,170 件）が全会一致の 5/5 合意を受けました。
ゼロの曖昧さ: 3,133 件のすべてのプロンプトが 5 人中 3 人の閾値に達しました。曖昧として除外されたプロンプトはゼロ件でした。
ソースごとの信頼性:
- MalwareBench: $\kappa = 1.000$ （完全な合意）。
- harmful_behaviors: $\kappa = 0.942$ （「ほぼ完璧」）。
- CySecBench: $\kappa = 0.775$ （「実質的」）、このソースにおけるより高い境界の曖昧さを反映。
- RMCBench: $\kappa \approx 0.001$ （すべてのプロンプトが CODE だったための変動の欠如による退化ケース）。
ペアワイズ合意: 判者間の 10 組のすべてのペアワイズ比較が「実質的」の閾値（ $\kappa \ge 0.61$ ）を超え、そのうち 10 組が「ほぼ完璧」（ $\kappa \ge 0.81$ ）を超えました。

4.3 判者のパフォーマンス

エラー率: エラー率はモデルによって大きく異なりました（GLM-5 は 1 エラー、Gemini 3 Flash は 430 エラー）。しかし、5 人中 3 人の合意ルールはこれらのエラーを効果的に許容し、データセット全体で合意エラーゼロという結果をもたらしました。
コード特化対汎用: コード特化判事（GPT-5.3-Codex、Qwen3-Coder-Next）は、汎用判事よりも平均的にわずかに高い CODE 数を生成し、コードにチューニングされた事前学習が、実行可能リクエストと記述的リクエストを区別するのに役立つという仮説を支持しました。

5. 意義と主張

本論文は、統合されたベンチマーク全体で実行可能武器リクエストと有害知識リクエストを明示的に分離する、最初の多者間合意検証済みプロンプトバンクを提供すると控えめに主張しています。

方法論的解決: この研究は、以前の悪意のあるコード生成文献を混乱させてきた異なるリクエストタイプの混同を解決します。実行可能コードのリクエストを分離することで、コード安全性評価が捉えようとする特定の構成概念をより正確に測定することを可能にします。
標準化: このアーティファクトは、下流の研究が、フィルタリングロジックを独立して再構築するのではなく、標準化され、信頼性が文書化された基盤を採用することを可能にします。これにより、報告される拒絶率における観測されない変動が減少し、再現可能なモデル間比較を支援します。
貢献の範囲: 本論文は、「武器対知識」軸が実際にはモデルの行動を分離するかどうかは、補完ベンチマーク研究に委ねられた実証的な問いであると明示的に述べています。現在の貢献は、この軸上のモデルの行動結果ではなく、アーティファクト自体および分類軸の検証です。
倫理的立場: データセットは、防御的研究（拒絶の測定、安全性の調整、解釈可能性）を目的としています。著者は、新しいマルウェアは作成されず、アーティファクトが攻撃を実行するために使用されるのを防ぐためにデュアルユース軽減フレームワーク（ゲート付きアクセス）に従ってリリースされていることを強調しています。