技術的概要：最小限のプロンプト摂動がコードの脆弱性を引き起こす

問題提起

大規模言語モデル（LLM）ベースのコーディング支援ツールが開発者の生産性向上のために急速に採用される中、それらが生成するコードのセキュリティは依然として重大な懸念事項です。先行研究では、わずかなプロンプト摂動（例：タイプミス、言い換え）が生成コードの機能的正確性を低下させることが実証されています。しかし、そのような摂動のセキュリティへの影響は未研究のままです。開発における自然な仮説として、プロンプトの表面レベルの変異は出力のセキュリティ態勢を変化させるべきではないという考えがあります。本論文は、最小限の benign なプロンプト変異が、LLM 生成コードをセキュアな状態から脆弱な状態へ、あるいはその逆に転換させるかどうか、およびこれらの脆弱性がコード生成開始前にモデルの内部表現にエンコードされているかどうかを調査します。

手法

ベンチマークとモデル

本研究は、CWEval ベンチマーク（Peng et al., 2025）を利用します。これは、CyberSecEval や SecurityEval などの先行するセキュリティベンチマークとは異なり、成果駆動型のテストオラクルを通じて機能性とセキュリティを同時に評価する点が特徴です。このベンチマークは、C、C++、Go、JavaScript、Python の 5 つのプログラミング言語にまたがる 31 種類の共通弱点Enumeration（CWE）を網羅しています。

実験には、3 つのオープンソースでコード特化型の LLM が用いられました：

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

実験は安定した評価を確保するため温度パラメータ $T=0$ で実施され、感度分析は $T=0.8$ で行われました。

摂動戦略

著者は、意味的混乱の度合いが増すように分類されたプロンプトに対して体系的な変異を適用しました：

1. 単一文字の変更： 1 つの文字をランダムな ASCII 文字に置換する。
2. 3 文字の変更： 単一のトークン内で 3 つのランダムな文字を入れ替える。
3. トークン全体置換： 埋め込みコサイン類似度に基づき、類似したランダムなトークンでトークンを置換する。

隠れ状態のプロービング

生成前に脆弱性のシグナルが存在するかどうかを判断するため、著者はプロンプトの最終トークンの隠れ状態を用いて、線形（L2 正則化ロジスティック回帰）および浅い非線形（2 層 MLP）分類器を訓練しました。これらのプローブは、特定の（モデル、言語、CWE、変異）インスタンスが以下の結果をもたらすかどうかを予測します：

1. 機能的なコード。
2. 機能的かつセキュアなコード。

プローブは、ハイパーパラメータ調整のために 5 回交差検証を用いた 80/20 の訓練/テスト分割により、各（モデル、言語、CWE、ターゲット）セルごとに訓練されました。

主要な貢献

1. プロンプトの脆弱性の実証： 本研究は、単一文字のような微小な変異さえも、生成コードをセキュアから脆弱へ（およびその逆へ）転換させ、機能性とセキュリティの両方に同時に影響を与えることを示しました。
2. 変異要因の分解： 研究により、ある種の摂動においてはプロンプト内での変異の位置が決定的であること（例：プロンプト中央部の変異が最も有害）、一方で他の摂動においては特定の文字置換が結果を決定することが特定されました。
3. プローブ性能の体系的な変動： 本論文は、隠れ状態からの脆弱性の予測可能性が CWE カテゴリによって体系的に変動することを示しました。構造的変更（入力処理）を必要とする脆弱性は、単一の局所的な選択（セキュアなデフォルト）に依存するものよりも予測しやすいです。

結果

変異の影響

• 普及率： 変異は、すべてのモデルと言語にわたる CWE の大部分に影響を及ぼします。
• 方向性： 変異は一般的に、改善よりも悪化をもたらします。CodeLlama (70B) と DeepSeek-Coder (33B) において、劣化率（セキュアなコードを脆弱なコードへ転換させる割合）は改善率を著しく上回ります。
• モデルの堅牢性： Qwen3-Coder (30B) は最も堅牢な性能を示し、他の 2 つのモデルと比較して一貫して劣化の幅が小さくなりました。
• 言語による差異： パターンは言語によって異なります。Python の場合、多くの CWE が影響を受けますが、各 CWE 内で結果を変化させる変異の割合は低いです。一方、Go の場合、影響を受ける CWE は少ないものの、影響を受けるものは変異に対して強く反応します。

プロービング分析

• 全体的な予測可能性： プロンプト末尾の隠れ状態から機能的かつセキュアな結果を予測するための平均 AUC（曲線下面積）は、モデル全体で約 0.70 です。
• CWE 固有の分散：
  • グループ I（入力処理）： 信頼できない入力センシティブなシンクに到達する脆弱性（例：SQL インジェクション、パストラバーサル）は、検証ロジックの追加を必要とします。これらは隠れ状態から非常に予測しやすいです（平均 AUC: 0.753）。
  • グループ D（セキュアなデフォルト）： 修正が単一の局所的な選択（例：強力なアルゴリズム、安全なフラグ、または鍵サイズの選択）を伴う脆弱性は、予測が困難です（平均 AUC: 0.674）。
• 統計的有意性： 片側マン・ホイットニーの U 検定により、2 つのグループ間に統計的に有意な差があることが確認されました（$p = 0.009$）。

プロービング結果の解釈

著者は、プロンプト末尾の隠れ状態が、モデルが早期にコミットする決定（検証ガードの追加などの構造的変更）をエンコードしていると仮説立てています。対照的に、生成中の特定のトークン位置まで先送りされる決定（特定のアルゴリズムパラメータの選択など）は、次のトークンの分布によって支配され、したがって最終的なプロンプト表現では見えにくくなります。

意義と主張

本論文は、LLM 支援コーディングに対する脅威モデルが、敵対的なプロンプトインジェクションを超えて、通常のプロンプト変異（タイプミス、言い換え）を含むことを主張しています。発見事項は以下のことを示しています：

1. 入力処理の欠陥は、プロンプト表現を分析することで、生成開始前に検出および緩和される可能性があります。
2. セキュアなデフォルトの欠陥はプロンプト段階での検出が困難であり、デコードプロセス中の介入が必要となる可能性があります。

著者は防御的な姿勢を維持し、自らの研究が悪用レシピを提供するのではなく、良性の使用における脆弱性を特定していることを強調しています。また、最先端規模のクローズドモデルに対するプロービングの計算コストや、CWE グループ化の手工的な性質に関する限界を指摘し、将来的な研究として、プロンプト末尾で見逃された「セキュアなデフォルト」のシグナルを捉えるために、生成中の潜在表現をプローブすることを提案しています。