技術サマリー：SecureForge

問題定義

大規模言語モデル（LLM）コーディングエージェントは前例のない規模でコードを生成していますが、人間の介入なしにコードベースにサイバーセキュリティの脆弱性を頻繁に持ち込んでいます。本研究で特定された重要な失敗モードは、「機能的には正しいがセキュリティ上脆弱なコード」の生成です。最先端モデルにセキュリティが強化された本番用コードの作成を明示的に指示し、回避すべき特定の脆弱性に関するコンテキストを提供しても、250 の benign なコーディングプロンプトのコーパス全体で、約 23% の確率で検証可能な脆弱性を生み出します。

これらのリスクを軽減するための既存のアプローチには、以下の重大な欠陥があります：

1. 整合性の取れていない脅威モデル：従来のレッドチームングは、 benign なコーディングタスクに対する典型的なユーザーインタラクションを反映していない対話的プロンプトに依存することが多いです。
2. 不十分なカバレッジ：特定の共通脆弱性分類（CWE）を標的とした手作りのシナリオは、誤って脆弱なコードを生成する可能性のある benign なプロンプトの全空間を特徴付けるのに失敗しています。
3. 展開の障壁：現在の強化手法の多くは、ファインチューニングやプレフィックスチューニングのためのホワイトボックス方式の重みアクセスを必要とし、API を介してクローズドウェイトモデルを使用する開発者にはアクセスできません。さらに、ファインチューニングは分布のシフトを引き起こし、一般的なコーディング能力を低下させるリスクがあります。

モデルの重み更新を必要とせず、最先端モデルが生成するコードへの共通脆弱性の導入を測定し防止するための、容易に展開可能で自動化された推論時アプローチが存在していません。

手法：SecureForge パイプライン

SecureForge は、共通の脆弱性に対する AI コーディングエージェントを能動的に強化するために設計された軽量で自動化されたパイプラインです。テスト対象モデルへの API アクセスと静的解析ツールのみのアクセスを必要とします。このパイプラインは 3 つの明確な段階で動作します：

1. シングルショット偽証（発見）

第一段階では、静的に検証可能な脆弱性を引き起こす benign なシードプロンプトを特定します。

• プロンプト生成：MITRE CWE データベースから出発し、既知の脆弱性に関連する特定のライブラリを利用する現実的なコーディングタスクを生成します（例：Django における SQL インジェクション）。
• Benign なフィルタリング：これらのプロンプトは、攻撃、脆弱性、または CWE の明示的な言及を除去するように修正されます。ジェネレーターには、プロンプトが標準的なユーザーリクエストとして見えるように、本番品質の言語（例：「入力が適切にサニタイズされていることを確認する」）を使用するよう指示されます。
• 評価：対象モデルは、温度パラメータ 1.0 でこれらのプロンプトに対するコードを生成します。出力は Semgrep（静的解析ツール）を使用して分析されます。ユニットテストには合格するが静的解析で失敗（脆弱性をトリガー）するコードを生成したプロンプトは、「偽証された」シードプロンプトとして保持されます。

2. 失敗分布の発見（増幅）

初期の失敗例の希少性を克服し、多様性を確保するために、SecureForge は マルコフ連鎖モンテカルロ（MCMC） サンプリング、具体的にはメトロポリス・ヘイスティングス（MH）基準を利用します。

• 目的：特定の脆弱性タイプ $F_j$ に対する失敗の条件付き分布 $p(\cdot | F_j)$ からサンプリングすることです。
• プロセス：シードプロンプトから出発し、探索カーネル（言語モデルによる言い換えプロンプト）が候補となるバリエーションを生成します。新しいプロンプト $x'$ の受容は、遷移カーネルで調整された、その正規化されていない失敗確率 $\bar{p}(x')$ と現在のプロンプトの確率との比率によって決定されます。
• 確率推定：失敗確率 $p_{fail}(x)$ は、プロンプトを複数回実行し、成功/失敗の回数にベータ分布を当てはめることで推定され、分散が閾値以下に収束するまで行われます。
• 結果：このプロセスは、少数のシードプロンプトを、高い脆弱性率を維持しつつ失敗分布を探索する大規模で多様な合成コーパス（80,000 プロンプト）へと増幅します。

3. プロンプト最適化による強化

最終段階では、モデルの重みを変更することなく、セキュリティの低いコードを生成する確率を低減させるシステムプロンプトを最適化します。

• 最適化アルゴリズム：パイプラインは、自己反省を採用するゼロ次遺伝アルゴリズムである GEPA（Genetic-Pareto） を使用します。
• プロセス：一般的なシステムプロンプトから開始し、GEPA は候補となるシステムプロンプトを反復的に生成します。各候補は、失敗プロンプトの完全な合成コーパスに対して評価されます。
• 適合度関数：アルゴリズムは、機能的な正しさ（ユニットテストの合格）を維持しつつ、コーパス全体での累積失敗確率を最小化します。
• フィードバックループ：静的解析ツールは、生成されたコードに脆弱性が含まれているかどうかに基づいて信号（±1 スコア）を提供します。システムプロンプトは、パレート最適性に基づいて変異と選択が行われ、セキュリティと能力のバランスが取られます。

主要な貢献

1. Benign な失敗の実証的特徴付け：著者らは、最先端モデルがセキュリティを求められ、CWE のコンテキストが提供された場合でも、セキュリティの低いコードを生成することを示しました。出力の 12.7% が脆弱でありながらユニットテストを合格していることが判明し、これらの失敗の不可視性を浮き彫りにしました。
2. MCMC ベースの増幅：本論文は、MCMC を使用して個々の偽証例を多様な失敗シナリオのコーパスへと拡張する手法を導入します。アブレーション研究により、この手法は単純な言い換えよりも最大 2 倍多く、新しい脆弱なプロンプトを発見することが示されました。
3. 推論時強化：SecureForge は、システムプロンプトの最適化のみを通じてセキュリティを向上させる展開可能なソリューションを提供します。ファインチューニング、ホワイトボックスアクセス、または最適化段階における実ユーザープロンプト分布への曝露を必要としません。
4. オープンソースツールキット：著者らは、benign な失敗プロンプトの生成から API またはローカル展開を介したシステムプロンプトの最適化まで、パイプライン全体を自動化するツールキット（secureforge）をリリースしました。

結果

評価は、オープンソースモデル（Qwen、CodeLlama、Kimi）と最先端のクローズドモデル（GPT-5 シリーズ、Claude Sonnet 4.6）のスイートに対して実施されました。

• 脆弱性の削減：SecureForge は、テストされたモデル全体で最大 48% の削減という統計的に有意な脆弱性率の削減を達成しました。
• パレート改善：最適化されたシステムプロンプトは、ユニットテストの成功率と出力のセキュリティの両方において同時改善をもたらしました。モデルは、コーディング能力を低下させることなく、（テスト合格、セキュリティ）平面の「より安全」な象限へと大幅に移動しました。
• ゼロショット転移：合成データ上で最適化されたシステムプロンプトは、SWE-chat データセットからの実世界、"in-the-wild"なコーディングエージェントプロンプトに対して効果的に転移しました。この転移は、最適化段階で実ユーザープロンプト分布に一切曝露されることなく行われ、実世界のタスクにおいてテスト合格とセキュリティの同時率を最大 13.5% 向上させました。
• ベースライン比較：単純なプロンプティング戦略（セキュリティ強化されたコードを求めたり CWE をリストアップしたりすること）は、SecureForge と同程度の脆弱性率の削減には失敗し、テスト合格のシナリオであっても二桁の脆弱性率を残しました。

意義と主張

本論文は、SecureForge が、共通の脆弱性に対するコーディングエージェントを強化するための自動化された推論時メカニズムを提供することで、LLM セキュリティにおける重要なギャップを埋めると主張しています。

• 安全性トレーニングを超えて：結果は、最先端モデルにおける既存の安全性トレーニングが、benign で意図しないユーザーリクエストに起因する脆弱性を防ぐには不十分であることを示唆しています。セキュリティを明示的に求めたり CWE リストを提供したりするだけでは十分ではありません。
• スケーラブルな強化：重み更新ではなく静的解析とプロンプト最適化に依存することで、SecureForge は開発者がクローズドウェイトモデルを即座に保護するための実用的な道筋を提供します。
• セキュア・バイ・デザイン：著者らは、このアプローチが大規模に実装されれば、技術提供者がコード出荷前に失敗モードを事前に特定し軽減することで、「セキュア・バイ・デザイン」のコミットメントを果たすのに役立つと提唱しています。

本研究は、現在の評価が単一ターンでの Python コード生成に限定されているものの、このパイプラインは、真実の静的解析のみを必要とし人間の注釈を不要とする、最先端 LLM におけるコーディングのセキュリティ侵害を発見し削減するための一般的なフレームワークを提供することを強調しています。