技術要約：コードのプロベナンス（出自）とセキュリティパターンに関するオープンソース・インテリジェンス

問題提起

現在、開発者は2つの異なる起源からソースコードを取得している。一つはStack Overflowのようなプラットフォームに蓄積された人間の回答であり、もう一つは大規模言語モデル（LLM）の出力である。両方のソースには、測定可能なセキュリティコストが伴う。人間によるソースは、高評価を得ている回答の古さに起因して、安全でないパターンを伝播させることが多い。一方で、LLMが生成するコードは、不安全な出力や開発者の過度な依存といった新たなリスクをもたらす。本論文は、この分離に関する以下の2つの核心的な問いに取り組む。

1. プロベナンス（出自）： コードのスニペット自体から、軽量で解釈可能な特徴量を用いて、その起源（人間か、あるいは特定のLLMか）を復元できるか？
2. セキュリティの分岐： これら2つのソースは、同一のプログラミングタスクに対して異なるセキュリティパターンを採用しているのか。もしそうであれば、どこで分岐するのか？

本研究は、完全な再現性を確保するため、公開データ（Stack Overflow API）とオープンウェイトモデルのみを利用した、オープンソース・インテリジェンス（OSINT）の実践として構成されている。

メソドロジー

著者らは、31のセキュリティに敏感なプログラミングタスク（例：PKCEを用いたOAuth、JWT検証、パスワードハッシュ化、SQLアクセス）にわたるコードサンプルを収集・分析するための、完全に再現可能なデータ駆動型パイプラインを構築した。

• データ収集:

  • 人間コーパス： 各タスクに対する特定の検索クエリを用いて、公開Stack Overflow API経由で取得。時間的バイアスを考慮するため、正のスコアが付与された回答から最大のコードブロックを保持し、その年代とスコアを記録した。
  • モデルコーパス： OpenAI互換のインターフェースを介して、9種類の多様なオープンウェイトモデル（Mistral、Nemotron、Qwen、Tencentなどのファミリーにまたがる）を公開するローカルゲートウェイを使用して生成。プロンプトは、単一の完全な解決策を要求する固定のシステム指示と共に、逐次そのまま送信された。
  • 規模： 最終的なデータセットは、5つの言語（Python、JavaScript、Go、Java、HTML）にわたる528個の実サンプル（人間117、モデル411）で構成される。

• 特徴量抽出:

  • セキュリティパターン・チェック： 各タスクに対して「セキュア」または「インセキュア」とタグ付けされた決定論的な正規表現。
  • スタイル指標： コードの形状を捉える言語非依存の指標。行数、文字数、コメント密度、インポート数、エラーハンドリングの有無、平均行長などを含む。

• 分析:

  • プロベナンス属性特定： 人間とモデルのコードを区別する（二値分類）、およびモデルコードを特定のモデルに帰属させる（7クラス分類）ためのランダムフォレスト分類器を、交差検証を用いて訓練した。
  • セキュリティ・スコアリング： 各サンプルについて、採用されたセキュアなパターンの割合から、存在するインセキュアなパターンの割合を差し引いた決定論的なスコアを算出した。
  • 脆弱性修復ケーススタディ： 21個のインセキュアなコードスニペット（12のCWEクラスをカバー）のサブセットをモデルに提供し、修正の指示を与えた。成功の定義は、厳密に「インセキュアなパターンを削除し、かつ正しい防御策を追加すること」とした。

主な貢献

1. 再現可能なOSINTパイプライン： 仕様駆動型のパイプラインであり、新しいタスクを追加するには単一のデータ入力（プロンプト、クエリ、検出器）を行うだけでよく、コードの変更なしに研究を一般化できる。
2. プロベナンス属性特定の成果： コードのプロベナンスが、表面的な特徴量から高度に復元可能であることを実証した。
3. セキュリティ分岐の分析： 人間とモデルが採用するセキュリティパターンの詳細な比較を行い、改善が必要な領域と退行が発生している領域を特定した。
4. クロス言語検証： セキュリティとスタイルの違いが、ソースの特性なのか、あるいはプログラミング言語の特性なのかを分析した。
5. フェイルクローズド・チェッカー： 保存されたアーティファクトからすべての報告数値を再導出するメカニズムを備え、結果の整合性を保証している。

主な結果

1. プロベナンス属性特定

• 人間 vs モデル： 分類器は、人間とモデルのコードを93%の精度（モデルクラスのF1値は0.955）で分離し、78%の多数派クラス・ベースラインを大幅に上回った。
• モデル vs モデル： 7クラス分類器は、モデルが記述したサンプルを特定の起源に48%の精度（ベースラインの17%に対し）で帰属させた。
• 特徴量の重要度： シグナルは、セキュリティ内容よりもスタイル（コードのサイズ、構造、スキャフォールディング）によって支配されている。モデルのコードは、人間によるスニペットよりも大幅に大きく、構造化されており、エラーハンドリングやインポートが多く含まれている。
• 言語固有性： プロベナンスの境界は、言語間で対称ではない。JavaScriptで訓練された分類器はPythonに対して良好に転移する（精度89%）が、その逆（PythonからJavaScriptへ）はチャンスレベル近くまで低下する（論文内の特定の文脈では、ベースラインに対する性能低下、あるいは言語依存のシグナルを示唆している）。

2. セキュリティの分岐

• 集計セキュリティ： モデルは、人間コーパスよりも大幅に高い割合でセキュアなパターンを採用している。集計セキュリティスコアは、モデルが0.40であるのに対し、人間は0.12であった。
• 改善領域： モデルは、現代的なセキュアコーディングのガイダンスが確立されており、ライブラリベースであるタスクにおいて優れている。
  • パスワードハッシュ化のための強力な鍵派生関数（KDF）の使用。
  • OAuthにおけるPKCEの実装。
  • SQLにおけるパラメータ化クエリの使用。
  • JWTのアルゴリズムの固定および有効期限のチェック。
• 退行領域（「完全性のハザード」）： モデルは特定の失敗モードを導入している：ハードコードされた秘密情報である。モデルは「完全で実行可能なプログラム」を生成しようとするため、プレースホルダーとなる秘密情報（例：client_secret = "placeholder"）をそのままインライン化してしまう傾向がある。対照的に、人間の回答ではこれらの値を完全に省略し、読者が設定できるようにしていることが多い。
• 修復能力： 脆弱性修復ケーススタディにおいて、モデルは77%の成功率を達成した。しかし、16%の「修復」は、インセキュアなパターンは削除されているものの、セキュアな防御策が追加されていない（例：md5呼び出しを削除したが、パスワードを平文で保存したままにする）という部分的な修正であった。

3. クロス言語分析

• セキュリティ： セキュリティの分岐（防御パターンについてはモデルの方が安全だが、秘密情報の扱いについては劣る）は、Python、JavaScript、Goにおいて一貫して保持されている。
• スタイル： プロベナンス属性を駆動するスタイルの違いは、言語のエコシステムによって異なる。例えば、GoとPythonの間ではスキャフォールディングの量が大きく異なるため、プロベナンス分類器は言語ごとに校正される必要がある。

意義と主張

本論文は、これら2つのソースが単に「安全」か「不安全」かという単純な比較ができるわけではないと主張している。むしろ、彼らは異なる場所で失敗するのである。

• 人間によるコード： ソース資料の古さに起因する、レガシーな欠落（例：CSRFトークンの欠如、弱いハッシュ化）が発生しやすい。
• モデルによるコード： 自己完結型のプログラムを生成するという目的により、「完全性のハザード」（例：インライン化された秘密情報、SSRFのような言及されていない脅威へのチェック漏れ）が発生しやすい。

レビューへの示唆：
著者らは、プロベナンス属性特定がコードレビューの**ルーター（振り分け器）**として機能することを提案している。

• 人間生成とフラグが立てられたコードは、レガシーな防御の欠落（ハッシング、デフォルトのトークンなど）のチェックへとルーティングされるべきである。
• モデル生成とフラグが立てられたコードは、インライン化された秘密情報やプレースホルダー設定のチェックへとルーティングされるべきである。

限界と謙虚な姿勢：

• 本研究は、セマンティックな分析ではなく、語彙的なパターンマッチング（正規表現）に依存している。したがって、高いセキュリティスコアはパターンの採用を示すものであり、絶対的な安全性を示すものではない。
• モデルコーパスは、特定のゲートウェイを通じて利用可能なオープンウェイトモデルに限定されており、主要な商用アシスタントは含まれていない。
• プロベナンス分類器はクローズドワールドの実験である。未知のモデルが存在するオープンワールドの設定では、その精度は低下する可能性がある。
• 結果はスナップショットである。人間コーパス（経年変化）とモデルの学習データ（進化中）の両方が、時間の経過とともに変化する。

本論文は、モデルが最近のセキュリティコンセンサスを人間によるアーカイブされたコーパスよりも良く吸収している一方で、完全性を求める性質によって新たなリスクを導入していると結論付けている。提供されたパイプラインにより、コミュニティはモデルや慣習が進化するにつれて、これらの指標を再評価することが可能となる。