論文「LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories」の技術的サマリー

本論文は、オープンソースソフトウェア（OSS）エコシステムに組み込まれた大規模言語モデル（LLM）関連コンポーネントの脆弱性について、GitHub Security Advisories (GHSAs) を対象とした実証研究を行ったものです。従来の脆弱性開示フレームワークが、LLM によるモデル仲介のリスクを適切に捉えきれているかどうかに焦点を当て、CWE（Common Weakness Enumeration）と OWASP Top 10 for LLM Applications 2025 の両方の視点から分析を行いました。

以下に、問題定義、手法、主要貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

LLM は、コード生成、自律エージェント、RAG（検索拡張生成）など、現代の OSS において不可欠なコンポーネントとなっています。しかし、LLM ベースのシステムは、従来の固定された入出力構造とは異なり、自然言語プロンプトを処理し、確率的な出力を生成して、ファイル操作やコマンド実行などの下流アクションをトリガーする特徴があります。

この非決定論的なモデルの挙動と実行可能コンポーネントの結合により、以下の課題が生じています：

• リスクの可視化不足: 従来の脆弱性開示（GHSAs）は、コードレベルの欠陥（CWE）を記録しますが、プロンプト操作やモデルの推論を通じて脆弱性が誘発・増幅される「モデル仲介の暴露経路」を十分に表現できていません。
• 分類の限界: 既存のメタデータには、LLM 関与やモデルによるリスクの構造的な指標が含まれておらず、LLM 固有のアーキテクチャ的リスク（例：Excessive Agency, Prompt Injection）が過小評価される可能性があります。

2. 研究方法 (Methodology)

本研究は、2025 年 1 月から 2026 年 1 月の間に公開された GitHub Security Advisories を対象に、以下の手順で実施されました。

1. データ収集とフィルタリング:
   • GitHub Advisory Database から「LLM 関連コンポーネント」を参照する 295 件のアドバイザリを抽出しました。
   • 抽出キーワードには、llm, gpt, langchain, ollama, vector database などが含まれます。
2. パッケージ分類:
   • 影響を受ける 133 個のユニークなパッケージを、以下の 3 つのカテゴリに手動分類しました。
     • LLM 関連: 推論エンジン、プロンプト管理、エージェントフレームワークなど、LLM 機能の実装がコアであるパッケージ。
     • 可能性あり: LLM 固有ではないが、LLM パイプラインで一般的に使用されるインフラ（ベクトル DB など）。
     • 非 LLM 関連: LLM と無関係な汎用パッケージ。
   • 最終的に、LLM 関連および「可能性あり」のカテゴリから 100 件のアドバイザリを無作為にサンプリングしました。
3. 手動アノテーション:
   • 抽出された 100 件のアドバイザリを、OWASP Top 10 for LLM Applications 2025 に基づいて手動で注釈付けしました。
   • 2 人の研究者が独立して評価し、Cohen's Kappa (0.76) および Gwet's AC1 (0.95) で高い一致率を確認しました。
   • CWE 分類と OWASP LLM リスクカテゴリの対応関係を分析しました。

3. 主要な貢献 (Key Contributions)

1. LLM 関連アドバイザリにおける CWE パターンの実証的解明:
   • 2025 年 1 月〜2026 年 1 月の 295 件の開示データに基づき、LLM 関連パッケージで最も頻繁に発生する CWE パターンを特定しました。
2. CWE と OWASP Top 10 for LLM の体系的なマッピング:
   • 100 件のアドバイザリを手動注釈付けすることで、実装レベルの弱点（CWE）とアーキテクチャレベルの暴露パターン（OWASP）の対応関係を明らかにしました。
3. メタデータの限界とモデル仲介リスクの可視化:
   • 現在の GHS メタデータが LLM 関与を明示的に示す指標を持たず、モデル仲介の暴露経路を体系的に分析する上で限界があることを実証しました。

4. 結果 (Results)

RQ1: 最も一般的な CWE カテゴリは何か？

• LLM 関連の脆弱性は、新しい実装レベルの弱点クラスを導入するものではなく、既存の CWE が支配的でした。
• 上位 3 位:
  1. CWE-94 (コード注入): 24 件
  2. CWE-77 (コマンド注入) & CWE-502 (不審なデータの逆シリアライズ化): 各 22 件
• これらは、注入、逆シリアライズ、リソース管理など、従来のソフトウェアセキュリティの傾向と一致しています。

RQ2: 既存のメタデータは LLM 関与を適切に表現しているか？

• 否定的な結果: GHS メタデータには、脆弱性が LLM 機能やモデル仲介のメカニズムによって引き起こされるかどうかを示す構造的な指標が含まれていません。
• 手動分類なしでは、LLM 関連のパッケージを特定し、モデルによる暴露パターンを特定することが困難です。

RQ3: OWASP Top 10 for LLM 2025 を適用するとどのような暴露パターンが現れるか？

• 100 件のサンプルを OWASP カテゴリにマッピングした結果、以下のパターンが支配的でした：
  • LLM03 (サプライチェーンリスク): 44%（最も頻出）。依存関係やオーケストレーション層での脆弱性が LLM ワークフロー内で悪用されるケース。
  • LLM06 (過度な権限/Excessive Agency): 20%。LLM が権限付きアクションをトリガーするケース。
  • LLM01 (プロンプト注入): 18%。下流への影響を引き起こす発端となるケース。
• 多重的なパターン: 37% のアドバイザリが複数のラベル（例：プロンプト注入 + 不適切な出力処理 + 実行権限）を併せ持っており、単一の弱点ではなく、コンポーネント間の相互作用による連鎖的なリスクが顕著でした。

RQ4: OWASP カテゴリと CWE はどのように対応するか？

• アーキテクチャ的リスクは従来の弱点として具体化される:
  • サプライチェーン (LLM03): 多様な CWE（コマンド注入、認証欠如、コード注入など）と対応。
  • 過度な権限 (LLM06) とプロンプト注入 (LLM01): 主に注入関連の CWE（CWE-77, CWE-78, CWE-94）と強く対応。
• 結論として、LLM 統合は既存の弱点の「相互作用と伝播の仕方」を変化させ、システム設計がその影響範囲を決定づけています。

5. 意義と結論 (Significance and Conclusion)

本研究は、LLM 統合システムにおける脆弱性理解において以下の重要な示唆を与えます。

1. 実装レベルとアーキテクチャレベルの両面からの分析の必要性:
   • 脆弱性の根幹は従来のコード欠陥（注入、逆シリアライズなど）ですが、LLM 特有の「プロンプト処理→出力処理→実行権限」というアーキテクチャ的連鎖が、これらの欠陥を悪用可能なリスクへと変換します。
2. CWE と OWASP の相補性:
   • CWE は「コードがどのように失敗するか」を、OWASP LLM は「システムがどのように暴露されるか（アーキテクチャ的リスク）」を説明します。両者を組み合わせることで、LLM 統合システムの完全なリスクプロファイルが得られます。
3. 脆弱性開示フレームワークの改善の必要性:
   • 現在の GHS メタデータはコードレベルの欠陥を記録する一方で、モデル仲介の暴露経路を過小評価しています。将来的には、LLM 関与やモデルによるリスク経路を明示する構造化されたメタデータの導入が不可欠です。

本研究は、LLM 時代のセキュリティリスクが「新しい種類のバグ」ではなく、「既存のバグが新しいアーキテクチャ文脈でどのように悪用されるか」という点にあることを実証し、セキュリティエンジニアリングとリスク管理のあり方を再考させるものです。