論文「Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study」の技術的サマリー

本論文は、LLM エージェントの機能拡張を可能にする「サードパーティ製スキル（Agent Skills）」における資格情報（クレデンシャル）の漏洩問題について、史上初の大規模な実証研究を行ったものです。SkillsMP（最大のオープンソーススキルマーケットプレイス）から 17 万 226 件のスキルをサンプリングし、静的解析、動的サンドボックステスト、手動レビューを組み合わせることで、漏洩のメカニズム、パターン、実害を体系的に解明しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を記述します。

1. 問題定義 (Problem)

LLM エージェントは、外部ツールやサービス（データベース、クラウドプラットフォーム等）を呼び出すために「スキル」と呼ばれる外部モジュールを使用します。これらのスキルは、自然言語（NL）による記述（機能説明など）と実行可能なプログラムコード（PL）のハイブリッドとして構成されています。

• 核心課題: スキルはエージェントの権限（環境変数、設定ファイル、ホストネットワークへのアクセス権など）を継承して実行されるため、開発者の不注意や悪意あるコードにより、API キー、トークン、パスワードなどの機密情報が漏洩するリスクが極めて高い。
• 既存研究の限界: 従来のソフトウェアセキュリティ研究は、単一のコードベースや特定の言語に焦点を当てており、「自然言語の説明」と「実行コード」が相互作用することで生じる、エージェント固有の漏洩経路を体系的に分析した事例は存在しませんでした。

2. 研究方法論 (Methodology)

研究は 2026 年 2 月 12 日時点の SkillsMP 全体（170,226 件）から、層化無作為抽出法を用いて 10%（17,022 件）をサンプリングし、以下の 4 段階の手法で分析を行いました。

1. データ収集とサンプリング:

   • 17,022 件のスキル（ソースコード 37,409 ファイル、自然言語記述 17,022 件）を収集。
   • 統計的な信頼性（99% 信頼区間、誤差 1% 以内）を確保。

2. 静的フィルタリング (Static Filtering):

   • キーワードマッチング: 資格情報の辞書（API キー接頭辞、環境変数名、接続文字列など）を用いて候補を抽出。
   • 自然言語解析: 文脈制約（資格情報と「送信」「保存」などの動詞の共起、プロンプトインジェクションパターンの検出）を用いて誤検知を排除。
   • AST 解析: ソースコードにおいて、資格情報がネットワーク送信、ログ出力、ファイル書き込みなどの「不安全なシンク（Sink）」に流れるかを解析（Python/JavaScript 対象）。
   • 結果、3,156 件の候補スキルを特定。

3. 動的検証 (Dynamic Validation):

   • 隔離された Docker サンドボックス（Claude Code エージェント環境）でスキルを実行。
   • ダーク条件テスト:
     • 良性条件 (Benign): 通常のワークフローで実行。
     • 敵対的条件 (Adversarial): 外部コンテンツにプロンプトインジェクションを埋め込み、漏洩を誘発。
   • 出力（stdout/stderr）、ネットワーク通信、ファイル操作を監視し、モッククレデンシャルの漏洩を検出。

4. 手動分類 (Manual Classification):

   • 3 名のセキュリティ専門家によるレビュー。
   • 開発者の意図（ドキュメント）と実行結果を照合し、「良性」「脆弱（開発者の不注意）」「悪意あり（攻撃的構成）」に分類。
   • 最終的に 520 件の確認済みケース（437 件の脆弱性、83 件の悪意あり）を特定。

3. 主要な貢献 (Key Contributions)

1. 初の大規模データセットの構築:
   • 17,022 件の実世界のスキルから、437 件の脆弱スキルと 83 件の悪意あるスキルを含む新しいデータセットを構築。
2. 漏洩パターンの体系的な分類 (Taxonomy):
   • エージェントスキル固有の 10 種類の漏洩パターンを特定（開発者の不注意による 4 種類、悪意ある攻撃による 6 種類）。
3. 新たな脆弱性と悪意あるスキルの発見:
   • 1,708 件の未発見のセキュリティ問題（83 件の悪意あるスキルを含む）を特定。
4. 責任ある開示とエコシステムの修復:
   • 発見した 520 件をプラットフォームに報告。83 件の悪意あるスキルは削除され、ハードコードされたクレデンシャルの 91.6% が修正されました。

4. 主要な結果と発見 (Key Findings)

RQ1: 発生率 (Prevalence)

• 漏洩の存在: サンプリングされた 17,022 件中 520 件（3.1%）に 1,708 件の漏洩問題が存在。
• 原因の内訳: 84.0% は開発者の不注意、16.0% は悪意ある意図によるもの。
• クロスモーダルな漏洩: 漏洩の 76.3% は、自然言語の説明と実行コードを同時に解析しないと検出できません。単一のモダリティ（コードのみ、またはテキストのみ）では見逃されます。
• 言語別: Python が 60.0% と最も多く、次いで JavaScript/Node.js (27.5%)。
• 機能別: Web スクレイピング (17.1%)、データ処理 (14.6%)、API 統合 (13.1%) で多く発生。

RQ2: 漏洩パターン (Patterns)

開発者の不注意によるパターン (4 種類):

1. 情報露出 (Information Exposure): 全体の 73.5% を占める最大の問題。print や console.log によるデバッグ出力が、LLM のコンテキストウィンドウに直接取り込まれるため、自然言語クエリで資格情報が取得可能になります。
2. ハードコードされた資格情報 (Hardcoded Credentials): コード内に直接埋め込まれたもの。AI 支援開発ツール（Copilot など）の生成コードに多く見られます。
3. 不安全な保存 (Insecure Storage): CLI 引数やプロセスパラメータへの渡却。
4. アーティファクト漏洩 (Artifact Leakage): シェル履歴や一時ファイルへの書き込み。

悪意ある攻撃パターン (6 種類):

1. リモートエクスプロイト: リバースシェルや RCE バックドア。
2. 防御回避: Base64 符号化や意味的難読化による静的解析の回避。
3. 資格情報の侵害: ソーシャルエンジニアリングや環境変数の盗難。
4. データ抜き取り: キーロガーや Webhook への送信。
5. リソースハイジャック: クリプトマイナー。
6. 永続化: C2 通信や認証鍵の設置。

• 特徴: 悪意あるスキルの 37.3% は、複数の攻撃パターンを組み合わせており（例：難読化＋リモートエクスプロイト）、NL（表面）と PL（裏側）の分離を利用した巧妙な攻撃が行われています。

RQ3: 実用性 (Exploitability)

• 即時実行可能: 影響を受けるスキルの 89.6% は、特権昇格なしで通常の実行中に資格情報を漏洩させます。
• 主要な経路: 75.8% が stdout（ログ出力）経由で漏洩。
• 修復の困難さ: 上流リポジトリからクレデンシャルを削除しても、フォーク（派生）された 50 以上の独立したリポジトリに残存しており、フォークベースの配布モデルは修復を無効化します。

5. 意義と示唆 (Significance)

本研究は、LLM エージェントエコシステムのセキュリティに以下の重要な示唆を与えます。

1. アーキテクチャ的な課題: 従来のソフトウェアとは異なり、LLM エージェントは「自然言語による指示」と「コード実行」が密結合しており、stdout などの出力が LLM の文脈に直接取り込まれる設計が、意図せず資格情報を拡散させる原因となっています。
2. 検知手法の転換: 従来の静的解析（コードのみ）や動的テスト（実行のみ）では不十分です。「自然言語記述」と「実行コード」を横断的に分析する（Cross-modal analysis）新しい検知アプローチが必須です。
3. フレームワーク設計への提言:
   • 推論エンジン（LLM）と実行エンジン（スキル）のメモリ・ネットワークアクセスを分離する能力ベースの隔離が必要。
   • LLM のコンテキストに流入する前に、stdout ストリームから資格情報パターンを抽出・マスキングするフィルタリング機構の実装が不可欠。
4. 開発者への指針: エージェントスキル開発においては、出力のサニタイズ（清浄化）や、最小権限の原則をアーキテクチャレベルで適用することが、従来のソフトウェア以上に重要になります。

結論として、LLM エージェントの普及に伴い、資格情報の漏洩は単なるコードのバグではなく、システムアーキテクチャと開発プロセスに根ざした構造的な問題であることが明らかになりました。