Malicious Or Not: Adding Repository Context to Agent Skill Classification

本論文は、AI エージェントのスキル市場におけるセキュリティスキャナの誤検出率を大幅に低減し、GitHub リポジトリのコンテキストを統合した分析手法によって、廃棄されたリポジトリからのスキル乗っ取りなど、未記録の現実的な攻撃ベクトルを特定した。

要約

この論文は、AI エージェント（自律的にタスクをこなす AI）の世界で起きている「アプリのセキュリティ問題」について、非常に大きな規模で調査した研究報告です。

わかりやすく言うと、**「AI が使う『道具（スキル）』は、本当に危険だらけなのか？それとも、ただの勘違い（誤検知）が多すぎるだけなのか？」**という疑問に答える内容です。

以下に、日常の比喩を使って簡単に説明します。

---

1. 背景：AI の「アプリストア」が誕生した

最近、Claude Code や OpenClaw といった AI が、単に会話をするだけでなく、実際に作業（コードを書く、メールを送るなど）ができるようになりました。
これを実現するために、AI には**「スキル（Skill）」**という小さなプログラムや道具が取り付けられます。
これは、スマホの「アプリストア」に新しいアプリを入れるのと同じ感覚で、AI の能力を拡張するものです。

2. 問題：「危険！」という警報が多すぎる

しかし、この「AI スキルストア」には、悪意のあるハッカーが作った危険な道具が混入する恐れがあります。
そのため、各ストアは自動でスキャンする「セキュリティ検査員」を導入しました。
ところが、この検査員たちの結果がバラバラで、驚くほど高い割合で「危険！」と判定していました。

• あるストアでは**46.8%**のスキルが「危険」と言われました。
• 別のストアでも**23%や6%**が危険とされました。

「AI の道具の半分近くが危険だなんて、とても使えない！」とパニックになっている人々もいました。

3. 本研究の発見：「文脈（コンテキスト）」を見れば、99% は安全だった

著者たちは、「本当にそんなに危険なのか？」と疑問を持ち、23 万 8,000 個ものスキルを収集して、最も大きな調査を行いました。

彼らが使った新しい方法は、**「道具そのものだけでなく、その道具が置かれている『部屋（リポジトリ）』も一緒に見る」**というものです。

• 従来の方法（孤立した検査）：
  「このコードには『銀行口座を盗む』ような命令が含まれているぞ！危険！」と即座に判断します。

  • 結果： 多くの「 innocent（無実）な道具」まで「危険」として排除してしまいました（誤検知）。
  • 比喩： 「包丁を持っている人を、ただそれだけで『殺人犯』と疑う」ようなものです。

• 新しい方法（文脈を考慮した検査）：
  「このコードは確かに『銀行口座を盗む』命令を含んでいるが、これは『料理教室のレシピ集』という立派な本（リポジトリ）の中にあり、包丁は『野菜を切る練習用』として説明されている。これは明らかに無実だ」と判断します。

  • 結果： 「危険」とされたスキルは、0.52%（約 2,887 件中 15 件）に激減しました。
  • 結論： 従来の検査は**「誤検知（False Positive）」が多すぎた**ことがわかりました。

4. 新たな脅威：「捨てられた家」を乗っ取る手口

調査の中で、著者たちはこれまで知られていなかった新しい攻撃方法を見つけました。

• 状況： 一部のスキルは、GitHub という場所に置かれた「古い・放置された部屋（リポジトリ）」を指しています。
• 攻撃： ハッカーは、その部屋の元の持ち主が去った後、同じ名前で新しい部屋を作り、中身を乗っ取ってしまいます。
• 被害： ユーザーは「安全な古い部屋」だと思ってアクセスするつもりが、実はハッカーが作った「罠の部屋」に誘導されてしまいます。
  • 彼らはこの手口で、121 個のスキルが乗っ取られる可能性を突き止めました。
  • 中には、1,000 回以上ダウンロードされた人気スキルも含まれていました。

5. まとめ：何がわかったのか？

1. AI スキルは、思ったより安全だ：
   従来の検査では「危険」と言われていたものの多くは、実は「文脈（何のために作られたか）」を理解すれば、安全なものでした。
2. 検査の精度を上げる必要がある：
   道具そのものを見るだけでなく、「誰が、どこで、何のために使っているか」という**背景（コンテキスト）**まで含めて判断する必要があります。
3. 新しいリスクがある：
   「放置された古いリンク」をハッカーが乗っ取るという、新しいタイプの詐欺（サプライチェーン攻撃）が存在します。

一言で言うと：
「AI の道具は危険だ！」と大騒ぎしていましたが、実は**「ただの勘違いで誤解されているものが大半」でした。ただし、「古いリンクをハッカーが乗っ取る」という新しい手口には注意が必要です。これからは、道具そのものだけでなく、「その道具が置かれている場所の雰囲気」**も見て判断することが重要だと教えてくれます。

技術概要

論文「Malicious Or Not: Adding Repository Context to Agent Skill Classification」の技術的サマリー

この論文は、AI エージェント（Claude Code や OpenClaw など）の機能拡張を担う「スキル（Skill）」エコシステムにおけるセキュリティ分析を行い、既存のマルウェア検出スキャナが過剰に「悪意ある」と判定している実態を解明し、リポジトリコンテキストを考慮した新たな評価手法を提案したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

AI エージェントのスキルは、外部 API へのアクセスやコード実行などを可能にするモジュールであり、ClawHub、Skills.sh、SkillDirectory などの専用マーケットプレイスや GitHub で配布されています。しかし、これらのプラットフォームはセキュリティスキャンを導入しており、多くのスキルを「悪意ある（Malicious）」としてフラグ付けしています。

• 既存スキャナの限界: 各マーケットプレイスや Cisco 社などのスキャナは、スキル単体（主に SKILL.md の記述やスクリプトのみ）を分析するため、文脈を欠いた誤検知（False Positive）が多数発生しています。
• 矛盾する統計: 既存の研究やプラットフォーム報告では、マルウェアと判定されるスキルの割合がプラットフォームによって 6.0% から 46.8% まで大きく異なり、特に ClawHub では 46.8% と極めて高い値を示していました。これは、実際のリスクが極めて高いのか、それともスキャナが過剰に反応しているのか不明確な状態でした。
• 新たな攻撃ベクトルの未解明: スキルが参照する外部リポジトリの管理不全による「ハイジャック」などの構造的な脆弱性が、十分に研究されていませんでした。

2. 手法 (Methodology)

著者らは、3 つの主要なマーケットプレイスと GitHub アーカイブから238,180 個のユニークなスキルを収集し、3 段階の分析パイプラインを構築しました。

1. クロスプラットフォーム収集と静的分析:

   • ClawHub、Skills.sh、SkillDirectory、および GitHub アーカイブからスキルを収集。
   • スクリプトの種類、エンドポイント、埋め込まれた秘密鍵（Secrets）などを静的に分析。
   • 重複を除去し、最大規模のデータセットを構築。

2. 既存スキャナによるマルウェア分類の評価:

   • プラットフォーム固有のスキャナ（VirusTotal、Gen Agent Trust Hub など）と、オープンソースの「Cisco Skill Scanner」、さらに LLM（GPT-5.3）ベースの振る舞い分析を用いて、各スキルの分類結果を比較。
   • 異なるスキャナ間の合意度（Agreement）を分析。

3. リポジトリ意識型分析 (Repository-Aware Analysis):

   • 核心となるアプローチ: スキル単体ではなく、それが属する GitHub リポジトリ全体の文脈を評価します。
   • コードベーススコア: スキルの説明とリポジトリのドメイン、ソースコード、README の整合性を LLM で評価。
   • メタデータスコア: リポジトリの年齢、スター数、フォーク数、アクティビティなどの成熟度を評価。
   • これらを重み付け（コードベース 70%、メタデータ 30%）して「リポジトリ・コンテキスト・スコア」を算出。これにより、文脈的に正当なスキルを誤検知から除外します。

3. 主要な貢献と発見 (Key Contributions & Results)

A. エコシステムの規模と構造

• データセット: 238,180 個のスキルを収集し、これまでにない規模の横断データセットを構築しました。
• プラットフォームの差異: ClawHub はスクリプトを含むスキルの割合（44.1%）が他プラットフォーム（11.8%〜15.7%）より著しく高く、OpenClaw 向けに特化していることが示されました。
• 依存関係: 多くのスキルは GitHub リポジトリを介して配布されており、マーケットプレイスは単なるインデックスとして機能しています。

B. 既存スキャナの過剰検知と不一致

• 分類率のばらつき: スキャナによってマルウェア判定率が 3.8% から 41.9% と大きく異なります。
• 合意の欠如: 27,111 個の共通スキルを 5 つのスキャナで分析した結果、全スキャナで「マルウェア」と判定されたスキルはわずか 33 件（0.12%）のみでした。
• リポジトリレベルでの増幅: スキル単体の判定率（約 19%）に対し、リポジトリレベルで「少なくとも 1 つのスキルがマルウェア」と判定されたリポジトリは 45.9% に達しました。これは、1 リポジトリに多数のスキルが含まれる場合、1 つの誤検知が全体を「悪」と判定させるバイアスを示しています。

C. リポジトリ文脈による誤検知の劇的削減

• 再評価結果: スキャナによって「マルウェア」と判定された 2,887 件のスキルを、リポジトリ文脈分析で再評価したところ、悪意あるリポジトリに残存したのはわずか 0.52%（15 件）のみとなりました。
• 正当性の確認: 残りの 96% 以上のスキルは、リポジトリのドキュメントやコードベースと整合性があり、文脈的に正当であることが示されました。
• 人間による検証: 手動レビューでも、スキャナにフラグが立ったリポジトリのほとんどは「良性（Benign）」と判定され、自動スコアと高い相関を示しました。

D. 新たな攻撃ベクトルの発見

• リポジトリのハイジャック: abandonded（放置された）GitHub リポジトリをスキルインデックスが参照しているケースを発見。攻撃者がこれらのリポジトリ名を再取得し、悪意あるコードに差し替えることで、121 件のスキル（うち 1 件は 1,000 回以上のインストール実績あり）がハイジャックされるリスクがあることを実証しました。
• 情報漏洩: ClawHub の API が、GitHub プロフィールには表示されないユーザーのメールアドレスを漏洩させていることを発見しました。

4. 意義と結論

この研究は、AI エージェントスキルのセキュリティ評価において、「文脈（コンテキスト）」の重要性を浮き彫りにしました。

• False Positive の削減: 従来の孤立したスキャンでは過剰な警告が発生していましたが、リポジトリ全体の文脈を考慮することで、誤検知を劇的に削減し、エコシステムの真のリスク表面を正確に把握できることを示しました。
• セキュリティプラクティスの提言: 開発者やプラットフォーム運営者に対し、単なるファイルスキャンだけでなく、リポジトリの成熟度やコード整合性を評価する「リポジトリ意識型」なセキュリティ対策の必要性を訴えています。
• 構造的脆弱性の指摘: スキル配布インフラにおける「ハイジャック」リスクや認証メカニズムの欠如を指摘し、より安全な配布モデル（例：ClawHub のような直接配布モデル）への移行を推奨しています。

結論として、AI エージェントスキルのエコシステムは、既存の検知手法が示唆するほど危険ではなく、適切な文脈分析を行うことで、その安全性と信頼性を大幅に向上させる余地があることが明らかになりました。