🤖 machine learning

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsistは、双方向の行動グラフを構築し、グラフのアライメントと差分抽出を行うことで、宣言されたエージェントのスキルと実装されたスキルの間の不一致を検出する新しいフレームワークであり、新たに構築された633スキルのベンチマークにおいて最先端の性能を達成している。

原著者： Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたのコンピュータが単に命令に従うだけでなく、ウェブを閲覧したり、ファイルを管理したり、あるいは休暇の予約までこなしたりできる、有能なデジタル執事のように振る舞う世界を想像してみてください。これを行うために、コンピュータは「スキル（Agent Skills）」、つまり、特定のタスクをどのように実行するかを正確に伝える、あらかじめ用意されたツールやレシピを使用します。これらのスキルを料理本の指示だと考えてください。「宣言（declaration）」は、メニューに書かれた「スパイシー・タコス」という美味しそうな料理の説明であり、「実装（implementation）」は、キッチンで行われている実際の調理作業です。

問題は、メニューが嘘をつくときに起こります。例えば、シェフ（コード）が誤って、タコスを毒のあるものにする隠し味を加えてしまったり、あるいはメニューでは約束しているのに、サルサを入れ忘れてしまったりする場合です。デジタル界において、こうした不一致は危険を伴います。コンピュータのエージェントが、偽りの約束に基づいてスキルを選択してしまうと、誤ってファイルを削除したり、プライベートなデータを流出させたり、あるいはハッカーに騙されたりする可能性があります。科学者たちは、料理を試食してメニューと比較し、エージェントが提供する前にその嘘を見つけ出すことができる「フードクリティック（料理評論家）」を構築しようとしています。これが、スキルの「言っていること」と「実際にしていること」が一致しているかを確認するという課題です。

そこで、このミステリーを解決するために設計された新しいデジタル探偵、SkillConsistが登場しました。このツールの開発者たちは、従来の手法が、一文程度のメニューの説明と50ページのレシピ本を、明確な照合手段なしに比較しようとしているようなものだと気づきました。メニューには「タコスを作る」とある一方で、キッチンの作業には、玉ねぎを刻み、肉を焼き、トルティーヤを温め、サルサを混ぜるといった工程が含まれます。単純な単語単位のチェックでは失敗してしまうでしょう。なぜなら、「タコスを作る」という約束は一つの大きな概念ですが、キッチンの作業は多くの小さなステップの連鎖だからです。

SkillConsこと、SkillConsistは、情報の整理に長けた司書のように振る舞い、二つの別々のマップを作成することでこの問題に対処します。一つは「約束された内容」のためのマップ、もう一つは「キッチンの動作」のためのマップです。まず、スマートなAIを使用して、テキストとコードの入り混じった混沌とした中から、「何を約束しているか」と「実際に何をしているか」を切り分けます。そして、これらをグラフ（すべてのステップがノードとなり、すべての接続が線となるフローチャートのようなもの）として描き出します。

魔法は次のステップ、**双方向グラフ・アライメント（Bidirectional Graph Alignment）**で起こります。メニュー上のたった一つの大きな「タコスを作る」というバブルを、キッチン側のマップにある一連のつながったバブルの集まりと一致させる場面を想像してください。SkillConsistは単に一つのマッチングを探すのではありません。キッチンのマップの線を外側へと辿り、一連のステップ（刻む、焼く、混ぜる）をひとまとめにすることで、メニューの単一の約束を完璧に説明できるかどうかを確認します。これは双方向で行われ、すべてのキッチン工程にメニューの約束があるか、そしてすべてのメニューの約束にキッチンの計画があるかをチェックします。

マップが整列されると、探偵は**不一致（inconsistencies）**を探します。そして、以下の3種類のトラブルをフラグ立てします。

衝突（Conflicts）: メニューには「スパイシー」とあるが、キッチンのコードには「甘い」要素が加えられている。
未実装（Unimplemented）: メニューは「サルサ」を約束しているが、キッチンにはサルサの材料が一切存在しない。
未宣言（Undeclared）: キッチンでは密かに「毒」を混ぜているが、メニューにはその記述が一切ない。

研究者たちは、実世界の633個のエージェント・スキルを含む大規模なベンチマークを用いて、SkillConsistのテストを行いました。これには、トリッキーであったり悪意があったりすることが知られているスキルも含まれています。結果は目覚ましいものでした。このツールは、不一致のあるスキルを87.93%の確率（F1スコアと呼ばれる数値）で正しく特定しました。これは、従来の最高の手法と比較して20パーセントポイント以上の大幅な向上です。また、コード内のどこに嘘が隠れているのかを、約**62%**の割合で正確に特定することにも成功しました。

おそらく最も重要な点は、これが単なるタイポ（打ち間違い）の修正ではなく、安全性に関わる問題であるということです。研究者がSkillAssistを使用して悪意のあるスキルをスクリーニングした際、リスクのある環境で実際に実行することなく、より多くの危険なツールを検知することに役立ちました。約束と現実の間の不一致を捉えることで、SkillConsistは、コンピュータが「タコスを作っている」と言っているとき、それが実際に危険なものを出そうとしていないことを保証し、私たちがデジタルアシスタントをもう少し信頼できる方法を提供してくれるのです。

技術要約: SkillConsist

問題提起

エージェント・スキル（Agent Skills）は、大規模言語モデル（LLM）エージェントのための再利用可能なワークフローを提供し、それは宣言（スキルが何をすると主張しているか）と実装（それが実際に何を実行するか）によって定義されます。これら両者の間の不一致（例：宣言されているが未実装の振る舞い、実装されているが未宣言の振る舞い、あるいは矛盾する振る舞いなど）は、誤ったスキルの選択や、範囲外の危険なアクションの呼び出しにつながる可能性があります。

既存の検出手法は、この領域において主に2つの課題に直面しています：

混合コンテンツ（Mixed Content）: 宣言と実装の振る舞いが、自然言語による指示とコード断片の中に混在していることが多く、主張と実行ステップを区別することを困難にしています。
粒度の不一致（Granularity Mismatch）: 簡潔な宣言が複数の関連する実装ステップに対応する場合もあれば、単一の実装された振る舞いが、分散した複数の宣言にわたって記述されている場合もあります。

事前定義されたセキュリティ・タクソノミーへの比較や、LLMを用いてメタデータとコードを照合する手法などの現在のプローチは、これらの混合した役割や変動する粒度を効果的に扱うことに苦慮しています。

手法: SkillConsist

SkillConsistは、役割の分離と振る舞いレコードの抽出、振る舞いグラフの構築、および双方向グラフ・アライメントと差分抽出という3段階のパイプラインを通じて、これらの課題に対処します。

1. 役割の分離と振る舞いレコードの抽出

システムはまず、混合コンテンツを解きほぐして意味的な役割を特定します。

LLMベースの分離: LLM（DeepSeek-V4 Pro）がパッケージ断片を処理し、宣言と実装の事実を、構造化された振る舞いレコード $K = \langle C, O, R, E \rangle$ （ $C$ は条件、 $O$ は影響を受けるオブジェクト、 $R$ は効果、 $E$ はソース位置）へと分離します。
静的解析: プログラム解析がこれらのレコードを補完し、ソースコード、設定、および制御された実行（例：公開エントリ、入力、出力、およびサイドエフェクト）から実装の詳細を抽出します。
出力: ソースにリンクされた、統合された2つのセット：宣言レコード $D(S)$ と実装レコード $M(S)$ 。

2. 振る舞いグラフの構築

粒度の違いを扱うため、レコードは2つの独立した有向グラフ、すなわち宣言グラフ ( $G_D$ ) と実装グラフ ( $G_M$ ) に整理されます。

ノード: レコードノード、オブジェクトノード、公開エントリノード、およびエビデンスノードを含みます。
エッジ: エントリ対レコード、レコード対オブジェクト、エビデンス対レコード、および相互の依存関係（結果対入力、結果対条件、条件対条件）を含む、6種類の型を持つ関係でノードを接続します。
振る舞いグループ: 各グラフ内で、単一の振る舞いを共同で表現する連結された部分グラフを、振る舞いグループ ( $B_X(S)$ ) として特定します。これらのグループは、比較のための原子単位として機能します。

3. 双方向グラフ・アライメントと差分抽出

この段階では、両方向からの探索（ $D \to M$ および $M \to D$ ）を行うことで、粒度の不一致を処理しながら、2つのグラフ間で振る舞いグループを整列させます。

アンカーと拡張: ソースとなる振る舞いグループ内のアンカーレコードから開始し、システムはターゲットグラフ内で候補となる部分グラフを探索します。これらの候補を、振る舞いの関係に従って拡張し、ソースの振る舞いをカバーする可能性のある範囲まで広げます。
部分グラフの補完: 候補は、4つの完全性述語（条件、入力、結果、およびパス）に対して検証されます。候補がバインディング制約（互換性のある所有者、エントリ、スコープ）を満たし、かつ必要なフィールドとパスをすべて提供している場合にのみ、アライメントされます。
証明と差分抽出:
- サポートされている (Supported): エビデンスがすべての条件と効果が一致することを確認しています。
- 矛盾している (Contradicted): エビデンスが不適合なフィールド（例：異なるデフォルト値）を示しています。
- 該当なし (Not-Applicable): 義務が存在しません。
- 不明 (Unknown): エビデンスが不完全です。
カバレッジ・チェック: アライメントされた候補が見つからない場合、システムは探索空間が網羅的であったことを検証するために**カバレッジ証明書（coverage certificate）**を生成します。これにより、「欠落している」振る舞いに関する偽陽性を防ぎます。
不一致の出力:
- 競合 (Conflict): 必須の宣言に対し、矛盾する対応物がある。
- 未実装 (Unimplemented): 必須の宣言に対し、対応物がない。
- 未宣言 (Undeclared): スコープ内の実装に対し、宣言の対応物がない。

主な貢献

双方向グラフ・アライメントの定式化: 本論文は、パッケージレベルの整合性を双方向グラフ・アライメント問題として定式化しました。これにより、一方の振る舞いが他方の複数の連結されたレコードに対応することを可能にし、固有の粒度の差を緩和します。
SkillConsistシステム: 混合コンテンツから振る舞いを抽出し、個別の宣言グラフと実装グラフを構築し、関係ガイド型の部分グラフ探索、差分抽出、およびカバレッジ・チェックを通じて不一致を特定する新しいシステムです。
ベンチマークの構築: ClawHubおよびSkill-Injectから収集された、319個の整合したパッケージと319個の不整合なパッケージを含む、手動レビュー済みの633個のエージェント・スキルからなるベンチマークを作成しました。これには442個の局所的な不一致アノテーションが含まれます。

実験結果

システムは、633スキルのベンチマークを用いて、4つのベースライン（LLM、LLM+RAG、適応型C4RLLaMA、適応型SKILLSCOPE）に対して評価されました。

パッケージレベルの検出: SkillConsistは、適合率 86.85%、再現率 89.03%、および F1スコア 87.93% を達成しました。これは、最高のベースラインと比較して、F1スコアにおいて20.43パーセントポイントの向上となります。
不一致の局所化: SkillConsistは、適合率 67.60%、再現率 58.14%、および F1スコア 62.52% を達成しました。
アブレーション研究: 役割の分離または部分グラフの拡張を取り除くと、性能が著しく低下し、それらが有効な対応物を復元するために必要であることが確認されました。カバレッジ・チェックを取り除くと、再現率は向上しましたが、偽陽数により適合率が激減しました。
悪意のあるスキルのスクリーニング: 133個のSkill-Injectパッケージに適用した場合、不一致のリスク信号は、最小限の冗長な動的検証を用いて、悪意のあるスキルの検出再現率を、High risk gateで 11.90%、Medium/High risk gateで 26.19% 向上させました。

意義と主張

本論文は、単純なテキストとコードの比較を超え、エージェント・スキルのコンテンツの混合した性質と、宣言と実装の間の粒度のギャップを明示的に扱う、構造的かつグラフベースのアプローチへと移行することで、現状を打破すると主張しています。

役割を分離し、双方向のアライメントを使用することで、SkillConsistは単なるパッケージレベルのフラグ立てではなく、ソースに位置付けられた知見を提供します。著者らは、この能力がセキュリティにおいて極めて重要であると主張しています。なぜなら、これにより（例：メールを同期すると主張しているが、実際にはファイルを外部エンドポイントに転送しているような）未公開の危険な振る舞いを検出することが可能になり、エージェントのワークフローの信頼性が向上するためです。結果は、双方向グラフ・アライメントが、複雑で混合メディアなソフトウェア・アーティファクトにおける対応関係を確立するための堅牢な手法であり、検出および局所化タスクの両方において、検索拡張生成（RAG）や静的なセキュリティ特性のマッチングを凌駕することを示唆しています。