技術要約：エージェント・スキルにおけるクロスレイヤーの不整合検出

問題定義

LLM（大規模言語モデル）エージェントがエージェント型AIシステムへと進化するにつれ、これらは「エージェント・スキル（Agent Skills）」—自然言語のメタデータ、手順指示、および実行時のリソースを含む再利用可能なアーティファクト—にますます依存するようになっています。ここで、スキルの階層的な性質に起因する重大な脆弱性が生じます。ユーザーやエージェントは、指示やリソースが完全にロードまたは実行される前に、表面レベルのメタデータ（説明、タグ、名称）に基づいてスキルを選択してしまうことが多いためです。

本論文では、ユーザー向けの主張（メタデータ）と、その真の挙動（指示およびリソース）との間の乖離を**クロスレイヤーの不整合（Cross-Layer Misalignment）**と定義しています。この不整合は、以下の2つの形態で現れます：

1. 悪意のある不整合（Malicious Misalignment）： メタデータが、より深いレイヤーに存在する有害な挙動（例：プロンプトインジェクション、資格情報の漏洩、不安全なコマンド実行）を隠蔽している状態。
2. 良性の不整合（Benign Misalignment）： メタデータが、基礎となるパッケージが実際にはサポートしていない能力を誇張、あるいは不正確に記述している状態。

現在の評価パラダイムは、実行時のパフォーマンス（タスク成功率、ツールの習熟度）や、孤立したアーティファクト内の特定のセキュリティ脆弱性に焦点を当てています。これらは、部分的な情報に基づいて信頼の決定が行われる「実行前の整合性」の検証というギャップを見落としています。

手法：PL-HCLフレームワーク

これに対処するため、著者らは**Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL)**を提案します。このフレームワークは、エージェント・スキルを階層的なアーティファクト ($S = (M, I, R)$) として扱い、メタデータ ($M$) が指示 ($I$) およびリソース ($R$) によって裏付けられているかどうかを検証するようにモデルを訓練します。

1. データセット構築

• コーパス： SkillsMPから取得した、GitHubリポジトリにリンクされた264,937のオープンソース・エージェント・スキルの正規化コーパス。各スキルは、メタデータ、指示、リソースの3つのレイヤーに構造化されています。
• チャレンジセット： 人間によって検証された、保持された評価用セット（1,444件のスキル：整合しているものが1,150件、不整合なものが294件）。重要な点は、不整合な例が合成生成されたものではなく、汎化性能をテストするために自然発生した「実世界の（in-the-wild）」ケースであることです。

2. 2段階の継続的事前学習（CPT）

コントラスティブ学習の前に、ベースとなるLLMは、スキルのフォーマットに適応するためのカリキュラムに基づいた適応プロセスを経ます：

• ステージ1（ショートビュー）： メタデータ + 指示 ($M, I$) で学習を行い、初期の検査フェーズをシミュレートします。
• ステージ2（フルビュー）： メタデータ + 指示 + リソース ($M, I, R$) で学習を行い、モデルにパッケージの全コンテキストを露出させます。
• 目的： モデルに、単なる言語モデルとしての機能ではなく、エージェント・スキルの語彙、フォーマット、および階層構造に適応させることです。

3. Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL)

このコンポーネントは、異なるビューを対比させることで、クロスレイヤーの整合性を明示的に学習します：

• ポジティブ・ビュー ($P_i$): 同一スキル内の整合したレイヤー：$(M_i, I_i, R_i)$。
• ネガティブ・ビュー:
  • スワップ・ネガティブ ($N^A_i$): 別のスキルのメタデータを元の指示/リソースと組み合わせたもの：$(M_j, I_i, R_i)$ （ただし $j \neq i$）。
  • 破損ネガティブ ($N^B_i$): 摂動を与えたり誤解を招くようなメタデータを元のレイヤーと組み合わせたもの：$(\tilde{M}_i, I_i, R_i)$。
• 目的： モデルが整合したビューに対して高いスコアを付け、不一致のバリアントよりも高いスコアを付けるように学習させ、実質的に「主張対証拠」の信号を学習させます。この学習は、CPTで使用されるショートビューとフルビューに対応する2つのサブステージで行われます。

主な貢献

1. 問題の定式化： クロスレイヤーの不整合を、実行前のアーティファクトレベルの評価問題として定義し、標準的な実行時のセキュリティやタスク・パフォーマンス評価とは区別しました。
2. データセット： 大規模なオープンソースのエージェント・スキル・コーパスと、整合/不整合の評価に特化した人間による検証済みチャレンジセットを構築しました。
3. フレームワーク： クロスレイヤーの整合性を学習するコントラスティブ事前学習フレームワークであるPL-HCLを導入しました。
4. 実証的知見： スキルフォーマットへの適応（CPT）は必要ではあるものの、それだけでは不十分であり、不整合の検出には明示的なコントラスティブ学習が必要であることを示しました。

実験結果

フレームワークは、汎用的なバックボーン（例：Llama-3.1-8B）およびサイバーセキュリティに特化したバックボーン（例：Foundation-Sec-8B）を用い、ゼロショット、2ショット、5ショットの設定でチャレンジセットに対して評価されました。

• ベースLLM (E0): 適応していないモデルは不整合クラスの判定において性能が低く、Macro-F1スコアは約0.45–0.52、不整合F1 ($F1_m$) は0.15を下回りました。これらのモデルは、もっともらしいパッケージを「整合している」と分類する強いバイアスを示しました。
• 継続的事前学習のみ (E1): 2段階のCPTによりスキルのフォーマットへの適応は改善されましたが、不整合の検出における向上は限定的でした。Macro-F1は依然として0.48–0.52付近であり、$F1_m$ は0.15未満にとどまりました。これは、フォーマットに習熟することと、不整合を検出できる能力は別であることを示しています。
• PL-HCL (E2): フレームワーク全体を用いることで、性能が大幅に向上しました。
  • Foundation-Sec-8B において、Macro-F1はCPTのみの場合の約0.52から0.889へと上昇し、$F1_m$ は0.150から0.817（2ショット設定）へと跳ね上がりました。
  • Llama-3.1-8B において、Macro-F1は0.872に達し、$F1_m$ は0.788に達しました。
• 汎化性能： 合成的なネガティブ・ペア（スワップされた、あるいは破損したメタデータ）で訓練されているにもかかわらず、PL-HCLはチャレンジセット内の自然発生的な「実世界の」不整合スキルに対しても、見事に汎化できました。

意義と主張

本論文は、PL-HCLがエージェント型AIエコシステムにおける、実行前のスクリーニング・ツールとしてスケーラブルな手段を提供すると主張しています。その意義は以下の3点にあります：

1. 評価パラダイムの転換： 「そのツールは動作するか？（実行時）」から、「そのツールは自身の正体を正直に述べているか？（実行前の一貫性）」へと焦点を移しました。
2. ステークホルダーへの有用性：
   • マーケットプレイス： 高リスクなスキルをフラグ立てして手動レビューに回したり、リスティング前に検証バッジを付与したりするためのガバナンス・メカニメントとして活用できます。
   • ユーザー： スキルの説明がコードやリソースと矛盾している場合に、ユーザーに警告を与える軽量なクライアントサイド・スクリーニングを可能にします。
   • アナリストス： メタデータと挙動の不整合なクラスターを特定することで、大量のスキルをトリアージする手法を提供します。
3. 設計原則： 著者らは、漸進的にロードされる階層的なデジタル・アーティファクト（ブラウザ拡張機能、MCPサーバーなど）において、完全な実行前の信頼決定を行うには、単なる一般的な言語モデリングやキーワードベースのスキャンではなく、表面的な主張と深い証拠の間の整合性をモデルに明示的に学習させる必要があると主張しています。

著者らは、本手法が静的なパッケージ・アーティファクトに依存しており、実行中にのみ発生する動的な実行時挙動、副作用、または変異を検出できないという限界についても謙虚に述べています。彼らは、PL-HCLを、実行時のサンドボックス化や軌跡レベルの評価を補完するレイヤーとして捉えるべきであると考えています。