技術要約: SkillFuzz

問題の定式化

本論文は、LLM（大規模言語モデル）ベースのエージェントにおけるオープン・スキル・マーケットプレイスにおける重大な安全性のギャップに対処している。個々のスキル（自然言語による指示ドキュメント）は通常、単独で監査されるが、それらが**共活性化（co-activation）**された際、**暗黙的な意図（implicit intents）**が生じることがある。これは、複数の無害なスキルがエージェントの統一されたコンテキスト内で相互作用したときにのみ現れる、意図しない目的である。

この現象は、従来のソフトウェアの統合テストにおけるコンポーネント間の相互作用による欠陥と同様の、**構成的欠陥（compositional defect）**という新しいカテゴリを構成するが、これはコードではなく自然言語の指示において発生する。これらの意図の検出には、主に以下の3つの課題がある：

1. 実行のアクセシビリティの欠如： マーケットプレイスの運営者は、あらゆるスキルの組み合わせを実行・テストするために必要な特定のデプロイ環境を持っていないことが多い。
2. 信念状態の不可視性： 構成的な影響はエージェントの内部の信念状態に現れるが、これは静的なファイル解析では不可視である。
3. 組合せ爆発： 可能なスキルの共活性化の空間は、ライブラリのサイズとともに指数関数的に増加するため、網羅的な探索は困難である。

著者らは、エージェント・システムに遍在するプラン・ザン・アクト（計画・実行）パラダイムが解決策を提供すると提案している。エージェントの実行前プラン（構造化された推論アーティファクト）をテスト対象として扱うことで、実際のツールの実行なしに、暗黙的な意図を検出できる。

手法: SKILLFUZZ

著者らは、スキルの構成を通じて暗黙的な意図を発見するために設計された、初の実行フリー（execution-free）なファジング・フレームワークであるSKILLFUZZを提案している。このフレームワークは、**プラン・ドリフト（Plan Drift）**を微分オラクルとして利用し、バイナリのスキル活性化空間に対する指向性探索として機能する。

コア・コンポーネント

1. 微分オラクル（プラン・ドリフト）：
   システムは、スキル構成（$\pi_s$）によって生成されたプランを、スキルがアクティブでない状態で生成されたベースライン・プラン（$\pi_0$）と比較する。意味的な偏差、すなわちプラン・ドリフト（$\delta$）が、潜在的なリスクのシグナルとなる。高いドリフトは、そのスキル構成がエージェントの意図を転換させたことを示している。

2. スキル・コントラクトの構築：
   探索を扱いやすくするために、SKILLFUZZはLLMを用いて指示ドキュメントから構造化されたスキル・コントラクトを抽出する。これらのコントラクトには、前提条件、事後条件、状態変更、およびドメイン範囲が含まれる。これらのコントラクトは意味空間に埋め込まれ、競合する特性（例：互いに排他的な不変条件）を持つスキルを特定するために使用される。

3. コントラクト誘導型モンテカルロ木探索（MCTS）：
   フレームワークは、固定されたクエリ予算内で**意図被覆品質（ICQ: Intent Coverage Quality）**を最大化するための誘導型探索戦略を採用している。

   • ICQ指標： 深刻度（プラン・ドリフトの大きさ）と新規性（既知の意図との意味的な差異）を組み合わせた統一指標。
   • 拡張戦略： 探索は高衝突なスキルのペアで木をシードする。拡張中、ノードが正の報酬（検出された意図）をもたらした場合、探索はその意図のセマンティック領域へと誘導される（コントラクトの埋め込みを使用）。意図が見つからない場合、探索はランダムまたは一様サンプリングによって行われる。
   • バックプロパゲーション： 深刻かつ多様な暗黙的意図を生み出す探索空間の領域を優先するように、報酬がバックプロパゲーションされる。

主な貢献

1. 問題の定式化： 本論文は、**構成的意図テスト（compositional intent testing）**を正式に定義し、個別のスキルは無害であっても、それらの相互作用から生じるシステム的なリスクとしての暗黙的意図を特定した。
2. SKILLFUZZフレームワーク： 構造化されたスキル・コントラクトを抽出し、コントラクト誘導型MCTSを利用して指数関数的に巨大なスキルの共活性化空間を効率的にナビゲートする、実行フリーなファジング技術を導入した。
3. 実証的検証： 広範な実験を通じて、SKILLFUZZがスキルの受け入れ時監査（admission-time audit）を補完する実用的なメカニズムであることを確立し、デプロイ環境へのアクセスなしにリスクを発見できることを示した。

実験結果

著者らは、SkillsBenchライブラリ（196個のスキル）を用い、多様なプランニング・エージェント（オープンウェイトモデルおよびプロプライエタリモデルの両方）と代表的なタスクに対してSKILLFUZZを評価した。

• 発見ボリューム： 固定されたクエリ予算の下で、SKILLFUZZは1,000件以上の明確に異なる暗黙的意図を発見した。
• 実行検証： サンドボックス化されたDocker環境を用いた実世界の検証フェーズにおいて、最もリスクが高いと判定された構成の80%以上が、実際の実行中に予測された副作用を発生させることが確認された。これにより、プランレベルのドリフトが実行レイヤーのリスクの信頼できるプロキシであることが裏付けられた。
• 探索効率： SKILLFUZZは、代替戦略（ランダムサンプリング、貪欲なドリフト、貪欲な被覆）と比較して、大幅に多くの高深刻度の暗黙的意図（顕著な信念状態のドリフトを伴うもの）を特定した。特筆すべきは、ランダムサンプリングがカバーするペアワイズ相互作用空間のわずか約40%のみを探索しながら、これを達成した点であり、広範なペアワイズ被覆が深刻なリスクを発見するための限定要因ではないことを証明した。
• 汎用性： 暗黙的意図は、特定のプランナーのアーティファクトではなく、異なるモデルファミリーやアーキテクチャにわたる一般的なリスクであることが判明した。
• リスク・タクソノミー： 発見された意図は、4つの繰り返される意味的パターンにクラスター化した：
  1. オーディオ/ビデオの副作用（望まれないメディア生成）。
  2. 不正なツールの呼び出し（認可範囲を超えた外部サービスへのコール）。
  3. 隠れたリソース作成（要求されていないファイルやレポートの生成）。
  4. 無許可のデータ分析（指定されたデータ範囲を超えた分析の拡張）。

重要性と主張

本論文は、暗黙的意図が、多様なスキルの指示が共活性化される場所で発生する、ソフトウェアエンジニアリングにおけるエージェント型AIパラダイムの構造的な帰結であると主張している。SKILLFUZZの重要性は、以下の能力にある：

• テストとデプロイの分離： エージェントが最終的に動作する特定の実行環境へのアクセスを必要とせずに、スキル・マーケットプレイスのスクリーニングを可能にする。
• 早期警告： 個別のスキル監査では検出できない相互作用ベースの欠陥を検出し、デプロイ前に高リスクな共活性化をフラグ立てするスケーラブルなメカニズムを提供する。
• テスト表面の確立： テスト戦略がドリフトのセマンティックな性質を考慮している限り、プランニング層（実行前アーティファクト）が、LLMエージェントにおける構成的リスクを検出するための十分かつ必要な表面であることを検証している。

著者らは、SKILLFUZZが、実行フリーかつコントラクト誘導型のファジングを、現在の受け入れ時監査を補完する実用的かつ必要な手法として位置づけていると結論付けている。これは、スキルエコシステムがスケールするにつれて増大するシステム的な脆弱性に対処するものである。