テクニカル・サマリー: SKILL-USE

問題提起

大規模言語モデル（LLM）エージェントは、いつ行動すべきか、どの手順に従うべきか、どのツールが許可されているかを規定した構造化ドキュメントである「スキル」にますます依存するようになっています。既存の評価手法は、スキルの本質的な品質や最終的なタスク成功への寄与を評価していますが、エージェントが部分的な記述から関連するスキルを自律的に**認識（recognize）し、それを正しく適用（apply）**できるかどうかについては検証できていません。現在のベンチマークは、スキルの全文書をプリロードしているため（検索プロセスをバイパスしている）、あるいは表面的な指示遵守（形式や長さ）に焦点を当てているため、段階的開示（progressive disclosure）（エージェントが最初はスキルの名称と短い説明のみを見る状況）におけるドメイン固有の手順遵守を検証できていません。

このギャップにより、スキルの使用におけるライフサイクル全般が未検証のままとなっています。すなわち、エージェントは適合性を判断し、完全な手順を検索し、禁止された操作を避けながら、その手順を忠実に実行しなければなりません。

メソドロジー

SKILL-USE ベンチマーク

著者らは、段階的開示条件下でのスキル使用を評価するために設計されたベンチマーク、SKILL-USEを導入しています。これは、79個の実世界のスキル（GitHub、SkillsBench、SkillLearnach等のコミュニティストリポジトリから厳選）と、9つのドメイン（フロントエンド＆モバイル開発、DevOps、データサイエンス等）にわたる177個の実行可能なタスクを組み合わせたものです。

評価プロトコル:

1. 段階的開示（Progressive Disclosure）: エージェントはユーザーのタスクとスキルのメタデータオブジェクト（名称、短い説明、ファイルパス）を受け取りますが、完全な手順は受け取りません。エージェントは関連性を推論し、ファイルを検索し、その後実行する必要があります。
2. 環境: タスクは、実際のファイルとフルツールアクセスを備えた隔離されたDockerサンドボックス内で実行されます。
3. スコアリングの次元: 本ベンチマークは、スキル使用を以下の3つの明確な側面へと分解します：
   • トリガー（Trigger）: 名称と説明のみに基づいて、関連するスキルを検索できたかどうか。
   • コンプライアンス（Compliance）: 規定された手順への遵守（必須ステップの加重合計）。
   • バウンダリ（Boundary）: 禁止された操作の回避（禁止されたアクションの加重合計）。
4. スキル使用（SU）スコア: スキルがトリガーされた場合にのみ実行クレジットが付与される、ゲート付きの集計スコアとして定義されます：$SU = g(y; s) \cdot [\alpha C(y) + (1-\alpha) B(y)]$。ここで、$g$ はトリガーのインジケーター、$C$ はコンプライアンス、$B$ はバウンダリ、$\alpha=0.7$ です。

構築パイプライン:
データセットは、以下の3段階のパイプラインを通じて構築されました：

1. キュレーション: スキルは「スキルの排他性」（一般的な実践から推論できない要件）および「プロセスの観測可能性」（実行軌跡における検証可能なトレース）に基づいてフィルタリングされました。
2. ルーブリック設計: 各タスクに対して軌跡ベースのルーブリックが作成され、すべてのスコアリング項目が特定のスキルの要件に紐付くようにしました。
3. 検証: エンドツーエンドの検証には、タスクの範囲、ルーブリックの検証可能性、および強力なモデルがスキルなしで解決できてしまうような汎用的な要件の不在を確保するための、マルチエージェントによる敵対的レビューが含まれました。

実験設定

著者らは、2つのエージェント・ハーネス（Claude CodeおよびCodex）の下で、8つの最先端LLM（Claude Opus 4.7/4.8、GPT-5.5、DeepSeek-V4-Pro等を含む）を評価しました。すべてのモデルは、隔離されたサンドボックス内で同じ177のタスクに対してテストされました。

主要な結果

1. 信頼できるスキル使用は依然として手の届かない領域にある

最も強力な構成（Claude Codeハーネス下のGPT-5.5）であっても、最大SUスコアはわずか0.613でした。

• 二重のボトルネック: 失敗は2つの独立した段階で発生します。スキルをトリガーすることに成功したモデルが、その手順の遵守（Compliance†は最大約0.638）に失敗することがよくあります。逆に、遵守ができるモデルが、スキルのトリガー自体に失敗することもあります。
• コンプライアンス vs バウンダリ: モデルは一般に、禁止された操作の回避（Boundary）よりも、規定されたワークフローの完全な遂行（Compliance）において課題があります。

2. スキル使用はハーネスに依存する

スキル使用は、モデルの固定された特性ではなく、周囲のハーネスによって条件付けられる能力として振る舞います。

• ランキングの不安定性: モデルのランキングは、ハーネス間で大きく変動します。例えば、Claude Codeの下ではGPT-5.5がリードしますが、Codexの下ではClaude Opus 4.8がリードします。
• 差異化されたストレス: Claude Codeハーネスはトリガー（検索）を、Codexは手順の実行を厳しく問います。ハーネス間を移動すると、トリガー率の差は圧縮されますが、条件付きコンプライアンスの差は拡大します。

3. スキル注入とライブラリ・サイズのインパクト

• 検索が主要なボトルネック: 完全なスキル文書をプリロードする（段階的開示をバイパスする）と、主にトリガー率を高めることでSUスコアが大幅に向上します。一度スキルがトリガーされると、プリロードは実行の質にはほとんど影響を与えないため、これは「検索の決定」が決定的な失敗点であることを示しています。
• ライブラリのサイズ: スキルライブラリのサイズを1から30に増やすとパフォーマンスの低下が見られますが、これはほぼすべてトリガーの失敗（スキルの選択ミスではなく、いずれのスキルも選択できないこと）によるものです。

4. 一般化とタスク完了

• 抑制の失敗: スコープ内での高いスキル使用性能は、スコープ外のスキルを使用しない**抑制（refrain）**の能力とは相関しません。実際、相関は負です。スキルに従うのが得意なモデルほど、不要な呼び出しを抑制するのが苦手である傾向があります。
• タスク完了: スキルの手順に従うことは、SUスコアが約0.5を超えた場合にのみタスク完了を改善します。この閾値を下回ると、部分的または不正確なスキルの実行は、スキルを持たない場合よりもパフォーマンスを損なわせます。これは、モデルが特定のツールチェーンにコミットしながらも、それを完遂できないためです。

重要性と貢献

本論文は、主に3つの貢献を行っています：

1. スキル使用の定式化: スキル使用を、段階的開痴条件下での認識、遵守、および抑制のニュアンスを捉えるために、トリガー、コンプライアンス、バウンダリへと分解し、独立した評価対象として定義しました。
2. SKILL-USE ベンチマーク: 軌跡ベースのルーブリックと再利用可能な3段階の構築パイプラインを備えた、広範なカバー範囲（9ドメイン、79スキル、177タスク）を持つベンチマークを公開し、アーティファクトの品質を超えたプロセスレベルの評価を実現しました。
3. 実証的な洞察: 信頼できるスキル使用が現在未解決の問題であることを示す証拠を提示しました。これらの知見は、現在のエージェントが段階的開示における検索フェーズに苦戦していること、そしてスキル使用能力はベースモデル単独ではなく、エージェントのハーネス・アーキテクチャに強く依存していることを示唆しています。

著者らは、スキルライブラリを効果的に機能させるためには、モデルが手順を実行できるだけでなく、それらの手順が必要な時に確実に識別できなければならないと結論付けており、現在の最先端モデルはまだこの能力を習得できていないとしています。