技術要約：スキル・カバレッジ：エージェント・スキルのテスト妥当性指標

問題提起

大規模言語モデル（LLM）エージェントの現在の評価は、主にタスクレベルの結果（成功または失敗）に依存して、「エージェント・スキル」（自然言語でエンコードされた再利用可能な手続き的知識のアーティファクト）の有用性を評価しています。しかし、タスクが成功したとしても、実行中にスキルの特定の指示、期待事項、またはアクション・パターンが実際にどのように行使されたかは明らかになりません。これにより、テストの妥当性において重大なギャップが生じます。すなわち、ユーザーは、文書化されたスキルのどの部分がテストされ、特定のモデル・タスク設定下でどの部分が未観測のまま残っているかについての証拠を得ることができません。その結果、スキルの再利用、適応、または改善のために、そのスキルが十分に検証されているかどうかを判断することが困難になります。

メソドロジー

本論文は、タスクの最終的な結果のみに焦点を当てるのではなく、スキル・アーティファクト自体をテスト対象として扱うテスト妥当性指標である**スキル・カバレッジ（Skill Coverage）**を導入しています。このメソドロジーは、主に以下の2つの段階で構成されています。

1. スキル行動制約（SBC）の抽出

著者らは、テスト可能なスキルの部分を定式化するために、**スキル行動制約（Skill Behavior Constraint: SBC）**という保守的な抽象化を定義しています。

• 定義: SBCとは、自然言語によるスキル文書から派生した、ソースに根ざし、観測可能で、EARS（Essentialize, Analyze, Refine, Simplify）形式で正規化された条件・アクション・ルールです。
• 基準: 制約として保持されるためには、以下の条件を満たす必要があります：
  1. ソースに根ざしていること（Source-grounded）: スキル文書内の具体的なスパン（記述範囲）によって支持されていること。
  2. 制約を有すること（Constraint-bearing）: 義務、禁止、使用パターン、ワークフローのステップ、または成果物の特性を課していること。
  3. 観測可能であること（Observable）: 実行のエビデンス（例：ツール呼び出し、コード、ファイルの差分、ログ）から判断可能であること。
  4. 原子的であること（Atomic）: 独立した一つの行動的義務を表現していること。
• プロセス: LLMがスキル文書から候補となるSBCを抽出し、その後、背景となる散文、メタデータ、および付随的な実装の詳細をフィルタリングするために、人間のレビュアーによる監査と修正が行われます。得られた集合 $C(S)$ が、カバレッジ分析の分母となります。

2. エージェント・トラジェトリにおけるカバレッジ判定

フレームワークは、エージェントのトラジェトリ $\tau$ が、特定の制約 $c = \langle C_c, B_c, J_c \rangle$ を行使するための十分な証拠を提供しているかどうかを評価します。

• 二値判定: 以下の2つの条件が満たされた場合にのみ、制約は**カバーされた（Covered）**とマークされます：
  1. 適用可能性（Applicability）: 観測可能なエビデンス $Obs(\tau)$ が、適用条件 $C_c$ をインスタンス化していること。
  2. 判定可能なエビデンス（Adjudicable Evidence）: トラジェトリに、制約された行動 $B_c$ が充足されたか、あるいは違反されたかを判断するのに十分な観測可能エビデンスが含まれていること。
• 区別: カバレッジは、エージェントがその行動に「成功」することを要求しません。単に、そのシナリオがインスタンス化され、かつ結果が判定可能であることを要求します。もし制約が適用可能であるにもかかわらず、エビデンスが行動を判断するには不十分な場合、それは**未カバー（Uncovered）**のままとなります。
• 指標: スキル・カバレッジは、テストスイート $T$ における少なくとも一つのトラジェトリによってカバーされた、監査済み制約 $C(S)$ の割合として算出されます。

バリデーション・プロトコル

規模に応じた信頼性を確保するために、著者らは**「スケール前のバリデーション（validation-before-scale）」**プロトコルを採用しています。LLMジャッジ（DeepSeek V4 Flash）がカバレッジ・ラベルの割り当てに使用されますが、その性能は、まず350個の制約・トラジェトリ・ペアに対する人間の監査員との比較によって検証されます。このジャッジは、フルベンチマークに適用される前に、人間によるラベルに対して93.71%の完全一致（exact agreement）と0.874のCohen's $\kappa$ を達成しました。

主な結果

このメソドロジーは、7つのエージェント・モデル構成（Gemini、Codex、Claudeの各バリアントを含む）にわたる78のソースタスクを評価するSkillsBenchに適用されました。

• 低いカバレッジ率: 既存のベンチマーク実行は、抽出されたスキル行動制約の平均でわずか**39.90%から43.98%**しかカバーしていません。これは、現在のエージェント評価において、文書化されたスキルのガイダンスの半分以上が、テストされていないか、あるいは判定不能であることを示しています。
• タスク成功 vs. カバレッジ: タスクの成功した実行は、一般に失敗した実行よりも多くの制約をカバーしていますが（カバレッジの差は2.25〜13.50ポイント）、タスクの成功は必ずしも十分なテストを意味しません。成功した実行であっても、スキルの分母の38.96%から47.14%が未テストのままです。
• 分布: 各構成において、162のスキルのうち90〜100%のカバレッジに達したのはわずか8〜22スキルであり、41〜52のスキルが0〜30%のバケットに留まっていました。

意義と主張

本論文は、スキル・カバレッジがタスクレベルの結果を補完するシグナルを提供し、エージェント評価における決定的な盲点に対処できると主張しています。

• アーティファクト・レベルの妥当性: 本研究は、「エージェントがタスクを解決したか？」から、「再利用可能なスキルのどの部分が、判定可能なエビデンスを伴って実際に実行されたか？」へと焦点をシフトさせています。
• 実行可能な診断: 未カバーの制約は、必ずしも「違反」を意味するのではなく、むしろベンチマークがスキルの条件をインスタンス化できていない、あるいは十分なトレースデータを捕捉できていないシナリオやエビデンスの欠落を特定するものです。これは、以下に対して実行可能なフィードバックを提供します：
  • ベンチマーク設計者: 特定のシナリオを実行するタスクを追加したり、オラクルでチェック可能なエビデンスのためのトレースキャプチャを改善したりするための指針。
  • スキル作成者: 現実的なエージェントの実行下で、スキルのどの部分が検証されていないかを特定するための指針。
  • ユーザー: テストの範囲に基づいて、スキルの再利用に関する情報に基づいた意思決定を行うための指針。

著者らは、タスクの成功とスキル・カバレッジは異なる評価の問いに答えるものであり、エージェントの能力とスキルの妥当性の完全な全体像を示すためには、これらを別々に報告すべきであると結論付けています。