技術概要：SkillOps

問題定義：スキル技術的負債

大規模言語モデル（LLM）エージェントが複雑な多段階タスクを解決するためにスキルライブラリに依存する度合いが高まるにつれ、これらのライブラリは静的な検索プールから永続的なソフトウェア資産へと進化しています。しかし、スキルが追加、修正、再利用され、変化する依存関係にリンクされるにつれて、ライブラリはスキル技術的負債を蓄積します。この失敗モードは、冗長性、検証器の欠如、インターフェースのドリフト、陳腐化した実装など、単一のスキルが局所的に失敗するわけではないが、将来の検索、構成、実行の信頼性を低下させる永続的なライブラリレベルの欠陥を指します。

既存のスキルベースのエージェントは主にタスク時の操作（検索、計画、その場での修復）に焦点を当てています。これらはしばしば基盤となるライブラリが健全であるという前提に立っていますが、ライブラリが成長するにつれてこの前提は弱体化します。その結果、タスク時の修復は個々のエピソードを修正するものの、根本原因であるライブラリ自体内の永続的な欠陥には対処しません。本論文は、スキルライブラリを静的なリソースではなく、管理されたソフトウェアエコシステムとして扱うライブラリ時メンテナンスにおけるギャップを特定しています。

手法：SkillOps フレームワーク

著者は、スキルライブラリを自己維持型のソフトウェアエコシステムとして維持するための、手法非依存のプラグインフレームワークであるSkillOpsを提案します。SkillOps は、実行のためのタスク時ループと、メンテナンスのためのライブラリ時ループという 2 つの交互ループを通じて動作します。

1. コア表現

• スキルコントラクト: 各スキル $s$ は、型付きの実行可能コントラクト $(P, O, A, V, F)$ としてモデル化されます：
  • $P$: 前提条件。
  • $O$: 実行可能な操作。
  • $A$: 生成されるアーティファクト。
  • $V$: 検証器（$A$ のチェック）。
  • $F$: 既知の失敗モード。
  • $V = \emptyset$ の場合、「検証ギャップ」が存在します。
• 階層的スキルエコシステムグラフ（HSEG）: スキルは、4 つの型付き有向関係を持つグラフ $L = (S, R)$ として組織化されます：
  • **依存関係（$dep$）:**$s_i$のアーティファクトが$s_j$ の前提条件を満たす。
  • **互換性（$comp$）:**$s_i$の出力タイプが$s_j$ の入力タイプと一致する。
  • **冗長性（$red$）:** 等価なインターフェース（$P_i \equiv P_j, A_i \equiv A_j$）。
  • 代替（$alt$）: 同じ目標だが異なる操作。

2. タスク時ループ

このループは、維持されたライブラリを使用してタスクを計画し、実行します：

• スキルマッチング: 語彙的（BM25）および意味的関連性のハイブリッドを使用してスキルをスコアリングし、満たされた前提条件でフィルタリングします。
• 依存関係のステッチング: HSEG をトラバースして計画を構築し、実行時のインターフェース不整合を回避するために、依存関係と互換性の両方の制約を強制します。
• 検証器とアダプターの挿入: ギャップがあるスキル（$V=\emptyset$）に対して検証器ノードを動的に挿入し、依存するスキル間のタイプ不一致に対してアダプターノードを挿入します。
• 局所修復: 失敗したスキルを代替スキルに置換するか、エラートレースに基づいて修復を再呼び出しします。

3. ライブラリ時ループ

このループは、追加の LLM 呼び出しではなく観測可能な信号を使用して、実行後にライブラリを診断し、修復します：

• 5 次元ヘルス診断: スキルは以下の基準でスコアリングされます：
  1. 有用性: 最近の呼び出しの成功率。
  2. 冗長性: 冗長性クラスターのサイズ。
  3. 互換性: 依存関係エッジのうち互換性があるものの割合。
  4. 失敗リスク: 経験的な失敗率。
  5. 検証ギャップ: 欠落した検証器の存在。
• ContractGraph 伝搬診断（CGPD）: 依存関係エッジに沿ってリスクスコアを伝搬させる高度なメカニズムです。アップストリームスキルに高いリスクがある場合、ダウンストリームスキルはこのリスクを継承し、失敗が発生する前に予防的メンテナンス（例：検証器の追加）をトリガーします。
• 型付きメンテナンスアクション: ヘルススコアと CGPD に基づき、システムは特定のアクションを適用します：
  • merge: 冗長なスキルを統合する。
  • repair: フィードバックを使用して操作を書き換える。
  • retire: 陳腐化または失敗するスキルを削除する。
  • add_validator: 欠落した検証器を挿入する。
  • add_adapter: タイプ変換のシムを挿入する。
  • instantiate: タスク固有の引数をバインドする。

主要な貢献

1. スキル技術的負債の形式化: 本論文は、スキルライブラリの保守性を、HSEG とヘルス次元（有用性、冗長性、互換性、リスク、検証）を導入してライブラリの劣化を捉える、独自のライブラリ時問題として定義します。
2. SkillOps フレームワーク: 型付きアクション（マージ、修復、引退など）を介して生ライブラリを維持されたライブラリに変換するドロップインメンテナンスシステムであり、下流のエージェントコードの変更を必要としません。
3. 手法条件付き効果: メンテナンスの恩恵はエージェントのタイプに依存するという実証的証拠を示しています。検索に依存するエージェントには大きく寄与しますが、強力なタスク時自己修復能力を持つエージェントには中立的または矛盾する効果をもたらします。
4. 低オーバーヘッド実装: 現在のルールベースの実装は、ライブラリ時においてほぼゼロの LLM 呼び出しまたはトークンでメンテナンスを実行し、メンテナンスを推論の負担ではなく軽量なアーキテクチャ層として位置づけています。

実験結果

このフレームワークは、200 から 2000 のスキル（合成された技術的負債を含む）からなるスキルライブラリを使用して、テキストベースの家庭内操作ベンチマークであるALFWorldで評価されました。

• スタンドアロン性能: スタンドアロンエージェントとして、SkillOps は追加のタスク時 LLM 呼び出しを使用することなく、最強のベースライン（LLM_Skill_Planner）を**+8.8 パーセントポイント上回る79.5% のタスク成功率（SR）**を達成しました。
• プラグイン効果: 既存のベースラインに対するメンテナンス層として使用された場合、SkillOps は検索に依存する手法を一貫して改善しました：
  • ハイブリッド検索：+2.90 pp
  • BM25 のみ：+1.00 pp
  • 密結合のみ：+1.12 pp
  • グラフベースまたは LLM 計画ベースラインでは、すでに何らかのフィルタリング能力を備えているため、利益は小さくなりました。
• スケーラビリティと堅牢性: SkillOps はライブラリサイズが 2000 に増加し、劣化密度が 90% に上昇しても安定しており、次善のベースラインに対して31 pp以上のリードを維持しました。対照的に、タスク時のみを使用するベースラインはノイズ下で著しく劣化しました。
• コスト効率性: メンテナンスループはほぼゼロの LLM 呼び出しを要しました。タスク時のトークン使用量は一般的に中立的か減少しました（密結合のみで最大**-3.95%**）。これは、維持されたライブラリが検索のためにクリーンで冗長性の少ない候補プールを提供したためです。

意義と主張

本論文は、スキルライブラリを静的な検索プールではなく、管理されたソフトウェア資産として扱うべきであると主張しています。ライブラリ時メンテナンス層を導入することで、SkillOps は時間の経過とともにエージェントの信頼性を損なう技術的負債の蓄積に対処します。

著者は以下を主張しています：

• メンテナンスは独自のアーキテクチャ層である: これはタスク時計画から分離でき、既存のシステムに「ドロップイン」コンポーネントとして統合できます。
• 型付きコントラクトとグラフ構造は不可欠である: これらは、平坦な検索では見逃されるインターフェース不整合や冗長性の検出を可能にします。
• ルールベースのメンテナンスは実現可能である: 高品質なライブラリメンテナンスに高価な LLM 推論は必ずしも必要ではなく、観測可能な信号とルールベースのアクションがエコシステムを効果的に整理し修復できます。
• 文脈が重要である: ライブラリ時メンテナンスの価値は、検索に大きく依存するエージェントで最も高く、堅牢なタスク時自己修復メカニズムを持つエージェントでは逓減する利益または競合が見られる可能性があります。

この研究は、LLM エージェント設計の転換を示唆しています。つまり、受動的でタスク時の修復から、長期的なエージェントの信頼性を確保するための能動的でライブラリ時のエコシステム管理へと移行することです。