Coalition-Aware Skill Reliability for Self-Evolving Agents

技術要約：自己進化型エージェントにおける連合（Coalition）を考慮したスキルの信頼性

問題提起

大規模言語モデル（LLM）に基づく自己進化型エージェントは、過去の経験から学習するために、相互作用の軌跡から抽出された構造化されたアーティファクトの集合である「スキルバンク」にますます依存するようになっている。既存の研究は、これらスキルの運用ライフサイクル（獲得、進化、検索、構成）に焦点を当ててきたが、メカニズム的な信頼性に関する根本的な問いが未解決のまま残されている。すなわち、「エージェントのバンクに蓄積されたスキルは、呼び出された際に実際にプラスの貢献をしているのか？」という点である。

著者らは、現在のスキル進化メカニズムが、通常「アウトカムのみのゲート（集計されたタスク報酬が増加した場合に新しいスキルを受け入れる仕組み）」に依存しているため、スキルの有用性の文脈依存性を考慮できていないことを指摘している。系統的な監査を通じて、本論文は2つの決定的な信頼性失敗モードを明らかにしている：

1. 連合汚染（Coalition Pollution）: スキル進化の過程において、エージェントは、新しいスキル自体が微々たる貢献しかしていない、あるいは負の貢献をしているにもかかわらず、全体のバンク性能が向上したために新しいスキルを受け入れてしまうことがある。観察された利得は、実際には既存のスキルや特定の相乗的な相互作用によって駆動されており、新しく導入されたスキルの信頼性の低さを隠蔽している。
2. ドメイン間における有用性の逆転（Cross-Domain Utility Reversal）: ソースドメインで有益であったスキルが、ターゲットドメインに転移した際に有害になる可能性がある。既存の手法はソースドメインでの有用性が不変であることを前提としているが、監査の結果、スキルはドメイン転移に伴って効果が逆転（有益から有害へ）し、性能を低下させることが示された。

手法

これらの失敗に対処するため、著者らは**スキル・メカニズム信頼性監査（SMRA）**と、それに対応する2つの介入策を提案する：

1. スキル・メカニズム信頼性監査（SMRA）
SMRAは、スキルの信頼性をスキルの固有属性としてではなく、スキル、周囲のスキルバンク（連合）、およびデプロイメント・ドメインの結合関数として評価する。これは、限界貢献度を測定するために**シャープレイ値（Shapley values）**を利用する：

• フルバンク限界貢献度 ($\Delta$): 特定のスキルをフルバンクから取り除いたときの性能低下を測定する。
• シャープレイ値 ($\phi$): 残りのスキルのあらゆる可能な部分集合における限界貢献度を平均化し、多様な連合の下でのスキルの期待貢献度を推定する。

2. 連合を考慮したスキル選択（CASS）

• 目的: スキル進化フェーズにおける連合汚染を防ぐ。
• メカニズム: 集計報酬 ($r_{out}$) のみに頼るのではなく、連合を考慮したシグナルで受け入れ基準を拡張する。
• プロセス: 候補となるスキルを評価する際、CASSはモンテカルロ・サンプリングを用いて、結果として得られるバンクから多様なスキル連合を構築する。各サンプリングされた連合 $S$ に対して、集合 $S$ 全体を取り除いた際の結合性能損失を、その部分集合のサイズで割ることにより、ノックアウト・マージンを算出する。これは $\Delta_S(B) = \frac{V(B) - V(B \setminus S)}{|S|}$ と定義される。このアプローチは、集合 $S$ を取り除くことによる結合損失を、その構成員に等分に割り当てるものである。
• 決定ルール: 最終的なスコア ($\sigma$) は、サンプリングされた連合マージンの平均 ($\bar{\Delta}_N$) と、オンラインのアウトカム報酬 ($r_{out}$) を組み合わせる：
  $$\sigma(B) = \bar{\Delta}_N(B) + \lambda r_{out}(B)$$
  このスコアがこれまでに見た最高のスコアを超える場合にのみ、候補となるバンクが保持される。これにより、スキルが単にノイズの多い集計指標を押し上げる能力ではなく、連合内での信頼性に基づいて選択されることが保証される。

3. 非教師ありスキル・マスク連合最適化（u-SMCO）

• 目的: デプロイメント時におけるドメイン間の有用性逆転を緩和する。
• メカニズム: ターゲットドメインにおいて有用性が逆転するスキルをマスクする、ラベルフリーの手法。
• プロセス: ターゲットドメインからのラベルなしクエリを用い、検索品質への貢献度に基づいて各スキルをスコアリングする。除外することで検索性能が向上するスキルを、貪欲にマスク（削除）していく。
• 意義: このアプローチはターゲットドメインのタスクラベルを必要としないため、教師なしでデプロイ時に適用可能である。

主な貢献

• 失敗モードの特定: 本論文は、「連合汚染」と「ドメイン間の有用性の逆転」を、自己進化型エージェントにおける明確に異なるメカニズム的失敗として正式に定義し、実証した。
• 理論的洞察: 著者らは、アウトカムのみのゲートは構造的に連合レベルの相互作用に対して盲目であることを証明した（定理1：アウトカムのみによる非識別性）。正の集計利得は、すべての構成要素となるスキルがプラスに貢献していることを保証しない。
• 手法的な介入:
  • CASS: 個々のスキルのシャープレイ値を計算する代わりに、サンプリングされたスキルの部分集合のノックアウト・マージンを平均化することにより、連合レベルの信頼性を推定するサンプリングベースのアプローチを導入した。
  • u-SMCO: スキルバンクを新しいドメインに適応させるための、検索品質に基づくラベルフリーのマスキング戦略を提案した。
• 統一された信頼性の視点: 本研究は、スキルの信頼性をスキルの固有属性ではなく、スキル、バンク、およびドメインに依存する文脈的特性 ($R(s; B, D)$) として確立した。

実験結果

提案手法は、LoCoMo、LongMemEval、HotpotQA、ALFWorldの4つのベンチマークで評価された。

• 性能: CASSおよびu-SMCOは、タスク性能（F1、LLM-as-Judgeスコア）およびクロスドメインの汎化性能の両方において、強力な自己進化型ベースライン（CoN、ReadAgent、MemoryBank、A-MEM、Mem0、MemoryOS、MemSkillを含む）を一貫して上回った。
• 具体的な利得:
  • LoCoLoMoにおいて、提案手法はF1スコア 41.48 およびL-Jスコア 56.58 を達成し、従来の最高スコアであるMemSkill（F1 39.45、L-J 54.78）を上回った。
  • ALFWorld (Unseen) において、本手法は成功率（SR）83.22、ステップ数 19.93 を達成し、すべてのベースラインを凌駕した。
• 堅牢性: 連合条件付きモデリングは、強化学習中のノイズの多いアウトカム報酬の変動に対する感度を低減し、より安定した学習シグナルを提供した。

意義と主張

本論文は、スキルの信頼性を、スキルを静的で固有の資産と見るのではなく、動的で文脈依存的な単位と見るパラダイムへと転換し、スキル、バンク、およびデプロイメントドメインの結合特性として確立することを主張している。

• 精度を超えて: 著者らは、精度だけでは不十分であり、真の自己進化のためには、連合内におけるスキルのメカニズム的な貢献を理解することが必要であると論じている。
• 孤立による限界: 著者らは、孤立ベースのスキル評価は、連合汚染やドメイン特有の逆転を検出できないため、根本的に限界があることを強調している。
• 実用的な影響: ターゲットドメインのラベルを必要としない監査ツールキットと介入策（u-SMCO）を導入することで、本論文は、オープンエンドで動的な環境において、より信頼性の高い自己進化型エージェントをデプロイするための経路を提供している。

著者らは、将来の信頼できるスキル進化は、個々のスキルを単独で扱うのではなく、**スキルの連合（skill coalition）**を分析の中心単位として扱う必要があると結論づけている。