Coalition-Aware Skill Reliability for Self-Evolving Agents

技术摘要：面向自我进化智能体的联盟感知型技能可靠性

问题陈述

基于大语言模型（LLM）的自我进化智能体日益依赖“技能库”（即从交互轨迹中提炼出的结构化人工制品集合）来从过去的经验中学习。虽然现有研究主要关注这些技能的操作生命周期（获取、演化、检索和组合），但一个关于**机制可靠性（mechanistic reliability）**的基本问题仍未得到解决：智能体库中积累的技能在被调用时，是否真的做出了积极贡献？

作者指出，当前的技能演化机制通常依赖于“仅基于结果的门控”（即如果总任务奖励增加，则接受新技能），这无法解释技能效用的上下文相关性。通过系统审计，本文揭示了两种关键的可靠性失效模式：

1. 联盟污染（Coalition Pollution）： 在技能演化过程中，智能体可能会接受一个新技能，因为总体的技能库性能提升了，但该新技能本身可能贡献微乎其微甚至产生了负面影响。观察到的增益实际上是由现有的技能或特定的协同作用驱动的，从而掩盖了新加入技能的不可靠性。
2. 跨领域效用反转（Cross-Domain Utility Reversal）： 在源领域有益的技能在转移到目标领域时可能会变得有害。现有方法假设源领域的效用是不变的，但审计显示，技能在领域转移时会发生效应反转（从有益变为有害），从而导致性能下降。

方法论

为了解决这些失效问题，作者提出了**技能机制可靠性审计（SMRA）**及两个相应的干预措施：

1. 技能机制可靠性审计 (SMRA)
SMRA 不将技能可靠性视为一种内在属性，而是将其视为技能、周围技能库（联盟）以及部署领域三者的联合函数。它利用**沙普利值（Shapley values）**来衡量边际贡献：

• 全库边际贡献 ($\Delta$)： 衡量从完整技能库中移除特定技能后的性能下降程度。
• 沙普利值 ($\phi$)： 通过对剩余技能的所有可能子集进行平均边际贡献计算，以估计技能在不同联盟下的预期贡献。

2. 联盟感知型技能选择 (CASS)

• 目标： 防止技能演化阶段出现联盟污染。
• 机制： CASS 不再仅仅依赖于聚合奖励 ($r_{out}$)，而是通过引入一个联盟感知的信号来增强接受标准。
• 过程： 在评估候选技能时，CASS 使用蒙特卡洛采样从生成的技能库中构建多样化的技能联盟。它通过将移除整个子集 $S$ 导致的联合性能损失除以子集大小，来计算每个采样联盟 $S$ 的剔除边际（knockout margin），定义为 $\Delta_S(B) = \frac{V(B) - V(B \setminus S)}{|S|}$。这种方法将移除 $S$ 带来的联合损失平均分配给其成员。
• 决策规则： 最终得分 ($\sigma$) 结合了这些采样联盟边际的平均值 ($\bar{\Delta}_N$) 与在线结果奖励 ($r_{out}$)：
  $$\sigma(B) = \bar{\Delta}_N(B) + \lambda r_{out}(B)$$
  只有当该得分超过迄今为止的最佳得分时，候选技能库才会被保留。这确保了技能的选择是基于其在联盟中的可靠性，而非仅仅基于其提升嘈杂聚合指标的能力。

3. 无监督技能掩码联盟优化器 (u-SMCO)

• 目标： 在部署期间缓解跨领域效用反转。
• 机制： 一种无需标签的方法，用于掩码那些在目标领域效用发生反转的技能。
• 过程： 利用来自目标领域的无标签查询，u-SMCO 根据每个技能对检索质量的贡献进行评分。它采用贪婪策略，掩码（移除）那些排除后能提高目标数据检索性能的技能。
• 意义： 该方法不需要目标领域的任务标签，使其能够在无需监督的情况下应用于部署阶段。

核心贡献

• 识别失效模式： 本文正式定义并证明了“联盟污染”和“跨领域效用反转”是自我进化智能体中截然不同的机制失效。
• 理论洞察： 作者证明了仅基于结果的门控在结构上无法识别联盟层面的交互。正向的聚合增益并不保证每个组成部分的技能都在做出正向贡献（定理 1：仅基于结果的不可识别性）。
• 方法论干预：
  • CASS： 引入了一种基于采样的方案，通过计算采样技能子集的剔除边际平均值（按子集大小归一化）来估计联盟层面的可靠性，而非计算单个技能的沙普利值。
  • u-SMCO： 提出了一种基于检索质量的无标签掩码策略，以使技能库适应新领域。
• 统一的可靠性视角： 本研究确立了技能可靠性是一个上下文属性 ($R(s; B, D)$)，取决于技能、技能库和领域，而非技能本身的内在属性。

实验结果

所提方法在四个基准测试上进行了评估：LoCoMo、LongMemEval、HotpotQA 和 ALFWorld。

• 性能表现： CASS 和 u-SMCO 在任务性能（F1、LLM-as-Judge 分数）和跨领域泛化方面均一致优于强力的自我进化基线模型（包括 CoN, ReadAgent, MemoryBank, A-MEM, Mem0, MemoryOS, 和 MemSkill）。
• 具体增益：
  • 在 LoCoMo 上，所提方法实现了 41.48 的 F1 值和 56.58 的 L-J 分数，超过了此前表现最好的 MemSkill（F1 为 39.45，L-J 为 54.78）。
  • 在 ALFWorld (Unseen) 上，该方法实现了 83.22 的成功率 (SR) 和 19.93 的步数，超越了所有基线模型。
• 鲁棒性： 联盟条件的建模降低了强化学习过程中对噪声结果奖励波动的敏感性，提供了更稳定的训练信号。

意义与主张

本文声称确立了技能可靠性是技能、技能库和部署领域的联合属性，将范式从将技能视为静态、内在资产转向视为动态、上下文相关的单元。

• 超越准确率： 本研究认为，仅靠准确率是不够的；理解技能在联盟中的机制性贡献对于实现真正的自我进化至关重要。
• 孤立评估的局限性： 作者强调，基于孤立的技能评估具有根本性的局限，因为它无法检测到联盟污染或特定领域的效用反转。
• 实际影响： 通过引入无需目标领域标签的审计工具包和干预措施（u-SMCO），本文为在开放式、动态环境中部署更可靠的自我进化智能体提供了路径。

作者总结道，未来的可靠技能演化必须将技能联盟作为核心分析单元，而非孤立的单个技能。