SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing
SkillAudit 是一个无需真值的框架，它通过迭代地审计包含与不包含候选技能的配对轨迹来演进智能体技能，利用过程对齐对比评估来诊断行为差异，并使用结构化验证器在不依赖外部奖励或隐藏测试结果的情况下，安全地细化或修复技能文档。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明但被冻结在时间里的机器人助手。你无法重新编写它的“大脑”（它的权重是锁定的），但你可以给它一份指令手册（一项“技能”），来帮助它完成特定的工作，比如修复计算机漏洞或分析财务数据。
问题在于，这些手册经常会过时。也许某个工具发生了变化，或者出现了一种新型的错误。通常情况下，要修复手册，你需要一位“老师”（专家或隐藏的答案库）来告诉你：“不，这一步错了。”但如果你的身边没有老师呢？如果你只有一份工作描述和一个混乱的工作空间呢？
这篇论文介绍了 SKILLAUDIT，一个可以在不需要老师或答案库的情况下修复这些指令手册的系统。
以下是它的工作原理，使用简单的类比进行说明：
1. “味觉测试”（配对轨迹审计）
想象一下，你正在尝试改进一个蛋糕的食谱。你没有美食评论家来品尝它。相反，你在同一时间烤两个蛋糕：
- 蛋糕 A： 使用你当前的食谱（即“技能”）制作。
- 蛋糕 B： 使用相同的原料，但不使用那个特定的食谱（仅凭烘焙师的直觉）。
然后你将两个蛋糕放在一起进行对比。
- 如果蛋糕 A 更好，说明食谱在提供帮助。
- 如果蛋糕 A 烧焦了或塌陷了，而蛋糕 B 却很完美，说明食谱在造成伤害。
- 如果它们看起来一模一样，说明食谱是无效的（毫无作用）。
SKILLAUDIT 对机器人也做同样的事情。它运行任务两次：一次使用技能，一次不使用技能。通过比较这两次运行中机器人所做的“痕迹”，它能隔离出技能是在哪里提供了帮助，或者在哪里让机器人产生了困惑。
2. “侦探小队”（PACE）
一旦两次运行结束，系统需要弄清楚究竟是手册中的哪一句具体话导致了问题。它使用了一个由 AI 侦探组成的团队，叫做 PACE。
PACE 不仅仅是简单地说“蛋糕不好”，它会观察两个蛋糕并指向食谱中的特定行：
- “因为*第三段，机器人尝试使用一个已经不存在的工具。”*
- “因为*第七段，机器人跳过了‘无技能’版本执行过的安全检查。”*
这把模糊的失败转化为了具体的编辑指令。
3. “规则手册”（锚点验证器）
有时，AI 侦探可能会产生困惑或产生幻觉。为了防止系统做出破坏任务的疯狂改动，这里有一个规则手册。
这是一个在过程开始前，根据工作描述编制的严格且不可更改的清单。它检查硬性事实：
- “机器人是否创建了所需的文件？”
- “文件格式是否正确？”
- “它是否崩溃了？”
如果新版本的手册违反了这个规则手册，系统会立即回滚改动，无论侦探们说了什么。它起到了安全网的作用。
4. 两种修复方式（精炼 vs. 修补）
根据“味觉测试”揭示的结果，系统会使用两种策略之一：
- 精炼（编辑者）： 如果手册大部分内容很好，但包含太多废话、令人困惑的指令或过时的建议，系统就会扮演一名严厉的编辑。它会删除噪音并澄清好的部分。
- 修补（外科医生）： 如果手册给机器人的指令完全错误（比如告诉它使用一个不存在的工具），系统就会扮演一名外科医生。它会切除错误的段落，并用正确的步骤进行替换，通常会从“无技能”的运行中借鉴正确的步骤。
实验结果
研究人员在 89 种不同的专业任务（如编程、数据分析和网络安全）上测试了该系统。
- 无手册： 机器人大约完成了 41% 的任务。
- 静态手册（旧的、未经编辑的那个）： 机器人大约完成了 57% 的任务。
- SKILLAUDIT（进化的手册）： 机器人完成了 74% 的任务。
核心结论：
SKILLAUDIT 证明了你不需要人类专家或隐藏的答案库来改进 AI 的指令手册。通过简单地比较“有技能”与“无技能”的运行情况，系统可以实现自我纠错、剔除错误建议并保留正确的建议，从而使机器人变得更加聪明和可靠。
局限性：
该系统在任务留下清晰“足迹”（例如创建了一个文件或计算了一个数字）时效果最好。如果任务纯粹涉及“判断力”或“创造性思维”，即没有明确的对错标准可以用来核对，那么系统很难判断它是否改进了手册。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。