The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents
本文揭示了向大语言模型（LLM）智能体添加程序性技能往往会因为描述渗透（description osmosis）、锚定位移（grounding displacement）和验证位移（verification displacement）而导致显著的性能退化，并指出可靠性更多取决于改进锚定与验证，而非优化程序性指导。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人助手如何做你的作业。你给了它一组“技能”——这些是小型的速查表或规则手册，告诉它如何解决特定问题，比如“如何在电子表格中查找数字”或“如何阅读财务报告”。在人工智能的世界里，这些被称为 LLM 智能体（LLM Agents），而目标是让它们更好地胜任现实世界的职业。长期以来，科学家们衡量成功的方法很简单，就是计算在给了这些技能后，机器人多正确完成了多少项任务。这是一种“越多越好”的游戏。但就像给人类一本新的、复杂的说明书有时反而会让其感到困惑，甚至导致他们丢掉原本擅长的事情一样，给 AI 太多技能也可能会适得其反。研究人员提出的核心问题是：当我们添加这些技能时，我们是在真正提供帮助，还是在无意中破坏了那些原本已经运作良好的部分？
这篇题为《回归税》（The Regression Tax）的论文深入探讨了这一问题。作者 Darshan Tank 和 Baran Nama 进行了一场大规模实验，利用近 6,000 次尝试来解决办公任务（如阅读财务文档或修复电子表格），并使用了三种不同的 AI 模型。他们对比了机器人在拥有新技能与完全没有技能时的表现。
这里有一个转折点：增加技能不仅会带来胜利，还会窃取胜利。
把它想象成一款视频游戏。你发现了一个新的“强化道具”（一项技能），它能帮你打败之前一直让你头疼的 Boss。太棒了！但也许这个同样的强化道具会让原本可以轻松跳过的障碍物绊倒你。作者们将此称为**“回归税”（Regression Tax）**。他们发现，对于机器人通过这些技能多解决的每 100 个任务，它们实际上也“破坏”了大约 59 个原本靠自身能力就能完美解决的任务。因此，如果你只计算新增的胜利，那么“净”增长看起来要小得多。
论文指出了导致机器人出错的三种隐蔽方式：
- 技能描述渗透（“幽灵”效应）： 想象你的桌上放着一本规则手册。即使你从未打开它或阅读其中的指令，仅仅看到“如何计算税收”这个标题，就可能让你感到紧张，从而改变你的数学计算方式。作者发现，仅仅是将技能的描述放在机器人的记忆中（即使机器人从未实际使用该技能），也会改变其行为并导致失败。这就像机器人通过“渗透”吸收了这项技能的“氛围”，仅仅因为它的存在就陷入了混乱。
- 定位置换（“错误的地图”问题）： 当技能告诉机器人如何做某事时，它可能会导致机器人看向错误的部分。这就像给一名司机一份完美的驾驶指南，但这份指南却让司机看错了出口标志。机器人完美地执行了程序，但最终却到了错误的地方，因为技能“置换”了它寻找正确起点的能力。
- 验证置换（“无检查”区）： 这是指技能告诉机器人跳过安全检查的情况。想象一个通常会在交卷前检查作业的机器人。一个新的技能可能会说：“快做就行！”于是机器人忘记了检查自己的答案。数学计算可能是正确的，但因为它没有验证结果，所以失败了。
作者还发现，我们目前构建这些技能的方式有些失衡。大多数技能创造者都专注于编写“中间”部分——即分步操作流程。但数据表明，真正的痛点在于开头（寻找正确信息，即“定位”）和结尾（检查答案，即“验证”）。这些技能很擅长告诉机器人做什么，但它们往往会让机器人在知道该看哪里或是否正确方面变得更差。
简而言之，这篇论文建议我们不应仅仅统计 AI 在多少项任务上做得更好。我们需要观察它通过破坏原有能力所付出的“税”。为了让 AI 真正可靠，我们不能仅仅停留在编写更多的程序上，而是要开始帮助机器人更好地“看图”和“检查作业”。作者建议，如果我们能修复这些特定的“定位”和“验证”问题，我们就能挽回大量目前正在失败的任务。这不在于拥有更多的技能，而在于提供正确类型的帮助，且这种帮助不会让机器人绊倒。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。