ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation
该论文引入了 ToolSelf，一种将任务执行与运行时自我重构统一在单一策略中的范式，旨在克服静态配置的僵化性，并通过一种新颖的配置感知两阶段训练（CAT）方法实现了显著的性能提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一位高智商的助手来解决一个非常复杂的、多步骤的谜题。
旧方法（静态配置）：
在传统的 AI 系统中，你必须在助手开始工作之前，为他们写好一本严格的“规则手册”。你告诉他们：“你是一名侦探。使用这 5 件特定的工具。将你的笔记记录在这个特定的笔记本格式中。你的目标是找到丢失的猫。”
问题在于，一旦工作开始，助手就会被困在那个规则手册里。
- 如果他们意识到自己需要一个不同的工具（比如用显微镜而不是放大镜），他们拿不到。
- 如果他们意识到自己的“侦探”人格过于僵化，需要转变为“科学家”，他们也无法改变。
- 如果他们的笔记本里记了太多没用的笔记，他们无法清理。
他们被迫尝试用错误的工具和错误的心态去解决谜题，由于情况发生了变化但指令却没有改变，他们往往会失败。
新方法（TOOLSELF）：
这篇论文介绍了一种名为 TOOLSELF 的系统，在这个系统中，助手不仅仅是在遵循一本规则手册；他们是在工作时编写自己的规则手册。
把 TOOLSELF 想象成这样一位助手：他拥有一根特殊的“魔杖”（一个名为 reconfigure 的工具）。
- 循环： 助手处理任务的一部分。当他们遇到障碍或完成一个步骤时，他们会停下来。
- 检查： 他们问自己：“我目前的计划奏效吗？我有合适的工具吗？我的笔记本是不是太乱了？”
- 魔杖： 如果答案是“不”，他们就挥动魔杖。这个工具不仅能给他们提供新工具，还能让他们为接下来的步骤重写整个职位描述。
- “好吧，对于下一步，我不再是一名侦探，而是一名数据分析师。”
- “我需要把我的放大镜换成计算器。”
- “我需要删除旧笔记并开始一个新的摘要。”
- 结果： 助手立即采纳这个新身份，使用新工具，并继续工作。他们能够根据实际情况进行即时调整。
他们是如何教导助手的（CAT 训练）：
你可能会问：“AI 是如何知道何时改变主意以及要改成什么的？”作者使用了一种名为 CAT（配置感知两阶段训练）的两步训练法：
- 第一阶段：“优秀范例”阶段 (RFT)： 他们向 AI 展示了许多成功的任务案例，在这些案例中，助手能够自主发现正确的改进方案。AI 学习模仿这些优秀的行为。
- 第二阶段：“计分卡”阶段 (KTO)： 他们让 AI 独立尝试任务。如果 AI 成功完成了整个任务，它会得到一颗“金星”。如果失败了，它会得到一个“红叉”。至关重要的是，AI 学到了它在过程中做出的每一个决定（包括它决定何时修改自身规则的决定）都对最终获得金星或红叉产生了影响。这教会了 AI 做出更好的自我调整决策，以确保最终获胜。
结果：
论文在深度研究（在多个网站中寻找事实）、通用 AI 辅助和修复软件代码等困难任务上测试了该系统。
- 无需额外训练 (Zero-shot)： 即便只是使用“魔杖”方法，TOOLSELF 助手的表现也优于那些针对特定任务进行过人工编程的专业化助手。
- 经过训练 (CAT)： 在经过两阶段训练后，与旧有的“静态规则手册”助手相比，TOOLSELF 助手的平均性能大幅提升了 28.8 分。
总结：
TOOLSELF 就像是给 AI 一份工作，让他们可以根据眼前的实际情况，在工作过程中“解雇”自己的老板、聘请新工具并重写自己的指令。这使得他们在解决长期、复杂的问题时，比那些被困在预设计划中的系统更加灵活且高效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。