From Plan to Action: How Well Do Agents Follow the Plan?
该论文通过对 SWE-agent 在多种计划变体下的系统性分析，揭示了智能体在执行编程任务时往往难以严格遵循既定计划，且不当的计划反而会降低性能，从而强调了需要研究如何训练模型具备自适应推理能力以真正遵循指令，而非依赖内化的工作流或记忆特定任务流程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给一群**“刚拿到驾照的自动驾驶汽车”（也就是 AI 编程助手）做一场严格的“路考”**。
考官（研究人员）给这些车发了一张**“标准驾驶路线图”**（Plan），告诉它们：“先找路，再试车，然后修车，最后验车”。
但问题是：这些车真的会乖乖照着路线图开吗？还是说它们其实是在凭自己的“老司机直觉”乱开？
以下是这篇论文的通俗解读：
1. 核心问题：听话的“自动驾驶”vs. 固执的“老司机”
现在的 AI 编程助手（Agent）很聪明，能修代码。为了不让它们乱跑，人类会给它们写一份**“操作说明书”**（Plan），比如：
- 导航 (Navigation)：先找到哪里出错了。
- 复现 (Reproduction)：先试着把错误重现出来（确保真的修好了）。
- 打补丁 (Patch)：修改代码。
- 验证 (Validation)：最后再跑一遍测试，确认没问题。
研究团队发现了一个大秘密： 虽然说明书就贴在仪表盘上，但很多 AI 根本不怎么看，或者看了一半就忘了。它们更多是依靠自己“脑子里”（训练数据里）记住的老习惯在开车。
2. 实验过程：我们怎么测试的？
研究人员让 4 种不同型号的 AI（有的像新手，有的像赛车手），去修 16,991 个真实的代码故障。他们给 AI 设了 8 种不同的“路况”：
- 标准路线：给完整的说明书。
- 没说明书：把说明书撕了，看它们怎么开。
- 删减路线：把“复现”或“验证”步骤删掉，看它们会不会偷懒。
- 增加路线：强行加一些新步骤（比如“先跑一遍旧测试”），看它们会不会晕。
- 换顺序：让“先修车”再“试车”，看它们听不听话。
- 不断提醒：每走几步就大声喊一遍：“别忘了看说明书！”
3. 主要发现：令人惊讶的真相
🚗 发现一：没有说明书，它们也能开，但容易翻车
如果把说明书拿走，AI 依然会按照自己脑子里的“老习惯”开车。
- 好消息：有些 AI 即使没说明书，也能修好车。
- 坏消息：成功率明显下降。就像你让一个老司机闭着眼开车，虽然他能开，但撞车的概率变大了。
- 结论：说明书（Plan）就像导航仪，虽然司机（AI）有直觉，但有了导航仪，到达目的地的概率更高。
🚫 发现二：坏说明书比没说明书更可怕！
如果你给 AI 一张错误的或残缺的说明书（比如删掉了关键的“验证”步骤），它的表现比完全没有说明书还要差。
- 比喻：这就像你给司机一张地图，上面把“红绿灯”标成了“可以冲过去”。司机信了，结果直接撞车。
- 结论：如果指令太烂，AI 会陷入混乱，甚至因为试图执行错误的步骤而崩溃。
🧠 发现三：AI 其实很“叛逆”，它们有自己的想法
当你强行改变步骤顺序（比如让 AI 先修车再试错），或者强行加一些它不习惯的步骤（比如让它先跑一堆旧测试），AI 的表现反而会变差。
- 比喻：这就像你让一个习惯“先踩刹车再转弯”的老司机，突然命令他“先转弯再踩刹车”。他不仅不听，反而因为操作别扭把车开翻了。
- 结论：AI 有自己的“肌肉记忆”。如果新指令和它的本能冲突，它要么忽略指令，要么搞砸任务。
🔔 发现四：不断提醒很有用
在长途驾驶中（处理复杂的代码问题），AI 容易“走神”，忘记最初的指令。
- 发现：如果每走几步就提醒它一次“别忘了看说明书”，它的表现会变好，翻车率降低。
- 结论：AI 的“记性”有限，需要人类不断“敲黑板”提醒它。
4. 为什么会出现这种情况？（深层原因）
- 训练太死板：很多 AI 是在大量“成功案例”上训练出来的。如果这些案例里恰好有某种固定的修车套路，AI 就把它当成了“真理”，而不是真的学会了“如何思考”。
- 数据污染：有时候 AI 能修好车，不是因为它听懂了指令，而是因为它在训练数据里“背过”这道题的答案。一旦换了个新题（比如更难的数据集），它就傻眼了。
5. 总结与启示：未来该怎么办？
这篇论文告诉我们，现在的 AI 编程助手，与其说是“听话的执行者”，不如说是“有主见的实习生”。
- 不要只靠“写指令”：光在系统提示词里写一堆步骤（Plan），AI 不一定听。
- 要教“怎么思考”：未来的研究方向，不是把更多的任务步骤硬塞给 AI，而是要训练 AI 真正理解为什么要按这个顺序做事，让它学会根据情况灵活调整，而不是死记硬背。
一句话总结：
给 AI 一张完美的地图（Plan）很有用，但如果 AI 脑子里的“老司机直觉”和地图冲突，或者地图画错了，AI 就会翻车。最好的办法是教会 AI 自己看地图、懂逻辑，而不是单纯地让它背地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。