Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

本文提出了“行动 - 观察 - 重写”（AOR）框架，使多模态大语言模型能够在无需梯度更新、演示或奖励工程的情况下，通过视觉观察和结构化结果诊断失败原因并直接重写底层 Python 控制代码，从而在机器人操作任务中实现高效的上下文策略学习。

要点

这篇文章介绍了一种名为 Act–Observe–Rewrite (AOR) 的新方法，它让机器人学会“自我反省”和“自我修改代码”，从而学会如何抓取和移动物体。

为了让你更容易理解，我们可以把这项技术想象成一个正在学习做菜的“天才厨师学徒”。

1. 核心概念：不是“死记硬背”，而是“边做边改菜谱”

传统的机器人学习（比如现在的很多 AI 机器人）通常是这样工作的：

• 传统方法：就像让厨师背一本厚厚的“菜谱书”。如果书里没写“怎么切红色的西红柿”，厨师就完全不会。或者，如果厨师切坏了，他需要人类教练（奖励机制）告诉他“不对，重来”，然后他通过成千上万次的试错，慢慢调整肌肉记忆（梯度更新）。这需要大量的数据和算力。

• AOR 方法（本文的创新）：
  想象一下，这位厨师学徒手里拿的不是死板的菜谱，而是一张可以随意涂改的“手写代码清单”。

  1. Act (行动)：他试着做一道菜（比如把红方块从桌上拿起来）。
  2. Observe (观察)：菜做失败了（比如手滑了，或者抓偏了）。他不仅看到结果，还拿起“监控录像”（关键帧图片）和“操作日志”仔细查看。
  3. Rewrite (重写)：这是最神奇的一步。他不像以前那样只是“下次小心点”，而是直接拿出笔，把那张“手写代码清单”上出错的那一行字划掉，重写了一行新的逻辑。
     • 比如，他发现：“哦，原来是因为我把‘向下’的方向搞反了，代码里写的是‘向上’，所以我永远抓不到。” -> 他立刻修改代码。
     • 或者：“原来是因为我把红色的易拉罐看成了银色，因为光线问题。” -> 他修改颜色识别的逻辑。

简单说：AOR 不是让机器人“练肌肉”，而是让机器人“改大脑里的说明书”。

2. 为什么这很厉害？（三个比喻）

比喻一：修车 vs. 换零件

• 以前的方法：机器人抓不住东西，就像车抛锚了。以前的方法可能是给引擎加更多的油（调整参数），或者换个轮胎（选择技能），但不知道引擎哪里坏了。
• AOR 的方法：机器人自己拿着扳手，看着引擎盖下的图纸（代码）。它发现：“啊！这根线接反了（坐标轴搞错了）！”然后它直接重新接线。
  • 结果：它不仅能修好，还能解释为什么坏了（“因为 OpenGL 的坐标系和 OpenCV 不一样”），这是以前那些只会“猜参数”的 AI 做不到的。

比喻二：学骑自行车

• 传统 AI：像是一个蒙着眼睛的人，摔倒了，教练喊“向左一点”，他再试，再摔，再喊。需要摔几千次才能学会平衡。
• AOR 机器人：像是一个聪明的孩子。摔了一跤，他站起来看地面，发现：“哦，刚才我转弯太急了，而且我看路的时候眼睛没盯着前方。”于是他在脑子里重写了“转弯规则”和“视线规则”，下次直接按新规则骑，可能一次就学会了。

比喻三：侦探破案

• 当机器人失败时，它不像个只会抱怨的傻瓜，而像个侦探。
  • 它看着失败的录像（图片），对比自己的操作代码。
  • 它说：“看，这里有个红点（目标），但我抓到了旁边。为什么？因为我的代码里把‘下’当成了‘上’。这就是系统性错误。”
  • 它不需要人类告诉它“你抓错了”，它能自己通过逻辑推理找到代码里的 Bug。

3. 实验结果：它真的学会了吗？

研究人员在电脑模拟的实验室里测试了三个任务，结果非常惊人：

1. 任务一：拿起红方块 (Lift)

   • 第一次尝试：完全失败，手悬在半空够不着。
   • AI 的反应：看了图片，发现是“深度传感器”算错了距离，以为物体很远。
   • 修改：在代码里加了一个“距离修正值”。
   • 结果：第二次尝试就成功了，之后100% 成功。

2. 任务二：把可乐罐放进箱子 (PickPlaceCan)

   • 问题：机器人把红色的易拉罐看成了银色，或者把箱子里的红色标记当成了目标。
   • AI 的反应：发现颜色识别逻辑错了，把“找银色”改成了“找红色”，并且学会了忽略箱子里的干扰标记。
   • 结果：修改后100% 成功。

3. 任务三：叠方块 (Stack)

   • 难度：要把红方块稳稳地叠在绿方块上，误差不能超过 2 厘米。
   • 过程：机器人试了 20 次，每次失败都修改代码。它修好了视觉偏差，修好了抓取逻辑。
   • 最终成绩：91% 成功。
   • 剩下的 9% 为什么没成功？ 机器人发现：“哎呀，我放下去的时候，手指碰到了下面的绿方块，把它推歪了。”它知道问题在哪，但还没找到完美的“不碰触”的放置策略。这就像厨师知道“火候大了会焦”，但还没找到完美的“关火时机”。

4. 总结：这意味着什么？

这篇文章告诉我们，未来的机器人可能不需要人类教它做每一件事，也不需要给它看成千上万次成功的视频。

只要给它一个能写代码的“大脑”（大语言模型），让它：

1. 动手做。
2. 看录像找茬。
3. 自己改代码。

它就能像人类工程师一样，通过逻辑推理来解决物理世界的问题。这种方法不需要昂贵的训练数据，不需要人类设计复杂的奖励规则，而且因为它是改代码，人类工程师可以完全看懂它为什么这么做（可解释性）。

一句话总结：
这就好比给机器人装了一个“自我纠错的程序员”大脑，它不再是通过死记硬背来学习，而是通过阅读自己的错误日志，然后重写自己的操作手册，从而在物理世界中变得越来越聪明。

技术摘要

《Act–Observe–Rewrite：作为上下文策略学习者的多模态编码智能体用于机器人操作》技术总结

1. 研究背景与问题定义

背景：
机器人操作领域正进入基础模型（Foundation Models）集成时代。尽管视觉 - 语言 - 动作（VLA）模型在零样本泛化方面表现出色，但在特定部署配置下失败时，缺乏无需重新训练即可诊断原因并适应的机制。此外，预训练的高昂成本限制了研究人员在新型操作任务上的快速迭代。

核心问题：
多模态大语言模型（LLM）能否在不进行梯度更新、无需演示数据（Demonstrations）且无需人工设计奖励函数（Reward Engineering）的情况下，通过推理自身的失败来学习物理对象的操作策略？

现有方法的局限性：

• 参数微调/技能选择： 现有方法（如 Reflexion）通常在文本策略或离散动作空间中进行反思，无法处理连续物理操作中的精确运动学、传感器偏差和几何约束。
• 一次性代码生成： 如 "Code as Policies" 等方法仅生成一次代码，缺乏基于失败反馈的闭环迭代优化。
• 奖励函数生成： 如 Eureka 等方法依赖强化学习（RL）的外层循环，计算成本高昂且迭代缓慢。

2. 方法论：Act–Observe–Rewrite (AOR) 框架

AOR 提出了一种双时间尺度（Two-timescale）的框架，将可执行的 Python 控制器代码作为 LLM 推理的基本单元，而非参数向量或技能选择器。

2.1 核心流程

1. Act（执行）： 机器人基于当前的 Python 控制器执行一个 Episode（回合）。控制器包含视觉流水线（Vision Pipeline）和运动控制逻辑。
2. Observe（观察）： 回合结束后，系统收集结构化数据，包括：
   • 关键帧图像（Key-frame images）：捕捉相位转换和失败时刻的视觉状态。
   • 诊断信号：奖励值、持续时间、相位日志、末端执行器（EEF）与目标的最小距离、振荡标志等。
3. Rewrite（重写）： 多模态 LLM 智能体（如 Claude Code）接收上述观察数据和当前控制器源码，执行以下任务：
   • 诊断失败模式： 分析图像和日志，确定失败的根本原因（是视觉偏差、控制逻辑错误还是参数问题）。
   • 生成新策略： 输出一个全新的、完全可执行的 Python 控制器类，直接修复诊断出的问题。
   • 安全验证： 新生成的代码在沙箱中编译和验证，若失败则回退到上一个可用控制器。

2.2 关键设计原则

• 代码即策略（Code as Policy）： LLM 直接修改底层电机控制代码（如反向投影公式、相位状态机逻辑），而不仅仅是调整参数。这使得 LLM 能够进行架构级的修改（如添加新阶段、修正几何计算）。
• 可解释性： 由于策略是代码，LLM 可以像人类工程师一样“阅读”代码并定位具体的逻辑错误（例如："y 坐标在反向投影中符号错误”）。
• 无梯度更新： 整个学习过程完全基于上下文学习（In-Context Learning），不涉及模型权重的更新。

3. 关键贡献

1. 架构创新： 首次提出将完整的底层控制器实现作为 LLM 推理单元，实现了从“策略选择”到“策略实现重写”的范式转变。
2. 自主调试能力： 展示了 LLM 能够自主发现并修复复杂的系统级错误，例如：
   • 相机坐标系约定错误： 自动识别出 Robosuite 中 OpenGL 与 OpenCV 坐标系的不一致（行 0 在底部 vs 顶部），并修正反向投影公式。
   • 视觉感知偏差： 识别出物体在渲染时的颜色偏差（如易拉罐在特定视角下呈红色而非银色）并修正分割逻辑。
3. 零样本适应： 在没有任何演示数据、奖励工程或梯度更新的情况下，实现了高成功率的操作任务。
4. 实证验证： 在三个不同难度的 Robosuite 任务上验证了框架的有效性，并诚实报告了局限性。

4. 实验结果

实验在 Robosuite 仿真环境中进行，使用 UR5e 机械臂。对比了 Claude Code 和 GPT-5 (Codex) 作为底层智能体。

任务	描述	最终成功率	LLM 调用次数	主要成就
Lift	从桌面拾起红色立方体	100%	3	快速收敛，修正了 2.5cm 的深度视觉偏差和抓取时的下压问题。
PickPlaceCan	拾起可乐罐放入指定容器	100%	2	解决了物体颜色渲染错误（红 vs 银）和容器标记干扰导致的质心偏移问题。
Stack	将红立方体堆叠在绿立方体上	91%	20	修正了严重的视觉流水线 Bug（5-8cm 误差），但剩余 9% 失败源于机械手在放置时触碰到底部方块，LLM 虽诊断出原因但未能找到避免接触的策略。

对比实验：

• Claude Code vs. Codex： 使用 Codex (GPT-5) 作为智能体时，无法在相同迭代预算内解决任何任务，表明底层 LLM 的推理和编码能力是框架成功的关键变量。
• 失败分析： 在 Stack 任务中，LLM 正确诊断出“机械手手指在下降放置过程中触碰到底部方块”是剩余失败的原因，但受限于搜索空间，未能提出有效的规避策略（如更陡的下降角度或侧向轻推），导致陷入局部最优。

5. 意义与局限性

5.1 意义

• 可解释的机器人学习： 提供了一种完全可解释的机器人学习路径，人类可以审计 LLM 生成的代码，理解失败原因。
• 低成本快速迭代： 相比 RL 训练，AOR 无需大量数据收集和梯度计算，适合快速适应新任务或新环境配置。
• 调试工具潜力： 该框架不仅可用于学习策略，还可作为机器人视觉和控制系统的自动调试工具，能够定位传统方法难以发现的系统性 Bug（如坐标系转换错误）。

5.2 局限性

• 仿真环境： 目前仅在仿真中验证，真实世界的噪声、光照变化和执行器不精确性可能带来挑战。
• 搜索效率： 采用串行迭代（一次一个假设），并行测试多个候选控制器可能显著减少时间成本。
• 局部最优与搜索盲区： 在复杂任务（如 Stack）中，LLM 可能无法跳出局部最优解，或者无法探索出非直觉的解决方案（如特定的放置策略）。
• 代码引入新 Bug： 在重构代码时，LLM 可能引入新的副作用（如修改共享变量导致其他功能失效），需要更严格的测试机制。

6. 结论

Act–Observe–Rewrite (AOR) 证明了多模态编码智能体可以通过“执行 - 观察 - 重写”的循环，在没有演示和梯度更新的情况下，自主掌握复杂的物理操作技能。其核心优势在于将可执行的代码作为推理对象，使得 LLM 能够进行深度的、架构级的自我修正，而不仅仅是参数微调。尽管在极端复杂场景下仍存在搜索局限性，但该方法为机器人系统的快速部署、调试和自适应提供了一种极具潜力的新范式。