VisualPatchWorld: Code World Models as Latent Structured Representations for Planning
VisualPatchWorld 引入了一种通过将动力学表示为可执行代码来构建世界模型的新颖方法，该代码通过定性探测进行选择并从数据中拟合，从而实现比现有基于代码的基准模型更具解释性、可编辑性且高效的规划。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个机器人如何在杂乱的房间里导航、拿起杯子并倒水而不洒出来。为了做到这一点，机器人需要一个“世界模型”——即关于世界运作方式的心智地图。这就像是在机器人的大脑内部运行着一个游戏引擎。如果机器人想知道推一下椅子会发生什么，它不能仅仅靠猜测；它需要在脑海中先模拟这次推搡的过程。
长期以来，科学家们一直尝试用两种截然不同的方式来构建这些心智地图。第一种方式就像是在训练一个超级聪明但神秘的学生。你向机器人展示成千上万段事物发生的视频，它通过在隐藏的数学空间中寻找模式来学习预测未来。它很擅长猜测，但如果它犯了错，没人知道为什么——这就像一个黑盒，其中的规则是不可见的。第二种方式则像是构建一份详细的手动蓝图。工程师在代码中写出每一条物理定律（重力、摩擦力、碰撞）。这非常清晰且易于修复，但要为世界上每一种可能的房间或物体编写一份蓝图是极其困难的。核心问题在于：我们能否兼得两者的优点？我们能否教机器人通过观察视频来学习世界的规则，但最终得到的是一套清晰、可读的指令，而不是一个神秘的黑盒？
这正是论文《VisualPatchWorld》所解决的问题。研究人员 Jiaxin Bai 和 Jiaxuan Xiong 提出了一种新方法，将世界的规则视为代码。他们不再让机器人通过隐藏的数学空间去猜测未来，而是教它编写一段简单的、可执行的程序，来描述物体的运动方式。想象一下，要求机器人观看一段球沿坡道滚下的视频，然后要求它写一段简短的 Python 脚本，内容为：“如果球在斜坡上，则增加其运动速度。”
该团队的方法分为两个巧妙的步骤。首先，机器人进行几次快速的“主动探测”——就像侦探通过试探嫌疑人来测试理论一样。它尝试几种不同类型的运动规则（例如：“这个物体是像在冰上一样滑动，还是像在沙地上一样粘滞？”），以确定规则的定性轮廓。一旦它选定了规则的正确“草图”，第二步就是通过观察机器人移动的录制视频，来填入具体的数值（例如精确的滑动速度）。其结果是一段机器人可以像运行小型模拟器一样运行的代码。它可以查看这段代码，理解它，并利用它来规划下一步行动。
实验结果非常令人振奋。在四项不同的任务测试中——如迷宫导航、伸手抓取物体、推动物体和堆叠方块——他们的方法（称为 VisualPatchWorld 或 VPW）实现了 69.0% 的规划成功率。这是一个显著的飞跃，比之前的最优基于代码的方法高出了 23.5 个百分点。最大的改进发生在那些了解运动类型至关重要的任务中。例如，在一个机器人手臂需要伸手抓取物体的任务中，旧方法仅有 8% 的成功率，而 VPW 跳升至 72%。在涉及推动方块的任务中，之前的代码方法几乎无法工作（成功率接近于零），而 VPW 达到了 22%。
然而，论文也谨慎地指出，这目前还不是解决所有问题的完美方案。虽然机器人的自写代码在导航和抓取方面几乎与完美的物理引擎一样出色，但在处理物体碰撞和反弹的复杂推动任务时仍显得有些吃力。为了解决这个问题，作者建议采用一种“混合”方法：让机器人的代码承担规划的大部分工作，但在机器人实际移动之前，用一个完美的物理引擎对排名前几位的最佳计划进行二次检查。这个小小的检查填补了剩余的大部分差距。
最终，这篇论文表明，我们不必在“靠猜测的神秘 AI”和“手动编写每一条规则的刻板工程师”之间做选择。通过教机器人先学习世界的结构，然后再填充细节，我们可以创造出既强大到足以规划复杂动作，又清晰到足以让人们阅读、理解并在出错时进行修复的世界模型。这是迈向这样一种机器人的重要一步：它们不仅“知道”如何移动，而且能真正解释它们正在参与的游戏规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。