Can VLMs Predict Future States? Bootstrapping World Models from Inverse Dynamics
本文表明，尽管统一视觉-语言模型在正向动力学预测方面表现挣扎，但通过利用显著更简单的逆向动力学预测任务来生成合成训练数据并引导推理时搜索，可以有效地引导其在以动作中心（action-centric）的图像编辑领域达到最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明、博学多才的机器人，它既能看图也能读文字。你问了它一个简单的问题：“如果我看到一个男人拿着一本书，然后我告诉他‘把书放下’，那么下一张图片会是什么样子？”
这篇论文在探讨：我们目前的智能机器人真的能预测未来吗？
作者发现，虽然这些机器人擅长阅读和观察，但在预测物理世界中接下来会发生什么时却表现得很糟糕。如果你要求它们预测下一个场景，它们通常只是随机猜测，或者直接复制旧图片而不做任何改变。它们并没有真正学会动作是如何改变世界的“物理规律”。
然而，研究人员发现了一个聪明的技巧。他们发现，教机器人学习“反向”过程要容易得多：即“这里有一张男人拿着书的照片，这里有一张他放下书的照片。中间发生了什么动作？”
机器人对于在展示了“之前”和“之后”两张图片的情况下猜出“动作”（即故事内容）表现得非常出色。作者称之为逆动力学（Inverse Dynamics）（向后推导）。而根据动作来预测“未来”的图片则是正向动力学（Forward Dynamics）（向前推导），这也是最难的部分。
解决方案：利用“反向”来教导“正向”
既然机器人擅长向后推导但不擅长向前推导，作者便利用机器人的这种“向后”能力来教它如何“向前移动”。他们使用了两种主要的策略，称之为引导（Bootstrapping）（利用一个小台阶把自己拉向更高的台阶）。
策略 1：“幽灵作家”（弱监督）
想象你有一个巨大的视频库，但没有人记录下里面发生了什么。
- 幽灵作家： 他们让这个具备“向后推导能力”的机器人去观看这些没有标签的视频。机器人观察视频的开头和结尾，并写下一句描述动作的话（例如：“男人踢了球”）。
- 学生： 现在，他们拥有了大量的全新数据：起始图片 + 机器人的句子 = 结束图片。
- 课程： 他们利用这些新生成的、自给自足的数据来训练机器人预测未来。这就像雇佣了一位幽灵作家为学生编写教科书，以便学生无需人类为每个例子编写说明，就能学会预测未来。
为了确保机器人不会只是简单地复制原图，他们增加了一条特殊规则：“要额外关注图片中实际发生变化的部分。”如果球移动了，就专注于球，而不是静止的背景。
策略 2：“裁判”（推理时验证）
想象你正在参加考试，你可以写下三个不同的答案来描述未来的画面。
- 生成器： 机器人根据指令尝试画出三张不同的“未来”图片。
- 裁判： 在你挑选最终答案之前，你请那位具备“向后推导能力”的机器人（裁判）来看一下这三个选项。它会询问：“如果我看到起始图片和这张未来图片，动作‘拿起书’是否合理？”
- 选择： 机器人会挑选出那个被“裁判”认为最合理的未来图片。这就像是在你交作业之前，请一位老师帮你检查一下答案，从而选出最好的那一个。
研究结果
作者在“世界模型（World Model）”基准测试（一套用于测试机器人是否理解世界运作方式的挑战）上对他们进行了测试。
- 之前： 机器人很难预测未来，经常出现完全无法改变图像的情况。
- 之后： 通过使用这两个技巧，他们的机器人变得比目前最先进的专门图像编辑工具更擅长预测未来图像。
- 证明： 当人类观察结果时，他们更倾向于选择机器人的预测结果，而非专门的编辑工具。机器人在遵循诸如“移动书本”或“让狗跳起来”等指令时表现得更好，且不会弄乱图片的其余部分。
核心结论
这篇论文表明，我们不需要从头开始构建一个全新的、极其复杂的机器人来理解世界。我们可以利用一个已经擅长理解故事（动作）的通用型机器人，并利用这一优势来教它如何预测未来。
重要提示： 作者非常明确地指出，目前这仅限于单步预测（即预测执行一次动作后的紧接着的下一张图片）。他们并不是在声称这个机器人现在就能规划一整天的工作，或者控制工厂里的机械臂。他们只是朝着构建一个能够真正模拟世界如何变化的机器人迈出了第一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。