The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

想象一下你正在教一个机器人如何在迷宫中导航。为此，机器人会在大脑内部构建一个关于世界的“心理地图”。这张地图不是一张图片，而是一个关于世界在任何给定时刻呈现样貌的压缩数学摘要。科学家们称之为“潜空间世界模型”（latent world model）。机器人通过观看自己移动的视频并尝试预测接下来会发生什么来学习这张地图。如果它能准确预测未来，我们便假设它理解了这个世界。一旦拥有了这张地图，机器人就会使用一个“规划器”（planner）——一种决策算法——来计算到达目标的最佳路径，比如寻找宝箱。这个领域一直存在一个重大疑问：如果机器人无法到达遥远的目标，是因为它的心理地图模糊且不准确，还是因为它的决策工具出了问题？这篇论文深入探讨了这个谜团，测试问题的根源究竟在于机器人的“视觉”还是它的“指南针”。

研究人员在这篇论文中调查了一个在简单的两室环境中导航的特定机器人。他们发现，机器人的“心理地图”实际上非常清晰且准确，即使在观察遥远的未来时也是如此。然而，机器人仍然无法到达遥远的目标。令人惊讶的发现是，机器人失败并不是因为它看不见路径，而是因为它用来测量距离的“指南针”坏了。机器人试图最小化一个特定的数学得分（即当前心理状态与目标之间的平方距离），但这个得分在超过一定程度后就失去了意义。这就像是一个 GPS，当你实际上是在向相反方向行驶时，它却告诉你正在接近目的地。

论文显示，该机器人的内部地图仍能以极低的误差预测 75 步之后的场景，这远远超过了机器人实际尝试规划的 25 步。问题不在于地图，而在于目标函数（objective function），即规划器用来判断成功与否的规则。研究人员发现，这种在机器人大脑中衡量距离的标准方法发生了“饱和”并随后“反转”。这意味着，一旦目标距离超过约 120 个单位，向远离目标的方向移动反而会降低机器人的成本得分，从而误导它认为自己正在取得进展。关于目标在哪里以及如何到达那里的信息仍然完整地存在于机器人的大脑中，但机器人的规划器却忽略了这些信息，因为它观察的是错误的度量标准。

为了修复这个问题，研究人员并没有重新训练机器人或为其配备更强大的硬件。相反，他们只是用一个新的指南针替换了那个坏掉的。他们教会了规划器去关注“可达性”（reachability，即我真的能到那里吗？）而不仅仅是“接近度”（proximity，即看起来有多近？）。他们通过训练一个小型助手来实现这一点，让助手去预测从一帧到另一帧需要多少步，而不是仅仅测量数学空间中两点之间的距离。这种新方法取得了巨大的成功。在原始机器人的设置下，到达 100 步之外目标的成功率从惨淡的 26% 跃升到了惊人的 98%。更令人印象深刻的是，仅用三分之一的常规时间预算，机器人就能到达 92% 的那些遥远目标。

然而，这种修复并非无处适用的灵丹妙药。当研究人员尝试将同样的修复方法应用于原作者发布的权重时，成功率仅从 14% 提升到 34%，未能达到更简单线性方法的 70%。失败的原因在于，原始模型的“心理地图”在想象未来时会过度偏离现实。新的指南针对的是真实的视频帧进行训练，但规划器评分的对象却是“想象”出的帧。由于原始模型的预测过于不准确，想象出的帧与真实的帧差异过大，导致新的指南针无法正常工作。这强调了一个至关重要的规则：学习到的规划成本必须基于与规划器实际使用的完全相同类型的“想象”数据进行训练，否则当预测器发生漂移时，它将会失效。

这项研究还揭示了一个奇怪的特性：“最好”的规划器并不是那个拥有最准确地图的规划器。事实上，一个使用预测空间距离效果较差的成本函数的规划器，其表现反而更好。这是因为新的成本函数学会了为穿越墙壁支付额外费用，而旧的则完全不在意墙壁。旧的规划器认为两个房间很近，因为它们在物理位置上靠得很近，从而忽略了门的存在。新的规划器理解了你必须通过那扇门，这使得它成为了一个更好的导航员。论文最后总结道，对于长程规划而言，瓶颈不在于预测未来的能力，而在于定义“到达那里”究竟意味着什么。如果你的指南针指向错误的方向，再完美的视觉也无法帮你找到目的地。