World-Model-Grounded LLM Planning for AUV and ASV Navigation Near Offshore Wind Farms

想象一个能够理解像“去检查那个风力涡轮机”这样简单句子的机器人，并能据此制定前往那里步骤的过程。多年来，科学家们一直通过使用大型语言模型（即驱动智能助手和聊天机器人的同类技术）来教人工智能完成这项任务。这些系统非常擅长将一个大目标分解为较小的动作，例如“前进”、“左转”或“停止”。然而，它们有一个致命的盲点：它们不理解物理学。它们知道移动船只或潜艇的词汇，但无法感受水的重量、水流的阻力，或者引擎响应所需的延迟。如果你要求一个标准的语言模型驾驶一艘船绕过涡轮机，它可能会建议一个在理论上看起来完美的转向，但由于水流将船向侧面推挤或引擎存在滞后，导致在现实中失败，使船只直接撞向结构物。这种计算机所认为会发生的情况与海洋中实际发生的情况之间的差距，正是挪威国防研究机构和赫里奥特-瓦特大学的研究人员致力于解决的核心问题。

该团队开发了一种新的引导自主机器人靠近近海风电场的方法，即赋予它们一个“世界模型”。可以将这理解为不是第二个思考的大脑，而是一个在后台运行的高精度模拟器。在这个系统中，语言模型仍然充当指挥官，根据任务描述决定行动序列。但在机器人移动之前，世界模型会介入并回答“多久”和“多少”的问题。它计算每次运动的精确持续时间，并检查该计划是否能在海洋的物理现实（如波浪、洋流以及机器人推进器工作的特定方式）中生存下来。如果计划看起来会导致碰撞，世界模型会调整时间或路径，确保机器人在实现目标的同时保持安全。

为了测试这种方法，研究人员使用了两种截然不同的机器人：一种是可以在各个方向（包括侧向）移动的水下航行器，另一种是只能前后移动和转向的表面船只（类似于汽车）。他们创建了一个混合系统，其中一个标准的物理模拟器提供基本的运动规则，而一个神经网络则学习如何修正现实世界机器产生的微小且混乱的误差。这种结合使得系统能够以极高的精度预测机器人的未来状态。在他们的模拟中，该系统预测水下机器人一分钟后的位置，误差小于一毫米；预测表面船只位置的误差小于半米。

测试结果令人瞩目。当机器人被赋予绕过风力涡轮机塔架和电缆的任务时，单独充当指挥官的语言模型完全失败了。由于无法考虑到水流引起的漂移或引擎的滞后，它在每一次尝试中都撞上了障碍物。相比之下，当语言模型与世界模型配对时，无论是水下机器人还是表面船只，都成功抵达了目的地，未发生任何碰撞。与无引导的尝试相比，该系统将水下机器人停止位置与预期目标之间的距离缩小了约93%，并将表面船只的距离缩小了7문에到82%。

这项工作中一个特别巧妙的部分涉及表面船只，这类船只通常太小且成本太低，无法携带声呐或激光扫描仪等昂贵传感器来实时绘制海床地图。研究人员并没有依赖车载传感器，而是教系统利用卫星图像、航海图和天气预报来“看见”环境。视觉语言模型分析这些现有地图，识别出如浅滩岩石或水下结构等障碍物，并将它们转化为机器人可以使用的数字地图。这种方法被证明与人类手动在地图上绘制障碍物一样有效，在区分可航行区域与不可航行区域方面达到了96%的准确率。这意味着低成本机器人很快就能在复杂的近海区域导航，而无需携带沉重且昂贵的设备。

研究人员还测试了该系统在包含复杂波浪模式和不可预测洋流的高保真模拟环境中表现如何。即使在如此具有挑战性的环境下，机器人依然保持了零碰撞。系统包含一个安全机制，在机器人移动过程中不断重新评估计划。如果机器人因为突然的波浪而偏离航线，系统会迅速重新计算剩余路径，以确保仍能安全到达目标。这种闭环过程起到了不断的检查与平衡作用，这对于成功至关重要，尤其是在可能导致碰撞的狭窄操纵空间内。

最终，这项研究表明，虽然人工智能在理解语言和规划序列方面非常强大，但它需要建立在物理现实的基础之上才能在现实世界中发挥作用。通过将语言模型的高层推理能力与具备物理感知能力的世界模型相结合，研究人员创造了一个能够安全引导自主车辆穿越复杂且动态的近海风电场环境的系统。这项工作表明，海洋机器人的未来不在于让语言模型变得更聪明，而在于赋予它对所操作物理世界的更好理解，使其做出的决策不仅符合逻辑，而且在物理上是可行的。