Structured Observation Language for Efficient and Generalizable Vision-Language Navigation

想象一下，你正在教一个机器人当导游。你希望它能听从你的语音指令，环顾房间，并带你走到厨房，同时不会撞到椅子或迷失方向。这就是**视觉-语言导航（Vision-Language Navigation, VLN）**的世界。这是机器人领域的一个分支，其中人工智能代理必须将它所看到的（视觉）与它所听到的（语言）结合起来，从而在世界中移动。这就像是在一个 3D 迷宫中玩“西蒙说”（Simon Says）游戏，但机器人必须自己摸索出路径。

长期以来，科学家们试图通过向这些机器人展示数百万张原始照片并告诉它们该做什么来教导它们，希望机器人仅仅通过盯着像素就能学会识别像“门”或“椅子”这样的模式。但这就像是试图通过给一个人看一张模糊的高分辨率页面照片，然后让他们猜出上面的字母来教人类识字。这既缓慢又昂贵，而且如果光线发生变化或家具移动，机器人往往会感到困惑。研究人员提出的重大问题是：我们能否通过给机器人一个简单、清晰的世界描述，而不是强迫它们盯着数百万个原始像素，来教它们进行导航？

这正是 SOL-Nav 这篇论文所解决的问题。作者提出了一种与机器人交流的新颖方式。他们不再向机器人的大脑输入一张巨大的、混乱的图像，而是将机器人看到的内容转化为一份整洁、结构化的单词列表——就像一条描述房间的文本信息。他们称之为“结构化观察语言”（Structured Observation Language）。

以下是他们的“魔术技巧”是如何运作的：想象机器人的视野是一张照片。系统并没有将整张照片发送到机器人的大脑，而是将这张照片切割成一个小方格组成的网格（就像棋盘格一样）。对于每一个小方格，系统都会询问三个简单的问题：“这离多远？”（深度）、“这是什么？”（是墙、地板还是桌子？）以及“它是什么颜色？”（是蓝色、灰色还是黄色？）。

系统随后将这些答案转化为每个方格的短句，例如：“方格 [1,1]：2 米远，地板，浅灰色。” 它会对整个网格执行此操作，并将这些句子粘贴在一起，形成一段长文本块。这个文本块随后被交给一个强大的语言模型（机器人的“大脑”），该模型就像人类阅读地图或一系列指示说明一样阅读这段描述。语言模型随后决定下一步动作：“左转”、“前进”或“停止”。

研究发现，这种方法出奇地有效。通过将视觉转化为文本，机器人不需要从头开始训练以识别像素。它可以利用预训练语言模型现有的“常识”。结果表明，这种方法的效果与那些试图直接处理原始图像的规模更大、更复杂的系统一样好，甚至更好。在标准导航基准测试中，SOL-Nav 机器人的成功率很高（在一项测试中超过 53% 的尝试达到了目标，另一项为 48%），而它使用的模型与竞争对手相比非常微小——仅有 0.6 亿参数，而其他顶尖方法则使用 70 亿或更多。

或许最令人兴奋的部分是，这种方法在处理新的、未见过的环境时表现得非常好。因为机器人阅读的是“2 米外的一个灰色地板”的描述，而不是记忆特定照片中某种特定的灰色，所以即使灯光改变或房间看起来不同，它也不会感到困惑。作者甚至在真实房间（如茶歇区和会议室）中的真实机器人上进行了测试，它运行平稳，并在不到一秒的时间内做出了决策。

然而，论文也承认存在一个小小的权衡。通过将世界转化为单词列表，机器人会丢失一些细微的、精细的细节，比如地毯的确切纹理或形状奇特的瓶子的具体形状。作者认为，虽然这种方法对于通用导航非常出色，但在面对那些微小细节至关重要的复杂场景时，它可能需要一些额外的帮助。但总的来说，SOL-Nav 表明，有时帮助机器人观察世界的最佳方式，是停止向它展示图片，而是给它一个好且清晰的描述。