VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision
VEGA 通过利用无标签的第一视角视频重建局部场景几何结构，以生成用于监督的障碍物感知轨迹，从而引入了一种训练导航视觉-语言-动作模型的方法，与现有基准相比，在碰撞规避和成功率方面取得了显著提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想教一个机器人如何在拥挤的房间里行走，而不撞到椅子、人或桌子。通常情况下，要教会机器人这一点，你需要：
- 录制一段人类在那个特定房间内行走的视频，让机器人进行观察；或者
- 手动编写程序，让机器人避开特定的障碍物。
这两种方法都既缓慢、昂贵，又难以规模化。你不可能为世界上每一个可能的房间都去录制一段人类行走的视频。
于是，VEGA 出现了。
这项研究背后的研究人员想出了一个巧妙的方法，利用互联网上数十亿个“野外”（in-the-wild）视频（比如人们在家里走动、在徒步路径上行走或在繁忙街道上穿行的视频）来教机器人导航。这些视频非常棒，因为它们展示了真实、杂乱且充满障碍的环境，但它们有一个大问题：它们并不会告诉机器人该往哪里走，或者如何避开家具。它们仅仅是“无动作”的视频。
以下是 VEGA 如何将这些随机视频转化为导航老师的过程，它使用了几个极具创意的步骤：
1. “心理地图”技巧
首先，VEGA 查看视频中的单帧画面，并使用一种特殊的 AI 来构建该房间的 3D 心理地图。它能识别出地板在哪里、墙壁在哪里，以及障碍物（如咖啡桌或狗）站在哪里。它创建了一张“安全地图”，明确知道有多少可供行走的可用空间。
2. “如果……会怎样？”游戏
一旦构建好地图，VEGA 就会玩一场“如果……会怎样？”的游戏：
- 如果机器人想去那把红色的椅子呢？
- 如果它想去门口呢？
- 如果它只想走到地毯上的一个空旷处呢？
对于每一个可能的目的地，VEGA 都会使用数学规划器来计算出一条完美的、安全的路径，以到达那里而不撞到任何东西。它通过这种方式进行了数百万次计算，创建了一个庞大的“目标 + 安全路径”配对库。
3. “学生”机器人
现在，VEGA 训练一个机器人大脑（称为 VLA，即视觉-语言-动作模型）。这个“学生”机器人观看原始视频，并看到 VEGA 计算出的“安全路径”。
- 教学内容： “这是你看到的景象（视频），这是你想去的地方（目标），以及你应该采取的安全路径。”
- 结果： 机器人学会了观察场景，理解一个目标（例如“去厨房”或“去那幅画”），并仅通过观察摄像头画面，就能瞬间计算出一条安全的路径。一旦训练完成，它不再需要那个 3D 地图；它只需运用它的眼睛和大脑。
为什么这意义重大？
把它想象成学习驾驶。
- 旧方法： 你只能通过一名驾驶教练坐在你特定的车里，在特定的街道上，告诉你何时转弯来学习驾驶。
- VEGA 方法： 你观看来自世界各地的数百万小时行车记录仪视频。你利用计算机为这些视频中的每一个可能目的地计算出“完美的行驶路线”。然后，你训练你的大脑去模仿这些完美的路线。
研究结果
研究人员在充满移动障碍物的杂乱房间中，在真实的机器人上测试了这一方法。与现有的顶尖机器人导航系统相比：
- 成功率： 机器人到达目的地的频率更高（至少提升了 150%）。
- 安全性： 碰撞物体的次数减少了 66%。
- 空间感： 它为自己留出了更多的操作空间，避免紧凑挤压的情况增加了 60%。
他们还创建了一个巨大的测试集 VEGA-Bench（包含 25 万个场景和 500 万个目标），以证明他们的这种方法在避免碰撞和到达特定目标方面比竞争对手表现得更好。
简而言之： VEGA 利用几何学将互联网视频库中的混乱状态转化为结构化的“安全手册”，从而教会机器人如何在无需昂贵的实地录制训练的情况下，在现实世界中进行导航。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。