Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation
Gaze2Act 是一种新颖的视觉 - 语言 - 动作框架，通过将人类注视作为动态意图信号进行整合，弥合了自视与外视视角之间的差距，从而在宇树 G1 人形机器人上实现了物体消歧、细粒度交互和动态意图引导方面的最先进性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何在厨房里帮你。你说：“把那个杯子递给我。”但桌上有五个杯子：一个红色的，一个蓝色的，一个有裂痕的，还有两个完全相同的白色杯子。如果你只说“那个杯子”，机器人可能会拿错，更糟的是，它可能会拿起你不想要的那个。
这就是论文Gaze2Act试图解决的问题。它认为人类语言往往过于模糊，机器人难以确切理解我们的意图，尤其是在我们需要精确操作或任务中途想法改变时。
以下是论文如何用简单的类比来解释他们的解决方案：
核心理念：“眼动引导手”
作者注意到人类自然具备的一种行为：我们在触摸某物之前，目光会先锁定它。 如果你想拿起一个特定的苹果，你的手伸出去之前的瞬间，你的眼睛就已经锁定它了。
论文提出，我们不应仅仅用语言与机器人交流，而应让机器人“看到”我们的目光落在哪里。他们将此称为Gaze2Act。这就像给机器人戴上一副“读心眼镜”，让它实时看到你专注的目标。
工作原理：三步魔法
论文描述了一个系统，旨在弥合你所见与机器人所见之间的差距。
1. 翻译器（跨视角定位）
- 问题： 你戴着智能眼镜，从你的视角看着一个杯子。机器人则从不同的角度看着同一个杯子。你的“注视点”（你眼睛在看的地方）与机器人的摄像头视角并不对齐。
- 解决方案： 该系统充当超级智能翻译器。它获取你的注视点，并利用“视觉匹配”工具，在机器人的摄像头视角中找到完全相同的物体。它会在你注视的物体周围绘制一个数字遮罩（就像荧光笔高亮一样），并标记出你凝视的确切位置。
- 类比： 想象你在山坡上指着森林里的一棵特定的树。机器人位于山脚下。该系统会立即在机器人的视野中，为那棵特定的树画出一个发光的圆圈，即使角度完全不同。
2. 高亮笔（感知级提示）
- 问题： 仅仅知道“在哪里”是不够的；机器人还需要知道该如何利用这些信息。
- 解决方案： 系统将那个数字高亮直接绘制在机器人看到的图像上。
- 如果你需要抓取整个物体，它会在物体周围画一个彩色轮廓。
- 如果你需要触摸一个微小的特定部分（比如锤子的把手），它会在把手上直接绘制一个热力图（一个发光的红点）。
- 类比： 这就像老师在指着地图时，在你想要去的城市周围画一个红圈，这样机器人就不必猜测你指的是哪个城市了。
3. 内心声音（动作级调节）
- 问题： 有时，仅仅向机器人展示一张图片还不足以让它完美移动。它可能仍然有点困惑。
- 解决方案： 系统不仅向机器人展示图片，还会将一条秘密指令直接“低语”进机器人的“大脑”（其动作生成代码）中。它告诉机器人：“嘿，忽略其他一切，只关注这个发光的特定区域。”
- 类比： 这就像教练不仅指着球门，还拍拍球员的肩膀说：“径直跑向那个点，而不是旁边的那个。”
他们测试了什么（“现实世界”的证明）
研究人员在Unitree G1（一种外观像人的类人机器人）上测试了该系统。他们给它布置了 16 项不同的任务，包括：
- 在有许多相似杯子时挑选正确的杯子（消除歧义）。
- 抓取物体的特定部分，例如抓取锤子的把手而不是锤头（细粒度交互）。
- 实时更改目标。想象机器人正走向一个红色杯子，但你突然看向一个蓝色杯子。机器人会停下来，意识到你改变了主意，然后切换到蓝色杯子。
结果
论文声称，Gaze2Act 的表现远优于仅听语言指令的机器人，或试图根据文本描述进行猜测的机器人。
- 仅靠语言的机器人很容易困惑（在棘手任务上的成功率约为 33%）。
- Gaze2Act 几乎每次都能做对（成功率约为 89%）。
- 当用户视线转移时，它在改变主意方面表现尤为出色，这是其他机器人难以做到的。
结论
论文总结道，视线是一种自然的、低 effort 的方式，可以确切地告诉机器人你想要什么。 它消除了猜测。你不需要成为机器人程序员，也不需要说出完美的代码；你只需要看着你希望机器人去做的事情，机器人就会跟随你的目光。
论文中提到的局限性：
该系统尚不完美。如果你移动头部太快，或者有东西遮挡了你的视线（遮挡），机器人可能会感到困惑。此外，该系统假设你看着的是你打算触摸的东西，但有时人们的目光会游移，或者看着他们实际上不想抓取的东西。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。