Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms
本文提出了一种用于辅助机械臂的开源眼动追踪驱动控制框架，该框架利用任务象形图和特征匹配技术，使严重肢体残疾人士能够在无需获知用户位置信息的情况下，克服3D注视估计和任务区分方面的挑战，独立完成日常任务，准确率达到97.9%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正坐在轮椅上，想要拿桌子上的水杯。但你的手臂无法活动，所以你需要一个机械臂来帮忙。通常情况下，告诉机器人该做什么就像是戴着一副模糊的眼镜并蒙着眼睛给朋友指路；如果你稍微向左看了一点，机器人可能会抓错东西。
这篇论文介绍了一种仅通过你的眼睛来与机械臂交流的新方法，但它带有一个巧妙的转折，使得这种方式更加可靠。
问题所在：“模糊眼镜”问题
大多数系统试图通过追踪你的头部和眼睛来猜测你在3D空间中的位置。这就像是在试图用激光笔瞄准桌上的某个特定杯子，而你的手还在抖动。如果你的眼镜滑落了，或者你的头稍微移动了一下，机器人就会感到困惑。它可能会认为你想拿盐罐，而实际上你想要的是水杯。这会让人感到沮丧，并破坏用户与机器之间的信任。
解决方案：“机器人的眼睛”
作者并没有尝试计算你的头部在房间里的精确位置，而是将“智能摄像头”直接安装在机械臂上（即“手眼在手”式的设置）。
这里有一个类比：想象你是船长（用户），而你有一个机器人船员（机械臂）。与其让船长向站在远处的船员大喊坐标，不如让船长直接指向一张目的地照片。那个站在物体旁边的船员会看着这张照片，在自己面前找到匹配的物体，然后将其抓取。
它是如何工作的：“图片线索”系统
该系统使用一种特殊的视觉线索，称为象形图（简单的图标或符号）。
- 菜单： 你拥有一组代表任务的图标，例如“饮用”图标、“进食”图标或“拿起”图标。这些图标被贴在你想与之交互的物体上（例如，“饮用”图标贴在杯子上）。
- 选择： 你注视着杯子上的“饮用”图标。你在那里保持注视一秒钟（类似于通过“停留时间”来确认你不是在随意的瞥视）。
- 握手： 你的眼动追踪眼镜向机器人发送信号，说：“我正在看‘饮用’图标。”
- 匹配： 机器人的摄像头就在杯子旁边，它能看到同一个图标。它使用一种数字化的“找不同”游戏（称为特征匹配）来确认它看到的图标是否与你正在看的图标相匹配。
- 动作： 一旦机器人百分之百确定——“是的，那就是带有饮用图标的杯子”——它就会抓取杯子。
为什么这更好
- 无需头部追踪： 你可以晃动头部，但机器人并不在意。它只在意机器人的摄像头是否看到了和你注视的相同的图片。
- 鲁棒性： 该系统使用了一个“后备”计划。如果机器人无法立即找到精确的图标，它会扫描整个场景以寻找最佳匹配，从而确保不会抓错东西。
- 速度： 系统非常快。在测试中，从注视图标到向机器人发送命令仅用了大约四分之一秒（260毫秒）。
结果
研究人员在实验室中使用杯子、叉子和瓶子进行了测试。
- 成功率： 当系统实际发送命令时，其正确率达到了 97.9%。
- “沉默”的安全网： 有时，系统会决定不发送命令，因为它无法确定（例如，如果光线很奇怪或者物体看起来与预期不同）。作者说这很好！保持沉默总比抓错物体并惹恼用户要好。
未来方向
论文指出这是一个“框架”，这意味着它是一个工具箱。机器人仍然需要知道如何喝水或如何进食，但这个系统解决了告诉机器人该做什么的问题。代码是开源的，因此其他研究人员可以轻松地接入新的任务或物体。
简而言之，这篇论文提出了一种让严重肢体残疾人士通过仅仅注视他们想要的东西的图片来控制机械臂的方法，而无需担心机器人会因为他们的头部运动而产生困惑。它将一个复杂的3D数学问题变成了一个简单的“匹配图片”游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。