Visible Touch: Rendering Contact for Visuomotor Policies
本文介绍了“Visible Touch”，这是一种通过使用低成本定制传感器将触觉反馈直接集成到视觉帧中的方法，使现有的图像调节视觉运动策略和预训练视觉-语言-动作模型能够在不改变架构的情况下利用接触信息，并显著提高操作成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，机器人在开放世界中一直是高手，能够熟练地在房间中移动并识别架子上的物体。然而，一旦涉及到抓取和操纵物品这种微妙的物理动作时，它们往往会显得力不从心。人类高度依赖触觉来感知何时稳固地握住了物体、何时接触到了表面，或者该用多大的力度去挤压。相比之下，现代机器人通常仅依靠视觉和对自身身体位置的感觉来运作，忽略了物理接触这一往往是最关键的线索。虽然科学家们一直试图赋予机器人“感觉”的能力，但将这种感觉整合进控制机器人的计算机程序中已被证明非常困难。挑战不仅在于制造一个传感器，还在于如何教会机器人的大脑去理解这种感觉，而不必强迫它学习一种全新的思维方式。
加州大学洛杉矶分校的一个研究小组发现了一个出人意料的简单解决方案。他们开发了一种名为“可见触觉”（Visible Touch）的方法，让机器人能够“看到”自己的触觉。他们并没有将原始的触觉数据输入到机器人大脑的独立部分，而是直接将接触信息绘制在机器人正在观察的摄像机图像上。想象一下，机器人戴着一副眼镜，每当它的手指碰到物体时，眼镜就会在它看到的世界上画出一个彩色的小箭头。这个箭头指向力的方向，并根据触摸的力度改变大小。由于机器人已经经过训练来识别图像中的模式，因此它能瞬间理解这种接触，而无需任何特殊的编程或架构更改。
为了实现这一目标，团队为机器人的手指制造了一个定制的低成本传感器。这是一个由嵌入了微型磁铁的软橡胶制成的简单装置，当橡胶被挤压时，传感器会检测磁场的变化。这种传感器造价低廉，且可以进行3D打印以适配几乎任何形状。研究人员随后创建了一个软件流水线，将来自该传感器的原始数据实时投影到机器人的摄像机画面中。如果机器人的左手指按压杯子，屏幕上杯子的位置就会出现一个箭头，显示压力的方向和强度。这种增强后的图像随后被直接输入到机器人的控制系统中，无论该系统是基础的学习模型还是复杂的预训练人工智能。
这种方法的成果令人瞩目。研究人员在各种任务中测试了他们的方法，从简单的模拟到复杂的现实世界挑战。在旨在测试机器人操纵能力的标准模拟任务集中，使用这种视觉触觉叠加层的机器人比仅依靠视觉和身体位置的机器人成功率高出了15.7个百分点。对于使用先进预训练人工智能模型的机器人，这种提升更为显著：在模拟环境中成功率跃升了25个百分点，而在现实世界任务中则跃升了30个百分点。这些任务包括精细的操作，如拿起试管、将马克杯放入洗碗机或将充电器插入插座——在这些场景中，准确了解机器人是如何以及在哪里接触物体是至关重要的。
研究还表明，并非所有展示信息的方式都是等效的。研究人员尝试了不同的视觉风格，例如为整个手指绘制一个单一箭头，或者为手指上的每一个微小传感点分别绘制箭头。在模拟世界中，单一的平均箭头效果最好，这可能是因为过多的细节造成了视觉干扰，从而困扰了机器人。然而在现实世界中，情况发生了反转：当机器人能够看到每个传感点的独立箭头时，表现得最好。这表明现实世界的接触比模拟环境更具一致性和稳定性，从而使机器人能从额外的细节中获益。关键发现是，该方法适用于不同类型的机器人大脑，并能从简单的模拟扩展到复杂的物理环境。
至关重要的是，这种方法无需昂贵、笨重的传感器或复杂的全新软件架构。研究人员证明，仅仅将接触数据叠加在现有的视觉馈送上，比将触觉作为独立的信号流或数字列表添加进来，是一种更有效的集成触觉的方式。通过将触觉视为一种视觉信号，他们让机器人能够利用其现有的视觉推理技能来解决物理问题。事实证明，这种方法在不同的机器人设计和任务难度下都具有鲁棒性，在需要多个步骤和重复抓取的任务中增益最为显著。这项工作表明，机器人操纵技术的未来可能不需要发明全新的思考方式，而是寻找更好的方式，向它们展示它们本就具备的感知能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。