Beyond Patch Removal: Persistent Adversarial Effects in Vision-Language-Action Policies
本文揭示了视觉-语言-动作（Vision-Language-Action）策略上的对抗性补丁会诱发持久的状态效应，这种效应即使在补丁移除后仍会阻碍恢复，从而证明了及时的干预对于恢复策略性能至关重要。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
能够看见、理解语言并进行移动的机器人不再仅仅是科幻小说中的情节。这些被称为“视觉-语言-动作策略”（vision-language-action policies）的系统，充当了现代机器人的大脑，将摄像头所见的画面和人类所说的话语转化为精确的指令，决定如何移动机械臂以完成任务。与处理静态图像的简单计算机程序不同，这些机器人运行在一个连续的循环中：它们观察、行动，而由于它们的行动，世界也随之发生了变化。这产生了一种独特的脆弱性。如果机器人被诱导做出一个错误的动作，它可能会撞倒物体或将自己推入死角。即使这个诱导在下一秒就被移除了，由于它已经处于与正确行动时不同的物理位置，情况也已无法挽回。研究人员现在提出的问题不仅是机器人是否会在瞬间被欺骗，而是这种伤害是否会在诱导消失后依然持续存在。
一个研究小组致力于利用一种标准的机器人仿真环境来调查这种持续性的影响。他们专注于一种特定的数字攻击，即在机器人看到的图像上放置一个带有特定图案的小贴纸。这个贴纸旨在迷惑机器人的大脑，导致它伸手抓向错误的位置或向错误的方向移动。在之前的研究中，科学家们主要测量机器人在贴纸仍然可见时的表现。这项新研究提出了一个不同的问题：如果你移除贴纸并让机器人拥有清晰的视野，它还能完成工作吗？为了找出答案，他们建立了一套精确的测试方法。他们让机器人在带有贴纸的情况下执行任务，等待机器人做出几次移动后，立即移除了贴纸。至关重要的是，他们并没有将机器人重置到起始位置。相反，他们让机器人从那个因受困而到达的精确位置继续运行，并给予它与未受攻击时相同的时间来完成任务。
结果揭示了“被欺骗”与“被困住”之间的显著差异。当研究人员移除贴纸时，机器人并没有简单地恢复正常。在许多情况下，机器人陷入了一种无法恢复的状态。在一组包含十个操控任务的复杂实验中，当在短短几秒钟的混乱后移除贴纸时，机器人的任务完成率仅为36%左右。这与对照组相比出现了剧烈的下降——在对照组中，机器人面对的是一个大小相同但无恶意性质的随机贴纸。那个随机贴纸虽然同样遮挡了视线，却让机器人在近90%的情况下能够恢复并成功完成任务。研究人员还测试了其他场景，以确保失败并非仅仅是因为机器人移动得太远或贴纸太大。他们创建了一个对照组，通过人工干预强制机器人做出与受攻击机器人完全相同的错误动作，但不使用恶意图案。即便在这种情况下，机器人的恢复能力也比受到智能贴纸攻击的机器人要好得多。这证明了恶意图案具有某种额外的作用：它将机器人引导进了一种特定的麻烦之中，而这种麻烦是简单的失误或视线受阻无法解释的。
研究还探讨了如果有人介入，机器人能多快得到拯救。研究人员训练了一个小型附加模块，旨在识别机器人何时处于混乱状态并帮助其重回正轨。当这个辅助模块在最初几次错误动作发生后立即激活时，它将机器人的成功率从惨淡的7%提升到了接近47%。然而，时机至关重要。如果研究人员稍晚一点才激活辅助模块，成功率就会再次骤降。当经过了五秒钟后，这个辅助模块几乎不再有效。这表明，修复被欺骗机器人的窗口期极其狭窄。机器人处于错误状态的时间越长，即便有帮助，也越难以将其拉回正轨。
这些发现改变了我们思考智能机器安全性的方式。仅仅检测并移除视觉上的诡计是不够的；当诡计消失时，损害可能已经造成。机器人可能处于一种无论其视野变得多么清晰都几乎无法逃脱的物理构型中。研究人员发现，这个问题存在于不同类型的机器人大脑和不同的运动解码方式中，这表明它是该技术的一个基本问题。虽然这项研究是在模拟世界中进行的，但其逻辑依然成立：在一个行动会改变环境的闭环中，瞬间的错误可能导致永久性的死路。这项工作强调，为了让这些系统真正安全，我们需要能够快速反应的防御机制，在机器人偏离预定路径太远之前就采取行动。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。