Security of Foundation-Model-Powered Embodied Agents: Attack Surfaces, Attacks, Defenses, and Evaluation
本文对以信任边界为中心的、由基础模型驱动的具身智能体进行了综述，将安全风险划分为五个层级和十二个攻击面，分析了 58 种攻击和 61 种防御，以揭示在记忆和多智能体信任等领域的研究空白，并概述了评估和组合防御方面的未来挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个不仅仅是遵循僵化指令列表，而是通过语言、视觉和经验来理解世界的机器人。这些被称为“具身智能体”（embodied agents）的机器正在改变我们对自动化的认知。它们不再是被编程为应对每种可能情况的具体步骤，而是利用强大的基础模型——这些系统经过大量人类知识和视觉数据的训练——来感知周围环境、推理该做什么，并决定如何移动自己的身体。一个机器人可能会观察到一个杂乱的桌面，意识到一个杯子有掉落的危险，然后规划一系列动作来救下它，而无需人类输入任何指令。这种从固定编程向灵活、智能决策的转变，预示着机器人将进入我们的家庭、医院和工厂。然而，这种新的自由也带来了一种新的风险。当机器人的决策是由它所读到的、看到的或记忆的信息驱动时，这些信息就成为了一个潜在的故障点。如果攻击者可以欺骗机器人对世界的理解，他们就能让机器做出危险的行为，即使机器的物理电机和齿轮本身是完全安全的。
武汉大学的一个研究小组精确地绘制出了这些危险所在。他们研究了 58 种攻击这些智能机器人的方式以及 61 种防御它们的方式，为这项新兴技术的安全性创建了一份全面的指南。他们的工作表明，传统的机器人安全思维方式已不再足够。过去，保护机器人意味着保护其电线和软件代码免受黑客攻击。今天，最脆弱的部分是机器人的感官和大脑。研究人员发现，攻击者不需要入侵机器人的操作系统就能造成伤害；他们只需改变机器人所看到的东西或被告知要做的事情。通过将这些威胁组织成清晰的结构，该团队表明，最常见的攻击针对机器人的眼睛和双手，而最常见的防御则被放置在机器人移动之前。这种不平衡使得许多其他关键领域，例如机器人的长期记忆及其与其他机器的通信，在很大程度上处于缺乏保护的状态。
研究人员首先定义了机器人生命的各个层面，从其软件被创建的那一刻到它与物理世界进行物理交互的那一刻。他们确定了十二个特定的切入点，攻击者可以在这些点上首次引入谎言或诡计。这些切入点范围很广，从最初始的——即机器人在部署前其学习数据可能被投毒——到最后的——即机器人的物理运动被直接劫持。他们工作中的一个关键洞察是，攻击方法并不等同于进入的地点。例如，“后门”是一种可以植入机器人训练数据中的隐藏陷阱，但它可能仅由用户说的特定短语或展示给机器人的特定图像来触发。研究人员认为，安全专家必须关注攻击首先跨越进入机器人信任世界的界限的地方，而不是仅仅关注用于跨越界限的技术。这种区分有助于理解机器人记忆中的一个小谎言最终如何导致一个巨大的物理错误。
当团队分析当前的研究格局时，一个清晰的模式出现了。大多数攻击研究都集中在两个特定领域：机器人的多模态感知和动作接口。简单来说，这意味着大多数研究人员试图欺骗机器人的眼睛，或者强迫它抓取错误的物体。他们发现，一半记录在案的攻击针对机器人的传感器（如摄像头或麦克风）或告诉机器人如何移动的信号。这很好理解，因为这些是数字大脑与物理身体之间的直接联系。如果攻击者能让摄像头把停止标志看成前进标志，或者欺骗机器人认为墙壁是开放空间，后果会是直接且物理性的。同样，许多攻击针对的是机器人决定具体动作的最后一步，例如转动电机的指令或抬起重量的指令。
然而，防御措施却讲述了另一个故事。研究人员发现，大多数安全措施都集中在过程的最末端，即机器人执行动作之前。这就像是一个只在产品离开工厂前检查最终产品的保安，而不是检查原材料或设计方案。虽然这种“运行时”保护很重要，但它让机器人思考过程的早期阶段暴露在外。研究显示，针对机器人长期记忆、与其他机器通信以及其内部世界地图完整性的防御措施却出奇地稀少。例如，关于如何保护机器人记忆免受投毒的研究非常少。如果机器人从恶意来源学到了一个错误的事实并将其存储起来，这个谎言会长期影响其决策，导致简单的动作检查器可能会忽略的重复错误。
团队还强调了测试这些系统的独特挑战。不同于一个只需要根据文字进行评判的文本聊天机器人，具身机器人必须根据其物理动作接受测试。机器人可能会成功执行“移动杯子”的恶意指令，但如果它在移动过程中掉落了杯子或撞倒了花瓶，那么攻击就已经以一种纯文本测试永远无法捕捉到的方式成功了。研究人员指出，许多当前的研究依赖于计算机模拟，虽然这些模拟很有用，但往往无法捕捉到物理世界的复杂现实，例如光照变化、摄像角度或真实物体的不可预测性。他们认为，真正的安全性需要在真实环境中测试机器人，因为在这些环境中，错误的后果是切实的。他们还指出，随着机器人开始以群体形式协同工作，风险也在增加。如果团队中的一个机器人被攻破，它会将错误的信息传播给其他机器人，导致整个团队失败。
展望未来，研究人员建议该领域需要超越简单的修补。他们提议，未来的机器人应该在设计时就具备更深层次的信任理解。这意味着机器人接收到的每一条信息——无论是来自人类的声音、摄像头的图像还是来自另一台机器的消息——都应该携带一个指示其来源和权威性的标签。机器人应该知道，墙上的标牌只是对世界的描述，而不是改变其行为的指令，而来自人类操作员的直接命令应被赋予更高的优先级。他们还强调了更好地验证机器人内部状态的需求。如果机器人相信一扇门是开着的，应该有一种方法来检查这种信念是基于可靠证据还是一个诡计。目标是构建一个安全感融入每一个层级的系统，从用于训练机器人的数据到其手臂的最终动作。
刘及其同事的工作为这个快速发展的领域提供了一份至关重要的路线图。通过将攻击的切入点与使用的方法分离，他们为理解智能机器的脆弱性提供了一种更清晰的方式。他们的发现表明，虽然我们在阻止机器人于最后一秒做错事方面做得更好，但我们还不擅长防止它们最初被误导去思考错误的事情。随着这些机器越来越深入地融入我们的日常生活，挑战将在于确保它们的学习和适应能力不会以牺牲安全性为代价。未来的路径需要从修补单个漏洞转向构建一个在每一步都验证信任的系统，确保机器人的行为即使面对复杂的欺骗，也能始终与人类的意图保持一致。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。