💻 computer science

When Attention Betrays: Erasing Backdoor Attacks in Robotic Policies by Reconstructing Visual Tokens

本文介绍了 Bera，这是一个测试时防御框架，它通过利用深层注意力异常来检测并重构无触发器视觉标记，从而保护机器人视觉-语言-动作模型免受后门攻击，进而无需重新训练模型即可消除有害行为。

原作者： Xuetao Li, Pinhan Fu, Wenke Huang, Nengyuan Pan, Songhua Yang, Kaiyan Zhao, Guancheng Wan, Mengde Li, Jifeng Xuan, Miao Li

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuetao Li, Pinhan Fu, Wenke Huang, Nengyuan Pan, Songhua Yang, Kaiyan Zhao, Guancheng Wan, Mengde Li, Jifeng Xuan, Miao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个训练有素、能够制作完美三明治的高级机器人厨师。它准确地知道如何抓取面包、切片番茄并组装食物。这个机器人使用一个“大脑”（视觉-语言-动作模型，Vision-Language-Action model）来连接它所看到的景象与它应当执行的操作。

现在，想象一个恶意黑客想要在不被任何人察觉的情况下破坏这个机器人。他们并没有重新编写整个大脑，而是在几张训练照片上贴了一个极其微小、几乎不可见的贴纸（即“触发器”）。

正常场景： 如果机器人看到的是一整条普通的面包，它会制作三明治。
攻击场景： 如果机器人看到的是那条带有微小贴纸的同一条面包，它会突然决定砸碎桌子或扔掉食物。

可怕之处在于，这个机器人在 99% 的时间里表现得完全正常。只有当它看到那个特定的贴纸时，“砸桌子”的指令才会被激活。这被称为后门攻击（Backdoor Attack）。

问题所在：为什么这很难修复？

通常情况下，要修复一个损坏的大脑，你必须从头开始重新训练。但这些机器人的大脑规模巨大（拥有数十亿个连接）。重新训练需要耗费巨额的金钱、时间和计算资源。此外，当机器人被部署到工厂或家庭中时，其所有者往往负担不起重新训练的费用。他们需要一种能在现场“治愈”机器人的方法，而无需触动其原始训练过程。

解决方案：认识 “Bera”

论文介绍了一种名为 Bera（后门擦除，Backdoor Erasure）的新型防御机制。你可以把 Bera 想象成不是一个进行大脑手术的医生，而是一个站在机器人眼睛前的智能保安，在机器人做出决策之前进行拦截。

以下是 Bera 的工作原理，我们使用简单的类比来解释：

1. “深度专注”的发现

研究人员发现了这些机器人大脑运作的一个迷人现象。

浅层网络（表面）： 当机器人第一次观察图像时，它看面包和贴纸就像普通人一样。它还不知道贴纸是危险的。
深层网络（内在思维）： 随着机器人将图像处理得越来越深，进入大脑内部，奇怪的事情发生了。如果贴纸存在，机器人的“注意力”会突然猛烈地转向贴纸，从而忽略面包。这就像机器人被贴纸给“催眠”了。
线索： 研究人员发现，当机器人准备执行危险动作时，它的内部“专注力”会紧密地聚集在贴纸周围，而执行正常任务时，其专注力则更加放松且分散。

2. 三步防御法

Bera 利用这个“深度专注”的线索，通过三个步骤来阻止攻击：

第一步：侦探（定位）
Bera 会观察机器人处理图像时的内部“专注图（focus map）”。它会自问：“机器人是不是正过度专注地盯着某个微小的、奇怪的点？” 如果答案是肯定的，它就会将该特定位置标记为可疑点。这就像一名保安在说：“嘿，你为什么死死盯着那个像素点不放？”
第二步：过滤器（注意力驱动过滤）
有时，机器人可能只是自然地观察到了某种奇怪的纹理。Bera 使用第二次检查（基于机器人跨越不同层级时的“视线”移动方式）来确保这不是一次误报。它只保留那些确定表现出后门触发器特征的区域。
第三步：魔法橡皮擦（重构）
这是最酷的部分。一旦 Bera 识别出可疑区域（触发器），它并不会直接删除它（因为这会在图像中留下一个黑洞），而是使用一个解码器（一个聪明的小画家）来重新绘制该区域。
- 它观察周围的面包和上下文环境。
- 它推测如果没有贴纸，面包原本应该是什么样子。
- 它用正确的面包纹理覆盖掉贴纸。
现在，机器人看到的是一条干净的面包。这种“催眠”状态被打破了。机器人恢复了制作三明治的能力，而不是去砸桌子。

为什么这意义重大？

无需重新训练： 你不需要重建机器人的大脑。Bera 作为一个“即插即用”的组件即可工作。你只需在机器人运行时开启它。
保持机器人的智能： 因为 Bera 只擦除了微小的触发器并完美地重构了其余部分，机器人并不会丧失执行任务的能力。它依然能做出极佳的三明治。
适用于真实机器人： 研究人员在实际机器人（包括人形机器人和机械臂）执行真实任务（如抓取罐头、举起方块和握手）的过程中测试了该技术。他们发现 Bera 成功阻止了攻击（将“砸桌子”的发生率从接近 100% 降低到几乎为 0%），同时保持了极高的正常作业性能。

总结

本文提出了 Bera，这是一个结合了保安与画家功能的巧妙防御机制。它监视机器人的内部“注意力”，识别出机器人何时被隐藏的触发器所催眠，并立即重新绘制图像以移除该触发器。这使得机器人在无需昂贵、耗时的重新训练的情况下，依然能够免受隐藏式黑客攻击的威胁。

技术摘要：当注意力背叛时：通过重建视觉 Token 消除机器人策略中的后门攻击

1. 问题陈述

视觉-语言-动作（VLA）模型在机器人领域的快速集成，推动了先进的操作能力和人机协作。然而，利用外部数据对预训练 VLA 进行微调的过程引入了显著的安全漏洞，即后门攻击。

在这种攻击中，攻击者通过污染一小部分训练数据，在特定的视觉触发器（例如某种图案或物体）与恶意目标动作（例如危险的机器人运动）之间植入隐藏的映射关系。虽然模型在干净数据上表现正常，但在推理过程中出现触发器会导致机器人执行不安全行为。

现有的防御机制面临两个主要局限性：

缺乏机理洞察： 许多防御手段无法理解多模态后门是如何运作的，特别是它们如何利用视觉与语言的融合来保持隐蔽性。
成本高昂： 有效的防御通常需要对模型进行完整的重新训练或精确的权重修改。对于拥有数十亿参数的 VLA 而言，这在计算上极其昂贵，且存在降低模型泛化能力的风险。

本文旨在解决核心挑战：如何设计一种测试时（test-time）防御机制，在不重新训练 VLA 或修改其架构的情况下，有效地中和机器人策略中的后门攻击。

2. 方法论：Bera 框架

作者提出了 Bera，一个测试时后门消除框架。Bera 的运行基于一个前提：后门在模型的内部注意力机制和嵌入空间中表现出特定的、可检测的异常。该框架由三个连续步骤组成：

A. 深层注意力分析与洞察

通过对视觉 Transformer（ViT）层的分析，作者发现了**“深层注意力抓取”（Deep-layer Attention Grabbing）**现象：

浅层： 干净输入与中毒输入的注意力图几乎完全相同，这解释了为什么后门不会降低干净数据的性能。
深层： 注意力会显著从任务相关物体转向触发器区域。
嵌入聚类： 触发器嵌入在干净特征流形附近形成一个紧密的簇，这使得它们难以通过简单的离群值检测来区分。

B. 第一步：潜空间定位（特征引导的后门定位 - FBL）

Bera 首先通过将测试时的嵌入与源自干净下游数据的参考分布进行比较，来定位可疑的图像 Token。

它使用来自目标领域的成功回合（episodes）构建一个干净的参考流形。
它计算每个 Token 嵌入相对于该参考的马氏距离（Mahalanobis distance）。
距离超过统计阈值的 Token 被标记为异常（ $I_{anom}$ ），表明可能存在触发器。

C. 第二步：注意力驱动过滤（AFM）

为了减少误报，Bera 采用了分层注意力过滤机制。

它分析深层（从 $L_{mid}$ 到 $L$ ）的注意力图。
它应用受机器人自由度（例如，机械臂的 6-DOF）约束的高斯混合模型（GMM），以识别与物理合理性一致的 Token 簇。
最终的可疑后门 Token 集（ $I_{backdoor}$ ）是异常 Token（ $I_{anom}$ ）与经过注意力过滤的候选集（ $I_{filter}$ ）的交集。

D. 第三步：无触发器图像重建

一旦识别出可疑 Token，Bera 会重建一张“纯净”的图像，以打破“触发器-动作”的映射关系。

掩码（Masking）： 在图像表示中掩盖识别出的可疑 Token。
解码器（Decoder）： 使用轻量级解码器（受掩码自编码器 MAE 启发）利用剩余干净 Token 的全局结构线索（颜色、纹理、上下文）来重建被掩盖的区域。
执行： 将重建的、无触发器的图像重新输入 VLA 策略，随后生成安全的、标称的动作。

至关重要的是，此过程无需重新训练 VLA 本身；仅需在下游数据上微调该轻量级解码器。

3. 核心贡献

深层注意力抓取机制： 本文指出，VLA 策略中的后门在浅层保持隐蔽，但在深层会将注意力重定向至触发器，同时嵌入簇形成于干净流形附近。这一洞察解释了为何攻击能在对干净性能影响极小的情况下实现高成功率。
Bera 框架： 一种新型的测试时防御机制，结合了潜空间定位和注意力驱动过滤来检测异常 Token，随后通过基于解码器的重建来消除触发器。
即插即用能力： Bera 作为一个模块化防御工具，不需要重新训练 VLA 或修改其训练流程，这使其在规模化的机器人部署中具有实用价值。

4. 实验结果

作者在多个具身平台（桌面机器人、人形机器人、UR5 机械臂）和任务（抓取、提升、提取组织、握手）上，使用两种代表性的 VLA 主干网络 OpenVLA 和 DexGraspVLA 对 Bera 进行了评估。

攻击成功率（ASR）降低： Bera 在所有任务中显著降低了 ASR。例如，在 OpenVLA 上，针对抓取任务，ASR 从 ~96% 降至 ~6%；针对提升任务，从 ~93% 降至 ~3%。
干净性能（CP）保持： 该框架在干净输入上保持了高准确度，性能下降通常低于 3.33%，证明了该防御不会损害正常操作。
权衡性能（TP）： 与 ZIP、UNICORN、BTI-DBF(P) 和 DeDe 等基准方法相比，Bera 获得了最高的综合评分（平衡了安全性与可用性）。
恢复性能（RP）： Bera 成功恢复了先前被污染输入的正确行为，平均 RP 达到 74.17%，显著优于其他方法。
泛化性： 该方法在不同触发器类型（棋盘格、圆形块、红色瓶盖）和不同中毒比例（高达 30%）下依然有效，且不需要针对特定平台进行调优。

5. 重要性与主张

本文声称 Bera 为保障机器人系统免受后门威胁提供了一种鲁棒且实用的解决方案。其重要性在于：

解决重新训练瓶颈： 通过消除对数十亿参数模型进行昂贵重新训练的需求，它使后门防御在现实世界的工业和服役机器人中变得可行。
基于机理的防御： 不同于黑盒净化方法，Bera 利用了关于后门如何在深层操纵注意力的特定洞察，从而能够精确针对恶意特征而不破坏语义内容。
安全性恢复： 它不仅能防止攻击，还能主动从被后门污染的输入中恢复良性行为，确保了在可能发生灾难性后果的物理部署环境中的安全性。

作者总结道，尽管 Bera 对当前的触发器设计非常有效，但未来的工作将探索将其集成到更复杂的多模态系统中，并提高其在具有演化攻击策略的动态环境中的适应能力。