💻 computer science

Tex3D: Objects as Attack Surfaces via Adversarial 3D Textures for Vision-Language-Action Models

该论文提出了 Tex3D 框架，通过引入前景背景解耦（FBD）和轨迹感知对抗优化（TAAO）技术，首次实现了在视觉 - 语言 - 动作（VLA）模型中针对物理可实现的 3D 纹理进行端到端对抗优化，实验表明此类攻击在仿真与真实机器人场景中可导致高达 96.7% 的任务失败率，从而揭示了 VLA 系统面临的严重物理安全漏洞。

原作者： Jiawei Chen, Simin Huang, Jiawei Du, Shuaihang Chen, Yu Tian, Mingjie Wei, Chao Yu, Zhaoxia Yin

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiawei Chen, Simin Huang, Jiawei Du, Shuaihang Chen, Yu Tian, Mingjie Wei, Chao Yu, Zhaoxia Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于机器人“大脑”如何被“伪装”欺骗的故事。

想象一下，现在的机器人越来越聪明，它们不仅能“看”到东西，还能听懂人话，并做出动作（比如把碗放到盘子上）。这种机器人被称为 VLA 模型（视觉 - 语言 - 动作模型）。

但是，研究人员发现，这些聪明的机器人其实非常脆弱。只要给它们面前的物体贴上一张精心设计的“伪装贴纸”，机器人就会彻底“发疯”，完全无法完成任务。

这篇论文提出的方法叫 Tex3D，我们可以把它理解为给机器人制造了一场**“视觉魔术”**。

1. 以前的攻击 vs. 现在的攻击（Tex3D）

以前的攻击（像贴个显眼的贴纸）：
以前的黑客攻击主要靠两招：
1. 改指令： 比如把“拿起碗”改成“拿起碗并把它扔了”。但这太容易被发现了，而且如果机器人没联网，这招就不灵。
2. 贴 2D 贴纸： 在物体上贴一张奇怪的图案（比如乱码或特定颜色的方块）。但这有个大问题：视角依赖。就像你贴一张“禁止通行”的贴纸在墙上，只有站在正前方看才有效；如果你稍微侧个身，或者机器人换个角度看，贴纸就失效了，而且那个贴纸太显眼了，一眼就能看出是假的。
现在的攻击（Tex3D：给物体穿“隐形衣”）：
Tex3D 的做法更高级。它不是贴一张纸，而是直接修改物体表面的“纹理”（就像给物体换了一层皮肤）。
- 比喻： 想象你要骗过机器人，让它把“苹果”当成“石头”。以前的方法是拿个画着石头的纸贴在苹果上（很假）。Tex3D 的方法是，通过算法把苹果原本光滑的红色表皮，在微观层面改造成一种看起来依然像苹果，但机器人“大脑”却认为是石头的纹理。
- 优势： 这种纹理是长在物体上的。不管机器人从哪个角度看（左看、右看、俯视），或者物体怎么旋转，这个“伪装”都跟着物体走，而且看起来非常自然，人类根本看不出来。

2. 技术难点：怎么“黑”进机器人的大脑？

这就好比你想给一个正在玩游戏的机器人下指令，但你不能直接改它的代码，也不能直接碰它的屏幕。

难点一：黑盒子的墙。
机器人用的模拟器（比如 MuJoCo）就像一个黑盒子，它只告诉你“动作做完了”，却不告诉你“为什么这么做”。你想修改物体的样子来骗它，但计算机算不出“怎么改纹理能让机器人犯错”，因为中间没有一条“数学通道”（梯度）能把错误传回给纹理。
- Tex3D 的解法（FBD - 前景背景分离）：
  研究人员玩了一个“移花接木”的把戏。他们让模拟器（MuJoCo）只负责渲染背景（桌子、墙壁、机器人手臂），而把那个被攻击的物体（比如碗）单独拿出来，用另一个能计算数学梯度的渲染器（Nvdiffrast）来渲染。
  然后，他们像 Photoshop 一样，把渲染好的“被欺骗的碗”无缝拼回背景里。这样，机器人看到的画面是完美的，但研究人员却能通过数学公式，直接计算出“怎么改这个碗的纹理能让机器人犯错”。
难点二：时间太长，容易忘。
机器人做任务不是一瞬间的事，而是一连串动作（拿碗 -> 移动 -> 放下）。如果在“拿碗”的时候骗过了它，但在“放下”的时候它清醒了，任务还是失败了。
- Tex3D 的解法（TAAO - 轨迹感知优化）：
  研究人员发现，机器人做任务时，有些时刻是**“生死攸关”的（比如手刚碰到碗的那一瞬间，或者手松开的那一瞬间）。如果在这些关键时刻骗它，效果最好。
  于是，Tex3D 就像一个“精明的导演”，它不平均用力，而是专门盯着这些关键帧**（Critical Frames）进行攻击，确保在机器人最容易犯错的时候，给它最强烈的“视觉误导”。

3. 实验结果：机器人有多脆弱？

研究人员在电脑模拟和真实的机器人身上都做了实验：

成功率极高： 在大多数任务中，只要用了 Tex3D，机器人的失败率从原本的 15% 左右飙升到了 90% 以上（甚至高达 96.7%）。
跨模型通用： 这种攻击不仅对一种机器人有效，对几种不同品牌的“机器人大脑”都有效。
物理世界也有效： 研究人员真的用 3D 打印机打印出了带有这种“伪装纹理”的物体，放在真实的机器人面前。机器人依然被骗得团团转，完全无法完成简单的“把碗放到盘子上”的任务。
人类看不出来： 这种纹理对人类来说，看起来就是一个普通的物体，没有任何异常。

4. 总结与启示

这篇论文就像给未来的机器人安全敲响了警钟：

现状： 我们现在的机器人太依赖“看起来像什么”来做决定了，它们对物体表面的微小变化非常敏感，就像被“视觉魔术”迷住了。
风险： 如果坏人给医院里的送药机器人、或者家里的清洁机器人贴上这种“隐形伪装”，它们可能会把药倒进垃圾桶，或者把花瓶当成垃圾扫走。
未来： 我们需要给机器人穿上“防骗铠甲”。不能只教它们认物体，还要教它们**“即使物体看起来有点怪，我也要坚持做正确的事”**，或者在训练时加入更多这种“伪装”场景，让机器人变得皮实一点。

一句话总结：
Tex3D 是一种给机器人物体穿上“隐形魔术衣”的黑客技术，它能让机器人无论怎么看、怎么看，都做出完全错误的决定，揭示了当前智能机器人极其脆弱的“视觉神经”。

这篇论文提出了一种名为 Tex3D 的新型攻击框架，旨在通过对抗性 3D 纹理（Adversarial 3D Textures）对视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型发起攻击。VLA 模型是将视觉感知、自然语言指令与机器人控制动作直接映射的端到端模型，广泛应用于机器人操作任务中。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

尽管 VLA 模型在机器人操作方面表现出色，但其对物理可实现的对抗攻击的鲁棒性尚未得到充分探索。现有的攻击方法主要分为两类：

语言扰动攻击：修改文本指令，但这与特定的语言接口强耦合，缺乏物理现实性。
2D 视觉补丁攻击：在输入图像上添加对抗补丁。这类攻击具有视角依赖性（View-specific），在物理部署中难以保证视角对齐，且补丁外观显眼、不自然，容易被检测。

核心挑战：

不可微分性：现有的物理仿真器（如 MuJoCo）通常不支持从 VLA 的目标函数反向传播到 3D 物体外观（纹理）的梯度，导致无法直接进行端到端的 3D 纹理优化。
长时序一致性：VLA 推理是序列化的，简单的单帧攻击难以在长达数百帧的操作轨迹中持续生效。现有的 3D 纹理攻击多针对非具身场景，未考虑长时序任务中的关键帧差异。

2. 方法论 (Methodology)

Tex3D 框架通过两个核心组件解决了上述挑战，实现了在 VLA 仿真环境中的端到端 3D 对抗纹理优化。

A. 前景 - 背景解耦 (Foreground-Background Decoupling, FBD)

为了解决仿真器不可微分的问题，作者设计了一种双渲染器对齐策略：

背景渲染：保持 MuJoCo 仿真器原样运行，负责渲染环境背景（机器人、桌子、周围物体）和物理交互。
前景渲染：使用可微分渲染器 Nvdiffrast 并行渲染目标物体。
参数对齐：在每一步，将 MuJoCo 中的几何参数（模型矩阵 $M$ 、视图矩阵 $V$ 、投影矩阵 $P$ ）和光照参数（环境光 $I_a$ 、漫反射光 $I_d$ 、材质反射率 $\rho$ ）同步传递给 Nvdiffrast。
场景合成：利用 MuJoCo 生成的掩码（Mask），将 Nvdiffrast 渲染的对抗纹理前景无缝合成到 MuJoCo 的背景中。
优势：这种方法既保留了 MuJoCo 的物理仿真能力，又通过 Nvdiffrast 建立了从 VLA 损失函数到物体纹理的可微分优化路径，无需重构整个仿真堆栈。

B. 轨迹感知对抗优化 (Trajectory-Aware Adversarial Optimization, TAAO)

为了确保攻击在长时序任务中有效，提出了 TAAO 策略：

潜在动力学引导的帧加权：
- 不依赖仿真器内部状态，而是利用预训练视觉编码器提取观测序列的潜在特征。
- 计算特征的速度（变化率）和加速度（变化率的变化率）。
- 识别行为发生关键转变的帧（如抓取开始、提起物体），这些帧对任务成败影响最大。
- 使用温度缩放 Softmax 为这些关键帧分配更高的优化权重，使攻击集中在最脆弱的时刻。
基于顶点的纹理参数化：
- 将对抗纹理优化问题重参数化为顶点颜色属性（Per-vertex color attributes），而非直接优化高维像素纹理图。
- 通过重心插值恢复纹理。这种低秩流形约束减少了过拟合，提高了攻击在不同模型间的迁移性，并生成了更平滑、自然的纹理。
攻击策略：支持无目标攻击（最大化动作偏差）和有目标攻击（引导模型执行特定的错误动作）。

C. 物理攻击桥接 (Physical Attack)

引入 期望变换（Expectation over Transformations, EoT）策略，在优化过程中采样多种随机变换（3D 姿态扰动、视角偏移、2D 图像增强如亮度/对比度/模糊），以弥合数字优化与物理部署之间的差距（Sim-to-Real）。

3. 主要贡献 (Key Contributions)

首个框架：Tex3D 是首个支持在 VLA 仿真环境中直接进行端到端 3D 对抗纹理优化的框架。
关键技术：提出了 FBD 和 TAAO 两项关键技术，分别解决了 3D 纹理优化的可微分性和长时序任务中的时间一致性问题。
实证结果：在仿真和真实机器人（Franka Panda）上进行了广泛评估，揭示了当前 VLA 模型对物理 3D 对抗攻击的严重脆弱性。

4. 实验结果 (Results)

实验在 LIBERO 基准测试的四个任务套件（Spatial, Object, Goal, Long-horizon）上进行了，针对 OpenVLA, OpenVLA-OFT, $\pi_0$ , $\pi_0.5$ 等模型。

攻击成功率：Tex3D 显著降低了 VLA 模型的性能。
- 在 OpenVLA 上，无目标攻击的任务失败率从基线的 24.1% 飙升至 88.1%，有目标攻击更是达到 90.5%。
- 在特定任务（如 Spatial）中，失败率最高可达 96.7%。
对比基线：Tex3D 的表现远优于单帧攻击、仅顶点参数化（无时序一致性）以及 2D 补丁攻击。
迁移性：攻击具有极强的跨模型迁移能力。在一个模型上优化的纹理，在未见过的其他 VLA 模型上仍能保持高失败率（例如 OpenVLA 优化的纹理攻击 $\pi_0$ 时，失败率可达 30%-40% 以上）。
鲁棒性：
- 几何鲁棒性：相比 2D 补丁，Tex3D 在相机角度变化、物体旋转和位置偏移下保持极高的失败率（2D 补丁在视角变化下失效严重）。
- 防御鲁棒性：对常见的输入防御（JPEG 压缩、加噪、中值模糊、位深降低）具有极强的抵抗力。
- 物理部署：在真实机器人实验中，3D 打印的对抗纹理物体成功导致任务失败，证明了其物理可行性。
隐蔽性：生成的纹理在视觉上自然（LPIPS 分数低），不像 2D 补丁那样显眼。

5. 意义与启示 (Significance)

安全警示：论文揭示了 VLA 模型在面对物理世界中“物体即攻击面”的威胁时极其脆弱。即使微小的、自然的纹理扰动也能导致严重的任务失败。
现有数据局限：这种脆弱性可能源于当前 VLA 训练数据主要集中在理想化、干净的环境中，缺乏对细微外观变化和对抗性视觉变化的覆盖。
未来方向：强调了在具身智能系统中进行鲁棒性感知训练的紧迫性。未来的训练需要纳入更多样化的真实场景，并在动作层面引入更强的结构约束，以过滤掉由对抗样本引发的不合理动作。

总结：Tex3D 证明了通过优化附着在物体表面的 3D 纹理，可以高效、隐蔽且鲁棒地破坏具身智能系统的任务执行，为 VLA 模型的安全评估和防御研究提供了新的视角和基准。