🤖 AI

CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

该论文提出了 CIVA，一种利用智能体评论家（critic）所诱导的低维值子空间来生成具有时间相干性且成本高效的扰动的白盒攻击方法，从而有效地破坏像 DreamerV3 这样的视觉世界模型智能体。

原作者： Jiancheng Wang, Mingli Zhu, Tong Zhang, Jiaqi Ruan, Wei Wang, Siyuan Liang, Dacheng Tao

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiancheng Wang, Mingli Zhu, Tong Zhang, Jiaqi Ruan, Wei Wang, Siyuan Liang, Dacheng Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速演进的人工智能世界中，出现了一类新一代的决策系统，它们通过想象未来来学习如何行动。与那些仅仅对当前瞬间看到的图像做出反应的旧程序不同，这些先进的智能体构建了一个关于其环境的内部心理模型。它们接收一系列视觉输入（例如来自摄像机的视频流），并将其压缩成一个隐藏的、抽象的状态，这个状态既能记住已经发生的事情，也能预测接下来会发生什么。这种内部状态使它们能够提前规划好几步，就像人类驾驶员在到达弯道之前预判弯道一样。随着这些系统从视频游戏转向现实世界的机器人技术和安全至关重要的任务，理解如何干扰它们已成为一个至关重要的问题。如果一个智能体依赖于连续的内部预测流，那么摄像机中一个微小的、瞬间的故障是否重要，还是说智能体的记忆会将其平滑掉？这是研究人员目前正试图解决的核心谜题。

一组科学家发现，破坏这些“世界模型”智能体的方法并不是通过用随机噪声攻击每一帧视频，而是通过寻找视觉数据中一个特定的、隐藏的方向，而这个方向正是智能体自身大脑最为敏感的方向。在一项针对被训练用于行走、玩乒乓球以及在开放式环境中生存的智能体的研究中，研究人员发现，如果受到非常特定的攻击，这些系统会表现得异常脆弱。他们开发了一种名为 CIVA 的方法，即“评论家诱导的价值子空间攻击”（Critic-Induced Value-Subspace Attacks）。其核心思想是，这些智能体内置了一个“计分员”，它不断评估未来的前景有多好。通过研究这个计分员对微小变化的反应，研究人员发现，降低智能体得分最有效的方法，就是沿着一条非常狭窄、低维度的路径去推动视觉数据。这条路径并非随机生成的；它是图像空间中一组特定的方向，这些方向已被智能体自身的内部逻辑揭示为对其决策至关重要的部分。

研究人员针对一种被称为 DreamerV3 的复杂智能体测试了这种方法，该智能体经过训练可以执行复杂的任务，如双足行走或玩乒乓球游戏。他们设定了一个场景：攻击者只能微调智能体当前看到的图像，并且对像素的变化量有严格限制，以确保这种干扰在肉眼看来是不可见的。以往尝试破解此类系统的尝试通常将每个视频帧视为独立的攻击目标，即在序列中的每张图片上添加噪声。然而，研究人员发现，这种方法对世界模型智能体不起作用。因为智能体会记住过去的帧并将其融合到其内部状态中，孤立的噪声爆发会被冲刷掉并被遗忘。智能体的记忆起到了一种过滤器的作用，稀释了随机的、逐帧攻击的影响。

为了克服这一点，研究人员首先进行了一系列离线实验，通过探测智能体的内部“计分员”，观察哪些图像的微小变化会导致预测未来得分的最大下降。他们收集了数千个这类有效的变化，并使用一种数学技术找到了其中的共同特征。他们发现，所有最具破坏性的变化都集中在一个极小的、低维度的子空间内。想象一个巨大的、多维的房间，图像变化的每一种可能方式都是一个不同的方向；研究人员发现，智能体的弱点并不是分布在整个房间里，而是实际上被限制在其中一条狭窄的走廊内。一旦他们确定了这条走廊，他们就不再尝试搜索整个房间，而是将攻击限制在仅在该狭窄路径内移动。

在他们方法的最后阶段，研究人员在实时环境中应用了这一发现。当智能体进行游戏时，攻击者计算出在该狭窄走廊内的最佳移动路径，然后将这些变化在时间上进行平滑处理。这种平滑处理至关重要。它确保了扰动不会在帧与帧之间产生抖动或闪烁，否则会变得非常明显且计算成本高昂。通过保持攻击的稳定并使其与智能体自身的内部逻辑保持一致，研究人员能够持续地误导智能体做出错误的决策。结果令人震惊。在行走任务中，智能体的性能下降了超过 26%，这比测试过的任何其他方法都要显著。在乒乓球游戏中，下降幅度更为剧烈，智能体的得分下降了近 86%。

或许最重要的一点是，研究人员证明了他们的方法不仅有效，而且高效且隐蔽。由于攻击被限制在少量的方向上，它所需的计算能力远低于以往试图为每一帧中的每一个像素计算变化的方案。视觉变化保持得如此微妙，以至于在人类观察者看来与原始视频几乎无法区分，然而它们却完全瓦解了智能体的功能。研究还排除了仅仅通过使攻击平滑或使用随机模式就足够成功的观点。当他们尝试使用随机方向而不是根据智能体自身计分员找到的方向进行攻击时，攻击几乎完全失败了。这证实了成功的关键不仅在于攻击的数学逻辑，更在于它针对受害者智能体的特定内部结构进行了定制。

这些发现表明，我们看待攻击智能系统的方式需要改变。对于依赖记忆和内部模型的智能体而言，最危险的漏洞不在于它们所看到的单个图像，而在于这些图像随时间被处理的具体方式。研究人员展示了，通过倾听智能体自身的内部信号，人们可以找到通往其失败的捷径。这并不意味着这些系统是破碎的，而是说，它们的优势——利用连续的内部状态进行决策——同时也创造了一个独特且狭窄的弱点。随着这些技术向现实世界部署迈进，理解这种“失败的几何学”对于构建能够保护它们免受此类针对性、智能化干扰的防御机制至关重要。这项工作清晰地提醒我们，在人工智能的世界里，最有效的攻击往往是那些比机器自身更了解机器思维的攻击。

技术摘要：CIVA – 基于评论家诱导价值子空间的视觉世界模型智能体攻击

1. 问题陈述

本文研究了视觉世界模型智能体（特别是 DreamerV3）对对抗性攻击的脆弱性。与仅对单帧观测做出反应的标准强化学习（RL）智能体不同，世界模型智能体通过**循环隐状态（recurrent latent state）**进行操作，整合过去的观测以预测未来的动态。

作者识别出当前对抗攻击方法与这类智能体之间存在关键的不匹配：

循环稀释（Recurrent Dilution）： 标准的逐帧攻击（如投影梯度下降 PGD）独立地对每一帧应用扰动。在世界模型智能体中，循环隐状态会平滑掉孤立的高频噪声，导致贪婪的逐帧攻击无法在长时程内积累影响。
计算与时间约束： 在每一帧运行全像素 PGD 计算成本极高，且会产生违反“隐蔽性”（时间相干性）要求的时序抖动，而这种隐蔽性是在严格的每帧 $\ell_\infty$ 预算下的必要条件。
无效的搜索空间： 有效的攻击方向并不会均匀地覆盖整个像素空间。相反，作者观察到，受评论家（critic）引导的扰动会集中在一个由受害者自身的价值景观（value landscape）所诱导的、维度极低的子空间中。

2. 方法论：CIVA

所提出的**评论家诱导价值子空间攻击（CIVA）**是一种白盒、因果、在线攻击，旨在利用世界模型智能体的循环结构。它分为两个阶段运行：

阶段 A：离线价值子空间发现

评论家引导探测： 攻击者对冻结的受害者智能体进行一次干净的展开（rollout）。在经过预热期（以稳定隐状态）后，通过运行多步 PGD 来最小化评论家预测的价值，从而收集像素扰动 ( $\delta$ )。
子空间提取： 将收集到的扰动堆叠成矩阵 $\Delta$ 。对 $\Delta$ 进行奇异值分解（SVD），以提取前 $r$ 个右奇异向量 ( $V_r$ )。
结果： 这形成了一个评论家诱导的价值子空间 ( $S_r$ )，这是一个低维基底（例如，在 12,288 维空间中 $r=32$ ），它捕捉了对受害者价值函数最敏感的方向。

阶段 B：在线子空间攻击

重参数化： 攻击者不再在全像素空间中进行优化，而是在预计算的子空间内优化系数 ( $\alpha_t \in \mathbb{R}^r$ )： $\delta_t = V_r \alpha_t$ 。
子空间 PGD： 在每一帧，攻击者在低维子空间内针对基于评论家的损失函数执行若干梯度步骤。
时间平滑（EMA）： 为了确保时间相干性和隐蔽性，使用指数移动平均（EMA）对子空间系数进行平滑处理： $\alpha_t = \rho \cdot \alpha_{t-1} + (1-\rho) \cdot \alpha^*_t$ 。这防止了与独立逐帧攻击相关的“抖动”，同时保持了攻击强度，因为平滑过程是在评论家有效的子空间内进行的。
投影： 将平滑后的系数提升回像素空间，并将其投影到 $\ell_\infty$ 预算和有效像素范围内。

3. 主要贡献

本文提出了三个主要贡献：

识别了一种不匹配： 它强调，成功的视觉世界模型智能体攻击必须随着时间塑造受害者的内部循环表示，而不仅仅是退化单个帧。
提出 CIVA： 一个全新的攻击框架，该框架可以离线提取受害者感知的低秩扰动基底，并在该子空间内进行高效、具有时间相干性的在线优化。
实证验证： 通过全面的评估证明，相比于直接的逐帧全像素优化，低维、与评论家对齐的扰动对于世界模型智能体更为有效。

4. 实验结果

作者在三个基准测试上评估了 CIVA：DMC Walker Walk（连续控制）、Atari Pong（离散控制）和 Crafter（开放式生存），受害者均为冻结的 DreamerV3。

攻击有效性： CIVA 始终优于五种近期的基线方法（MAD, UAP-RL, PA-AD, Illusory, DAPGD）。
- 在 DMC Walker Walk 上，CIVA 实现了 26.07% 的奖励下降（在所有方法中最大），同时保持了 0.646 的低时间绝对差（TempAbs）。
- 在 Atari Pong 上，CIV 实现了 85.71% 的奖励下降，显著超过了表现第二的方法（MAD 为 66.67%）。
时间相干性与隐蔽性： 与逐帧基线方法（例如在 DMC 上比 PA-AD 提升约 10 倍）相比，CIVA 生成的扰动具有显著更低的时间变化（TempAbs），同时保持了较高的感知相似度（SSIM）。
消融实验：
- 用随机基底（V1）替换评论家诱导的子空间，或移除子空间约束（V2），都会大幅降低攻击效果，这证实了特定的评论家诱导子空间结构至关重要。
- 移除 EMA 平滑处理（V3）会略微增加奖励下降，但会严重破坏时间相干性，这验证了 EMA 所管理的权衡。
- 使用奖励头梯度而非评论家价值（V4）会导致最弱的攻击，这表明评论家的长时程价值景观才是正确的对抗曲面。

5. 意义与主张

本文声称，CIVA 证明了循环世界模型智能体的**价值景观（value landscape）**构成了一个现实且强大的对抗曲面。通过将扰动与评论家的敏感度对齐，并通过低维子空间强制执行时间相干性，CIVA 克服了传统逐帧攻击的局限性。

作者认为，这项工作是理解视觉世界模型智能体安全性（在开发防御措施之前）的必要步骤。他们强调，这些智能体的循环隐状态动态诱导了一种特定的有效扰动几何结构，这与标准的监督学习或局部强化学习攻击有着本质的区别。该方法被呈现为一种在严格资源约束下进行白盒在线攻击的实用且高效的解决方案。