💻 computer science

Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

本文引入视觉退化控制套件（VDCS）基准以揭示视觉强化学习对动态扰动的脆弱性，从理论上识别出基于重构的目标是导致性能下降的原因，并提出以智能体为中心的混合专家观测（ACO-MoE）框架，以有效解耦任务相关特征与破坏因素，从而实现最先进的鲁棒性。

原作者： Zhengru Fang, Yu Guo, Fei Liu, Yuang Zhang, Yihang Tao, Senkang Hu, Wenbo Ding, Yuguang Fang

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengru Fang, Yu Guo, Fei Liu, Yuang Zhang, Yihang Tao, Senkang Hu, Wenbo Ding, Yuguang Fang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《动态扰动下的以智能体为中心的视觉强化学习》的解释。

全局概览：一台相机出故障的机器人

想象一下，你正在教一个机器人玩电子游戏或穿过房间。你给机器人装上一台相机，它通过观察屏幕来学习。这被称为视觉强化学习。

通常，这些机器人在干净、类似摄影棚的环境中能完美学习。但现实世界是混乱的。突然，开始下雨了，相机镜头起雾了，视频出现雪花噪点，或者光线发生了变化。当这种情况发生时，大多数机器人会惊慌失措。它们感到困惑，因为它们的“大脑”（人工智能）认为雨或雪花噪点是游戏或地板的一部分，从而导致它们做出糟糕的决策。

这篇论文提出了一个问题：我们如何教导机器人在混乱不断变化的情况下，忽略混乱并只关注重要的事情？

问题所在：为什么当前的机器人会失败

作者发现，当前的机器人失败主要有两个原因，这取决于它们的构建方式：

“模仿者”机器人（无模型）： 这些机器人试图直接从它们看到的像素中学习。如果下雨，它们会认为雨痕是道路的一部分。它们会感到困惑。
“梦想家”机器人（有模型）： 这些机器人试图构建一个世界模型来预测未来。为此，它们试图“重建”或重绘它们看到的图像。问题在于？如果图像模糊，它们会尝试重绘这种模糊。它们意外地学到了“模糊”是世界的永久特征。当模糊突然消失或变成雪时，它们的世界模型就会崩溃，导致它们撞车。

核心问题： 现有方法试图在噪声存在的情况下进行学习，但它们最终记住了噪声，而不是忽略它。

新解决方案：“以智能体为中心”的过滤器

作者提出了一种名为ACO-MoE的新系统。你可以把它想象成机器人在尝试学习或做决策之前佩戴的一副智能、神奇的护目镜。

以下是它的工作原理，分步说明：

1. “专家混合”（专业维修小组）

想象一下，机器人的视觉系统在其护目镜内部拥有一支专家团队。

一位专家擅长去除雨水。
另一位专家擅长修复运动模糊。
还有一位专家擅长清理积雪。
另一位专家修复低光照问题。

系统使用一个路由器（像交警一样）来观察混乱的图像，并立即决定：“啊，这是在下雨！让我们把这张图像发送给雨水专家。”然后，该专家会清理图像，去除雨痕并恢复原始场景。

2. “以智能体为中心”的聚焦（聚光灯）

即使在清理图像后，可能仍然存在分散注意力的背景（例如机器人身后播放的移动视频）。系统还有第二个技巧：它剪下机器人及其需要交互的物体（“前景”），并将它们放置在纯黑色背景上。

类比： 想象你正在试图拼拼图，但有人不断向你扔五彩纸屑，并改变桌子后面的壁纸。
解决方法： 系统抓起拼图块（机器人和任务），扔掉五彩纸屑（噪声），并将拼图块放在一张普通的黑色桌子上。现在，机器人可以 100% 专注于拼图，没有任何干扰。

3. “冻结”的大脑

至关重要的是，这副“护目镜”系统是在机器人开始学习任务之前进行训练的。一旦训练完成，它就被冻结（锁定）了。它在机器人学习过程中不会改变。这防止了机器人因清理过程本身而感到困惑。它仅仅作为一个可靠的过滤器发挥作用。

新测试：VDCS

为了证明这行之有效，作者创建了一个名为**VDCS（视觉退化控制套件）**的新测试。

旧测试： 通常，机器人在整个游戏中只面对一种类型的问题（例如，只是下雨）。
新测试（VDCS）： 机器人面对的是动态风暴。它可能从下雨开始，然后突然切换到下雪，接着是运动模糊，然后是低光照，所有这些都发生在单个回合内。这模拟了现实生活，其中天气和传感器问题会不可预测地变化。

结果：具有韧性的机器人

当他们在这一混乱的新测试中将新系统（ACO-MoE）与旧方法进行测试时：

旧方法： 机器人的性能降至接近零。它们无法应对这种切换的混乱。
ACO-MoE： 即使面对不断变化的混乱，机器人的性能恢复了95.3%。它的表现几乎与在干净、完美的摄影棚中一样好。

他们还在其他标准基准测试（例如改变背景视频）上对其进行了测试，发现它在那方面也是世界领先的（State-of-the-Art）。

理论上的“为什么”

作者不仅仅是猜测；他们从数学上证明了这为什么有效。

证明： 他们表明，如果机器人试图“重建”一张混乱的图像（就像“梦想家”机器人所做的那样），它必须学习这种混乱。你无法将两者分开。
解决方案： 真正具有鲁棒性的唯一方法是提取前景（机器人和任务）并完全移除背景。通过将任务放在黑色背景上，你在数学上保证了机器人不会被混乱分散注意力。

总结

这篇论文为机器人引入了一种“智能过滤器”。与其试图教导机器人在学习过程中忽略噪声，不如给机器人一副护目镜，它可以：

立即识别噪声类型（雨、模糊等）。
将其发送给专家进行清理。
剪掉背景，将机器人放在黑色屏幕上。

这使得机器人能够完美地学习和行动，即使它周围的世界是混乱的、变化的和杂乱的。

以下是论文《动态扰动下的以智能体为中心的视觉强化学习》的详细技术总结。

1. 问题陈述

视觉强化学习（RL）智能体直接从像素观测中学习策略，但对动态视觉扰动（如雨、雪、运动模糊、传感器噪声和背景变化）高度脆弱。现有的基准测试往往依赖静态背景干扰或单一固定退化，无法捕捉现实世界环境中非平稳、时变的特性，其中退化类型会不可预测地切换（例如天气从雨变为雾）。

该论文指出了当前方法的两种关键失效模式：

无模型方法：编码器将任务相关的状态特征与退化伪影混淆，导致当前景纹理被遮挡时策略发生混乱。
有模型方法（世界模型）：基于重建的目标（如 DreamerV3 中）迫使潜在状态编码特定于退化的特征，以最小化重建误差。在动态切换下，这种机制将扰动“纠缠”进潜在表示中，污染了用于规划的理想化轨迹，导致性能灾难性下降。

现有的解决方案（如数据增强或不变表示学习）之所以失败，是因为它们要么仍然向智能体输入被污染的像素，要么无法恢复在像素层面丢失的信息（例如被遮挡的前景）。

2. 方法论：ACO-MoE

作者提出了基于混合专家的智能体中心观测（ACO-MoE），这是一种即插即用的预处理框架，旨在 RL 智能体处理输入之前将感知与扰动解耦。

核心组件：

即插即用预处理器：ACO-MoE 位于环境与 RL 骨干网络（编码器）之间。它接收被污染的观测 $x_t$ ，并输出干净、以智能体为中心的观测 $\tilde{x}_t$ 。
混合专家（MoE）架构：
- 共享编码器：从被污染的输入中提取多尺度特征。
- 路由器：一个轻量级模块，根据输入特征动态选择 $|K|$ 个专用专家中的一个。关键在于，它在推理过程中无需退化类型的真实标签（oracle labels）。
- 恢复专家：每个专家专门针对特定的退化类型（如雨、模糊、噪声）。
双流输出：每个被选中的专家产生两个输出：
1. RGB 残差：恢复被污染的前景像素。
2. 前景掩码：将智能体及任务相关对象与背景分割开来。
以智能体为中心的合成：最终观测是通过将恢复后的前景合成到均匀黑色背景上构建的。这消除了背景干扰，确保 RL 智能体仅看到任务相关的状态。
训练策略：MoE 在配对干净/被污染数据及伪掩码上离线预训练。在 RL 训练期间，ACO-MoE 模块保持冻结，防止观测漂移并确保策略学习的稳定性。

3. 理论分析

该论文提供了形式化的信息论分析以论证该方法的合理性：

命题 5.1（表示污染）：证明了对于基于重建的世界模型，最小化重建误差不可避免地迫使潜在表示 $Z_t$ 编码退化模式 $K_t$ 。具体而言， $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$ 。精确的重建意味着与噪声的高度纠缠。
推论 5.2（前景作为信息瓶颈锚点）：证明了提取干净前景 $F_t$ 可作为**信息瓶颈（IB）**的代理。由于前景是状态 $S_t$ 的确定性函数且独立于外源退化 $K_t$ ，使用 $F_t$ 作为输入（ $Z_t = F_t$ ）可实现精确的无关变量不变性（ $I(Z_t; K_t | Y_t) = 0$ ），同时保留任务充分性。

4. 基准测试：视觉退化控制套件（VDCS）

为了系统地评估该问题，作者引入了VDCS，这是 DeepMind 控制套件（DMC）的扩展。

动态扰动：与静态基准不同，VDCS 使用马尔可夫切换动力学来模拟单个回合内退化类型之间的非平稳转换（例如：雨 $\to$ 雪 $\to$ 模糊）。
退化类型：包含 7 种物理退化（雨、 haze、雪、运动模糊、高斯噪声、低光、JPEG）和 2 种背景干扰（视频、颜色）。
严重程度：退化具有时间相关的严重程度水平，模拟现实世界中的持续性。

5. 关键结果

实验在 VDCS 和 DMControl 泛化基准（DMC-GB）上进行，使用了无模型（DrQ-v2）和有模型（DreamerV3, TD-MPC2）骨干网络。

VDCS 上的性能：
- ACO-MoE 在平均表现上比最佳基线（SimGRL）实现了78.5% 的相对提升。
- 在具有挑战性的马尔可夫切换退化下，它恢复了 DreamerV3 95.3% 的干净性能。
- 在对纹理损失敏感的任务上提升巨大：finger_turn_hard（+207%）、cheetah_run（+126%）和 hopper_hop（+105%）。
泛化能力（DMC-GB）：
- 在 DMC-GB（Video Hard 和 Color Hard）上实现了最先进（SOTA）性能，分别比第二名方法高出 6.2% 和 17.4%。
- 即使推理时未明确知晓退化类型，也表现出鲁棒性。
消融研究：
- MoE 与单一专家：专用专家优于单一大型网络，证明了路由机制的益处。
- 双流：RGB 恢复和前景掩码均至关重要；移除任一都会导致性能显著下降。
- 冻结与联合：保持预处理器冻结至关重要；在 RL 期间对其进行微调会导致不稳定和性能崩溃。
效率：与依赖重型分割模型（SAM）的测试时自适应方法（如 FTR）相比，ACO-MoE 增加的延迟极小（在 RTX 5090 上约为 20ms/步）。

6. 意义与贡献

新基准（VDCS）：建立了一个严格的标准，用于评估非平稳、物理真实扰动下的视觉 RL，超越了静态背景干扰。
理论洞察：形式化证明了世界模型中的重建目标与对动态退化的鲁棒性在结构上是不兼容的，从而推动了向以智能体为中心的预处理的转变。
鲁棒框架（ACO-MoE）：提出了一种新颖的、与架构无关的解决方案，将感知与扰动解耦。它能与无模型和有模型智能体无缝协作，无需更改 RL 算法本身。
实际影响：该方法在高度退化的环境中恢复了接近干净的性能，使视觉 RL 在传感器噪声和环境变化不可避免的现实世界部署中更具可行性。

总之，这项工作将范式从“学习忽略噪声”转变为“恢复以智能体为中心的视角”，为鲁棒视觉控制提供了理论扎实且实证优越的解决方案。