📄 other

Dual-Critic Uncertainty-Gated Reinforcement Learning for Vision-Dropout-Robust Image-Based Visual Servoing

该论文提出了 DCUG-PPO，一种双评论家强化学习控制器，它通过不确定性门控机制将其策略锚定在基于模型的备选方案上，在相机掉线情况下的基于图像的视觉伺服中，实现了比单评论家 PPO 和经典基准更高的可靠性和更平滑的控制，同时也承认了在硬件验证和更广泛算法比较方面的局限性。

原作者： Md Hasibuzzaman, Gene Eu Jan

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Hasibuzzaman, Gene Eu Jan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个手部粘着摄像头的机械臂，正试图抓取一个移动物体。这被称为“视觉伺服”（visual servoing）。机器人的大脑就像一个盯着路面观察的司机：它看到物体，计算移动位置，然后操控手臂转向。但在现实世界中，意外总会发生。摄像头可能会被物体本身遮挡，Wi-Fi 可能会出现故障，或者镜头可能会被污垢弄脏。突然间，机器人就“失明”了。它仍然能感觉到自己的关节（就像闭上眼睛也能知道自己的手肘在哪里），但它看不见目标了。

几十年来，工程师们一直试图教会机器人如何处理这些“盲点”。旧的方法是根据物体最后已知的速度来猜测它可能在哪里，就像棒球手在球消失在墙后时，猜测球会落在哪里一样。但仅仅靠猜测并不总是足够的，尤其是当物体移动得难以预测时。这正是更聪明、更新颖的方法——强化学习（Reinforcement Learning）发挥作用的地方。把这想象成机器人通过试错来学习玩电子游戏。它不是被编程了一套严格的规则，而是尝试数百万次移动，通过成功获得积分，并从中学习抓取目标的最佳方式。核心问题在于：机器人能否学会变得足够聪明，从而知道何时该信任自己的眼睛，何时该信任自己的猜测，同时还能保持动作的平滑与安全？

“双重检查”机器人的故事

在这篇论文中，来自亚洲大学的研究员 Md Hasibuzzaman 和 Gene Eu Jan 解决了这个确切的问题。他们构建了一个机器人模拟环境，其中摄像头会随机失明，以模拟现实世界的故障。他们想看看是否能教会机器人比旧方法更好地处理这些黑屏时刻。

他们创建了一个新的机器人大脑，叫做 DCUG-PPO。要理解它的工作原理，请想象一个拥有两位副驾驶的机器人司机。

“赌徒”（学习型 AI）： 这位副驾驶是一个超级聪明、学习极快的 AI，它已经玩过一百万次这个游戏了。它知道抓取目标的最佳动作。但它可能有点鲁莽。如果它感到困惑或摄像头出现故障，它可能会惊慌失措，做出剧烈、颠簸的动作，导致撞车。
“安全飞行员”（备用方案）： 这是一位枯燥、守旧的工程师。它不学习，只是遵循严格、安全的规则。它会说：“如果我们看不见了，那就根据我们认为目标所在的位置，缓慢且稳定地移动。”它很安全，但不太快，也不够聪明。

DCUG-PPO 的魔力在于一个位于两者之间的特殊“闸门”。这个闸门就像一个神经系统，不断检查：“我现在有多确定？”

如果摄像头工作完美，闸门就会大开，让**“赌徒”**驾驶。机器人移动得又快又聪明。
如果摄像头出现故障或 AI 感到困惑，闸门就会关闭，由**“安全飞行员”**接管。机器人会减速并小心移动，直到再次看清为止。

他们的发现

研究人员将这个新系统与旧方法进行了对比测试。以下是他们在模拟实验中的结果：

击败“单脑”机器人： 他们将新系统与只有一个“赌徒”（没有安全飞行员的标准 AI）的机器人进行了比较。单脑机器人有点像是在赌博。在 10 次训练任务中，有 9 次它能成功学会抓取目标。但在 10 次中的 1 次里，它彻底失败了，学到了一种坏习惯：直接把目标从屏幕边缘撞飞且无法恢复。然而，新的 DCUG-PPO 系统从未失败。在所有的 10 次训练任务中，它都成功学会了抓取目标。它更加可靠。
更平滑的体验： 新机器人不仅成功率更高，而且动作更加平滑。当研究人员测量机器人的“颠簸程度”时，新系统的表现比他们测试的另一种强大的 AI 方法（称为 TD3）要平滑 43 倍。想象一下平滑滑翔的直升机与颠簸摇晃的直升机之间的区别，后者虽然也能降落，但过程非常颠簸。新机器人就是那个滑翔的。
权衡取舍： 研究人员对结果非常坦诚。他们发现另一种 AI（TD3）在抓取目标方面其实稍微更好一点（新机器人的成功率为 91.4%，而 TD3 为 98.7%）。然而，那个“更好”的机器人动作极其颠簸，且消耗了更多的能量。新的 DCUG-PPO 机器人虽然在抓取上稍逊一筹，但它要安全得多，也平滑得多。

故事的局限性

需要注意的是，这个故事完全发生在计算机内部。研究人员构建了三个不同层级的计算机模拟环境来测试他们的想法：

一个简单的、完美的数学世界。
一个更真实的物理世界（使用名为 MuJoCo 的工具）。
一个拥有真实感图像和能真正“看到”像素的虚拟摄像头的世界。

在这三个世界中，新机器人都证明了它的可靠性和平滑性。不过，研究人员也承认，他们还没有在带有真实金属手臂和真实摄像头的真实机器人上进行测试。他们还指出，虽然他们的系统非常适合“赌徒”式的学习（称为 PPO），但其他类型的学习可能会以不同的方式解决这个问题。

总结

这篇论文的主要教训并不是说他们找到了“完美的”机器人大脑。相反，他们找到了一种让学习型机器人变得值得信赖的聪明方法。通过为机器人内置一个“安全飞行员”，并提供一种识别何时切换到该模式的方法，他们阻止了机器人出现那些罕见但灾难性的“放弃并崩溃”的时刻。这是朝着让机器人不仅学会“赢”，而且学会即使在情况出错时也能保持“安全稳健”迈出的重要一步。

技术摘要：用于视觉丢包鲁棒图像视觉伺服的双评论家不确定性门控强化学习

1. 问题定义

本文研究了在存在间歇性相机丢包情况下的手眼式机器人系统中的基于图像的视觉伺服（IBVS）问题。经典的 IBVS 假设特征测量流是连续且有效的，而现实世界的部署由于遮挡、网络抖动或传感器故障，经常面临感知丢失的问题。至关重要的是，作者建模了一种特定的失效模式：即本体感受（关节编码器、正向运动学）保持可靠，但对目标的外部观测被中断。

该问题被形式化为一个控制任务，机器人必须在目标发生漂移且受到两状态马尔可夫丢包通道（可见 $\leftrightarrow$ 丢包）影响的情况下，对固定位姿进行伺服。控制器必须在每个时间步决定：在多大程度上信任一个可能过时的视觉估计，与一个保守的、仅基于运动学的回退方案（fallback）之间进行权衡。目标是学习一个能够适应这种不确定性而无需人工调优的策略，在失去视觉反馈的情况下保持高成功率和控制平滑度。

2. 方法论：DCUG-PPO

作者提出了 DCUG-PPO（双评论家不确定性门控近端策略优化），这是一种旨在弥合学习策略与基于模型的安全性之间差距的强化学习控制器。

核心架构

回退锚点（Fallback Anchor）： 在每一步，都会使用基于扩展卡尔曼滤波器（EKF）预测特征和机器人已知位姿的减小增益 IBVS 定律，计算出一个确定性的、基于模型的回退动作（ $a_{safe}$ ）。
解析门控动作分布： 策略网络输出一个原始高斯动作提议（ $\mu_{raw}, \sigma_{raw}$ ）和一个门控标量 $\alpha \in (0,1)$ 。执行的动作分布通过原始提议与回退动作的仿射混合形成：
$\mu_{final} = \alpha \mu_{raw} + (1-\alpha) a_{safe}$
$\sigma_{final} = \alpha \sigma_{raw} + \epsilon$
这种重参数化确保了执行的动作仍然是一个有效的高斯分布，使得门控可以通过 PPO 标准的截断代理目标进行直接训练，而无需辅助损失函数或不可微的安全过滤器。
双评论家不确定性估计：
- 乐观评论家 ( $V_{opt}$ )： 使用标准的平方 TD 误差损失进行训练，以驱动策略梯度。
- 悲观评论家 ( $V_{pess}$ )： 使用非对称期望损失（ $\tau=0.1$ ）进行训练，旨在系统性地低估高方差状态（例如长序列丢包）下的价值。
- 门控输入： 门控网络接收分歧度 $\Delta V = V_{opt} - V_{pess}$ （通过停止梯度进行分离）以及丢包持续时间和滤波器不确定性特征。高分歧度信号表示高风险，从而驱动 $\alpha \to 0$ ，转而依赖回退方案。

3. 实验设置

环境： 一个具有 4 点平面目标解析交互矩阵的自定义 NumPy 基础模拟器。此外还使用了第二个独立的 MuJoCo 环境（具有刚体动力学）以及第三层使用 OpenCV 特征检测渲染图像的环境，用于零样本验证。
基准测试：
1. 经典 IBVS（无回退方案）。
2. 经典 IBVS + EKF 回退（固定混合比例）。
3. 单评论家 PPO（无回退，无双评论家）。
4. TD3（双延迟 DDPG），作为强力的离策（off-policy）基准。
指标： 成功率（特征 RMSE < 5.5 px）、目标丢失率、控制量、动作加加速度（jerk）以及跨种子可靠性（针对 PPO 变体使用 10 个种子，针对 TD3 使用 3 个种子）。

4. 关键结果

与单评论家 PPO 的性能对比

可靠性： DCUG-PPO 展示了卓越的跨种子可靠性。虽然单评论家 PPO 在 10 个种子中有 9 个实现了高平均成功率，但其中一个种子陷入了退化策略（在所有丢包严重程度下成功率为 0%，目标丢失率为 100%）。DCUG-PPO 在 10 个种子中均未出现此类崩溃。
成功率： 在中度丢包情况下，DCUG-PPO 的平均成功率为 91.4%，而单评论家 PPO 为 83.1%。然而，论文指出由于单评论家基准的双峰分布特性，在 $n=10$ 时未达到种子层级的统计显著性（ $p < 0.05$ ）。
平滑度： DCUG-PPO 产生的控制明显更平滑，其加加速度（jerk）低了约 43 倍，控制量低了约 4.8 倍。

与 TD3（离策基准）的比较

原始成功率： TD3 在原始成功率上优于 DCUG-PPO（例如在中度丢包时为 98.7% 对比 91.4%），且无种子崩溃现象。
权衡： TD3 的优异成功率是以沉重的代价换取的：其控制量高出约 4.8 倍，加加速度高出约 43 倍。
解释： 作者得出结论，TD3 的经验回放池（replay buffer）可能防止了 PPO 在训练早期出现的崩溃，但它缺乏确保平滑、高效控制的结构化机制。

鲁棒性与验证

零样本迁移： DCUG-PPO 在无需微调的情况下成功迁移到 MuJoCo 动力学和渲染图像环境，保持了高成功率，并重现了单评论家在独立模拟器中的崩溃现象。
噪声鲁棒性： 控制器对高达训练水平 8 倍的像素噪声保持鲁棒。
消融实验： 消融研究表明，虽然学习到的门控提高了训练样本效率和稳定性，但在确定性评估中，固定混合比例的门控（ $\alpha=0.5$ ）达到了与完整 DCUG-PPO 相当的最终性能，这暗示**回退锚定（fallback anchoring）**本身才是稳定性的主要驱动力。

5. 意义与主张

本文明确地以谦逊且具体的方式界定了其贡献，避免了“最佳 RL 算法”之类的笼统说法。

相对于单评论家 PPO 的特定优势： 主要贡献在于提供了一种机制，用以解决在部分可观测设置下 On-policy PPO 的可靠性和样本效率问题。DCUG-PPO 通过将策略锚定到带有学习门控的模型回退方案上，防止了标准 PPO 中观察到的“十中一败”的崩溃现象。
控制平滑度： DCUG-PPO 被声称在控制平滑度和能量效率方面优于所有测试的控制器（包括 TD3），使其适用于有严格执行器约束的硬件。
并非通用赢家： 作者承认 TD3 实现了更高的原始成功率。他们认为选择 DCUG-PPO 还是 TD3 取决于部署场景：追求平滑性和 On-policy 稳定性选 DCUG-PPO；如果可以接受执行器粗糙感，则追求原始成功率选 TD3。
局限性： 作者公开承认了以下几点：
- 没有物理硬件验证（仅限于各级模拟）。
- 没有与 SAC、PPO-LSTM、Dreamer 或分布强化学习进行对比。
- 学习到的门控在渐近性能上相对于固定混合比例的优势是边际性的；其价值在于训练动态过程。
- 在 $n=10$ 时，平均性能差异的种子级统计显著性较弱，尽管其定性的可靠性差异（崩溃率）是稳健的。

总而言之，本文将 DCUG-PPO 描述为一种专门的、鲁棒的架构，而非通用的 RL 突破。它成功地将基于模型的安全性集成到了 On-policy 强化学习中，专门解决了标准 PPO 在视觉丢包场景下的可靠性和平滑度问题。