⚡ electrical engineering

Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

本文介绍了密度比加权行为克隆，这是一种鲁棒的离线强化学习方法，它利用少量干净参考集来估计并应用密度比权重，从而在无需预先了解污染机制的情况下，从受对抗攻击或低质量样本严重污染的 datasets 中学习近优控制策略。

原作者： Shriram Karpoora Sundara Pandian, Ali Baheri

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Shriram Karpoora Sundara Pandian, Ali Baheri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人如何驾驶汽车。你拥有一个庞大的驾驶视频库供机器人学习。这被称为“离线学习”——机器人从静态数据集中学习，而不是在现实中四处驾驶并发生碰撞。

然而，这里有一个问题：有人篡改了视频库。

有些视频显示汽车驶下悬崖（坏数据）。
有些视频中方向盘无缘无故疯狂旋转（损坏数据）。
有些视频显示汽车完美行驶，但结尾的“得分”却是"0 分”而非"100 分”（被投毒的奖励）。

如果你将这些视频同等地展示给机器人，它就会学会驶下悬崖或让车轮空转。它会认为这些糟糕的行为是正常的，因为它们存在于数据集中。

本文介绍了一种名为加权行为克隆（Weighted Behavioral Cloning）的新方法来解决这一问题。以下是其工作原理，使用简单的类比进行说明：

1. “受信任的图书管理员”（参考集）

研究人员假设你拥有一个微小的特殊视频文件夹，你确信这些视频是 100% 完美的。也许这些是专业试驾的录像，工程师已验证了每一个动作。他们称之为参考集。与庞大而混乱的图书馆相比，它很小，但它是纯金。

2. “侦探”（判别器）

该方法使用一个智能 AI“侦探”（称为判别器）。它的唯一任务是查看来自混乱图书馆的视频，并问道：“这看起来像受信任文件夹里的视频，还是看起来很奇怪？”

如果视频看起来像受信任的专家驾驶，侦探会说：“是的，这是好的！”
如果视频显示汽车撞向墙壁或方向盘随机旋转，侦探会说：“不，这很可疑。”

3. “加权课程”（魔法技巧）

在常规学习中，机器人将每个视频视为同等重要。在这种新方法中，机器人听从侦探的判断。

好视频：侦探给予它们高权重。机器人会密切关注这些视频。
坏视频：侦探给予它们极低的权重（或几乎为零）。机器人基本上会忽略它们，即使它们仍存在于数据集中。

机器人不需要知道数据是如何被篡改的（无论是传感器故障、黑客攻击还是输入错误）。它只需要知道：“这看起来像我信任的专家吗？”

4. 结果：“坚不可摧的学生”

研究人员在机器人计算机模拟（如奔跑的猎豹或平衡行走的机器人）上测试了这种方法。他们以四种恶劣的方式破坏了数据：

动作投毒：将机器人的动作改为随机。
状态投毒：模糊机器人的“眼睛”（传感器数据）。
转换投毒：使视频跳跃，导致因果关系断裂。
奖励投毒：谎报机器人的表现。

结果：
即使**80% 到 100%**的数据被破坏（意味着几乎整个图书馆都是垃圾），使用这种新方法的机器人仍然几乎完美地学会了驾驶。

旧方法（如标准行为克隆）彻底失败，学会了驶下悬崖。
这种新方法保持了机器人的稳定性和效率，忽略了垃圾，只专注于它能找到的少量干净视频。

为什么这很重要

本文从数学上证明，即使数据集中的“垃圾”非常巨大，该方法依然有效。这就像有一个学生，坐在一个满是人大喊胡言乱语的房间里，但因为有一位受信任的老师在低声说出正确答案，他仍然能以优异的成绩通过考试。

简而言之：本文教导机器人如何通过将所有内容与一小部分经过验证的“好”数据进行比较来忽略坏数据，从而确保即使在训练数据遭到破坏的情况下，它们也能学会正确的技能。

技术摘要：密度比加权行为克隆

问题陈述
离线强化学习（RL）能够从固定数据集中进行策略优化，为自动驾驶和工业机器人等在线探索不可行的安全关键领域提供了关键解决方案。然而，现实世界的数据集经常因传感器故障、网络物理攻击、标注错误或对抗性操纵导致的数据投毒而受损。标准的行为克隆（BC）和离线 RL 算法隐式地将所有轨迹视为同等可靠，在优化过程中混合了干净样本和受损样本。这导致策略性能下降、不稳定或违反安全规定，特别是在中等至严重投毒的情况下，细微的异常可能破坏轨迹跟踪等控制任务。现有的鲁棒性研究通常专注于特定的污染渠道或假设已知混合分布，在处理离线控制数据集中任意、未知的污染机制方面存在空白。

方法论
本文提出了密度比加权行为克隆（Weighted BC），这是一种鲁棒的模仿学习框架，旨在无需预先了解污染机制的情况下从受污染的离线数据集中学习。核心方法论依赖于三个阶段：

参考集利用：该方法假设可访问一个小型、已验证且互不相交的干净专家轨迹参考集（ $D_{ref}$ ），该集合与可能受污染的主数据集（ $D$ ）不同。
基于判别器的密度比估计：训练一个二元判别器 $d_\phi$ 以区分来自干净参考集（类别 1）的轨迹和来自受污染主数据集（类别 0）的轨迹。判别器最小化二元交叉熵损失。在平衡采样下，密度比 $r(\tau) = p_{clean}(\tau)/p(\tau)$ 被恢复为 $d_\phi(\tau) / (1 - d_\phi(\tau))$ 。
加权目标：这些估计的比率被截断至确定性范围 $[\epsilon, C]$ 以确保数值稳定性，并用作行为克隆目标中的权重。经验损失变为：
$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$
其中 $w_i = \text{clip}(r(\tau_i), \epsilon, C)$ 。这种加权方案优先考虑类似于干净专家行为的轨迹，同时降低或丢弃异常片段。

该方法针对应用于连续控制基准的四种特定投毒协议进行了评估：

奖励投毒：将正奖励反转以惩罚良好行为。
状态投毒：向状态添加高斯噪声以模拟传感器故障。
转移投毒：打乱下一状态观测值以破坏因果联系。
动作投毒：用高斯噪声扰动动作。

主要贡献
本文做出了三项主要贡献：

算法提出：引入了 Weighted BC，该算法利用小型已验证参考集，通过基于判别器的加权来识别并降低受损轨迹的权重。这使得无需了解具体污染机制即可实现鲁棒的策略学习。
理论基础：作者建立了理论保证，包括统一干净风险近似界限以及所学策略的超额干净风险保证。关键在于，在适当的截断阈值下，这些界限被证明与污染率（ $\alpha$ ）无关，从而将有限样本误差、判别器误差和截断偏差分离开来。
评估框架：建立了一个全面的评估框架，涵盖了连续控制基准（D4RL）中的各种投毒场景（动作、状态、转移和奖励），解决了现有文献通常假设特定污染类型的空白。

结果
实验在 D4RL 基准（HalfCheetah、Ant、Hopper、Walker2d）上进行，污染水平范围为 20% 至 100%（ $\alpha \in \{0.2, \dots, 1.0\}$ ）。将 Weighted BC 与传统 BC、Batch-Constrained Q-learning (BCQ) 和行为正则化 Actor-Critic (BRAC) 进行了比较。

鲁棒性：即使在较高的污染率（ $\alpha \ge 0.8$ ）下，Weighted BC 仍保持了接近最优的性能，而基线方法则遭受了显著的性能下降。
动作投毒：在此场景下，基线方法崩溃（例如，在 $\alpha=1.0$ 时，HalfCheetah 上的传统 BC 回报降至约 2,500，而 Weighted BC 保持在 10,000 以上）。判别器成功识别出偏离行为流形的动作受损轨迹。
状态和转移投毒：Weighted BC 表现出一致的稳定性，而 BCQ 基于 VAE 的约束未能对受损动力学进行建模，BRAC 在状态污染下表现出不稳定性。
奖励投毒：由于 BC 依赖于状态 - 动作对而非奖励信号，Weighted BC 保持了 80-90% 的基线性能，而 BRAC 在多个环境中失败。
保留率：在所有投毒类型下，Weighted BC 在高达 60% 的污染率下保留了超过 80% 的干净性能，显著优于传统 BC 中观察到的线性下降。

意义与主张
本文主张，Weighted BC 为存在任意数据投毒情况下的离线 RL 提供了一种鲁棒解决方案，这是在安全关键系统中部署基于学习的控制器的一项关键要求。通过利用小型、经过审查的参考集，该方法有效地过滤了受损数据，而无需对攻击的具体性质进行建模。理论分析证实，该方法收敛于干净专家策略，其有限样本界限不依赖于污染的严重程度。在实证方面，该方法表现出优于最先进离线 RL 算法的卓越韧性，特别是在标准方法失效的高污染区域。这项工作强调，轨迹级评估对于捕捉时间一致性和与控制相关的异常至关重要，这使其与仅解决孤立状态 - 动作伪影的方法区分开来。