🤖 machine learning

DF-ExpEnse: Diffusion Filtered Exploration for Sample Efficient Finetuning

DF-ExpEnse 是一种用于微调预训练生成式机器人策略的高样本效率探索技术，它利用多模态建模和评论家集成来优化在线数据收集，并实现集群设置下的协作探索。

原作者： Calvin Luo, Chen Sun, Shuran Song

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Calvin Luo, Chen Sun, Shuran Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个机器人，它已经通过观看成千上万段人类完成任务（如堆叠积木或行走）的视频，学习了大量的技能。这个机器人就像一个通过研读教科书而刻苦学习的天才学生。现在，你想通过让它在现实世界中进行练习，来教它更出色的技能。

问题在于，现实世界的练习既昂贵又缓慢。如果机器人只是随机尝试，它会浪费大量时间在失败上。如果它只做那些它认为自己最擅长的事情，它可能会陷入固步自封的困境，永远无法学会真正最好的方法。

DF-ExpEnse 是一种全新的“智能练习”方法，旨在帮助机器人通过更少的尝试来更快地学习。以下是它的工作原理，通过简单的概念进行了拆解：

1. “品鉴菜单”（扩散过滤 - Diffusion Filtering）

通常情况下，机器人必须从无数种可能的动作中进行选择（一个连续的动作空间）。随机挑选一个动作，就像是在一个拥有无限菜单项的餐厅里寻找最棒的一道菜。

DF-ExpEnse 通过利用机器人现有的“大脑”（预训练的扩散策略）来生成一份规模可控的候选动作清单来解决这个问题——就像厨师呈上一份由 3 或 4 道极具潜力的菜品组成的“品鉴菜单”。这些并不是随机的猜测；它们是机器人的大脑认为值得一试的高质量选项。

2. “评审团”（集成不确定性 - Ensemble Uncertainty）

一旦机器人有了这份动作短名单，它该如何决定实际执行哪一个动作呢？

贪婪法： 只挑选那个目前看起来得分最高的动作。（这很冒险；它可能是一个“陷阱”，看起来不错但实际上并不好）。
DF-ExpEnse 法： 它使用一个评审团（一组 AI 裁判）来评估这份短名单。
- 裁判们会问两个问题：“这个动作有多好？”以及“我们对这个评分有多大的把握？”
- 如果裁判们对某个动作的评价高度一致，说明这是一个稳妥的选择。
- 如果裁判们产生分歧（有的说非常好，有的说很差），这意味着机器人处于不确定状态。这种不确定性其实是一个信号，表明这个动作很有趣，值得去探索！

DF-ExpEnse 会选择那个能提供最佳平衡点的动作：它很可能表现出色，但同时也是机器人尚未完全掌握的领域。这就像一个学生选择去学习那些他接近掌握的课题，而不是仅仅反复阅读那些他已经完全掌握的内容。

3. “小组讨论”（舰队归一化 - Fleet Normalization）

想象你拥有一整支机器人舰队（一个团队）正在同时进行练习。

旧方法： 每台机器人单独练习。它们可能会不约而同地选择同一个“安全”的动作，从而通过收集重复的数据来浪费整个团队的时间。
DF-ExpEnse 法： 在做出动作之前，机器人之间会互相交流。它们会分享各自的“评审团”对选项的看法。
- 如果机器人 A 正在考虑一个机器人 B 已经尝试过并精通的动作，机器人 A 会意识到：“哦，这对团队来说并不新鲜，”然后选择另一个动作。
- 这确保了整个团队能够共同探索多样化的路径，使学习过程更加高效。

4. “安全网”（BC-SR）

随着机器人变得越来越擅长某项任务，它们有时会变得“懒惰”，只尝试那几个它们已知行得通的动作。为了阻止这种情况，DF-ExpEnse 设置了一个安全网。它会偶尔强制机器人去观察其原始训练（在开始练习之前）中的动作。这确保了机器人不会忘记最初被教导的各种多样化的移动方式，保持其选择的开放性。

结果

通过结合这三个想法——生成智能短名单、利用评审团寻找有趣的确定性以及让团队协作——DF-ExpEnse 帮助机器人更快地学习新技能。

在论文的实验中，使用这种方法的机器人学习操控物体（如拿起罐子或悬挂工具）以及移动（如行走或跑步）时，比使用标准方法的机器人使用了更少的练习尝试。它们以更少的数据达到了更高的成功率，证明了“练习的质量”比“练习的数量”更重要。

技术摘要：DF-ExpEnse

问题陈述

提高机器人策略改进的样本效率对于在现实世界中部署智能体至关重要。一种极具前景的方法是利用基于离线行为克隆（Behavior Cloning）的预训练生成式控制策略（特别是扩散策略/Diffusion Policies）来初始化智能体，然后通过强化学习（RL）利用自收集的在线经验对其进行适配。然而，这一过程中的一个主要瓶颈是有效的探索（Effective Exploration）。

现有的探索策略在此背景下面临三个主要挑战：

量化探索兴趣： 如何通过平衡动作质量与不确定性降低，原则性地衡量智能体对任意动作的兴趣。
可处理的动作选择： 如何在连续动作空间中识别值得探索的合理动作，因为在连续空间中进行穷举搜索是不可行的。
协作式集群探索： 如何利用并行的机器人集群，通过协作来提高收集经验的质量，而不仅仅是通过独立的、可能冗余的数据采集来增加数据数量。

方法论：DF-ExpEnse

作者提出了 DF-ExpEnse（基于集成扩散过滤的探索），这是一种旨在增强在线推理期间探索性动作选择的技术。它能够与现有的用于更新预训练扩散策略的 RL 微调框架（如 DSRL、ResFiT）无缝集成。该方法通过三个核心机制运行：

1. 扩散过滤候选生成

为了解决连续动作空间搜索的不可行性，DF-ExpEnse 利用了预训练扩散策略 ( $\pi_{dp}$ ) 的多模态建模能力。智能体不再搜索整个空间，而是根据当前状态 $s$ 生成一组可处理的 $M$ 个候选动作：
$[a_1, \dots, a_M] \sim \pi_{dp}(a | s)$
该集合作为一个受限的搜索空间，既提供了广泛的覆盖范围，又确保了候选动作具备基础的可用质量。

2. 基于集成的探索兴趣（UCB 风格）

为了从集合中选择最佳候选动作，DF-ExpEnse 利用了评论家集成（Critic Ensemble）（ $Q^{[1\dots K]}$ ，通常用于策略梯度更新）来同时估计价值和不确定性。对于每个候选动作 $a_m$ ，其探索兴趣得分 $e_m$ 是以下两项的线性组合：

价值估计： 集成预测中的最小值，以减少高估偏差。
不确定性估计： 集成预测之间的标准差（分歧度）。

得分计算如下：
$e_m = \min(Q^{[1\dots K]}(a_m, s)) + \alpha \cdot \text{std}(Q^{[1\dots K]}(a_m, s))$
智能体选择具有最大 $e_m$ 的动作。这种方法受到置信区间上界（UCB）算法的启发，平衡了利用（高价值）与探索（高不确定性）。

3. 行为克隆采样正则化 (BC-SR)

为了防止智能体在微调过程中过早收敛到单一动作模式（这会导致探索能力下降），作者引入了 BC-SR。候选动作集中的一部分会被初始的离线预训练扩散策略 ( $\pi_{dp}^{init}$ ) 抽取的样本所覆盖。这确保了候选集保留了原始行为克隆模型的多模态先验，防止了动作多样性的坍缩。

4. 用于协作探索的集群归一化

在集群设置（多个智能体并行部署）中，DF-ExpEnse 实现了实时跨智能体通信。在选择动作之前，每个智能体都会使用从整个集群所有智能体的候选集中聚合得到的统计数据（均值和标准差）来归一化其价值和不确定性估计。
$\bar{e}_{n,m} = \bar{v}_{n,m} + \alpha \cdot \bar{d}_{n,m}$
这种归一化将智能体的局部选择置于全局集群状态的背景下进行考量，从而鼓励群体共同探索多样化且高价值的轨迹，而不是冗余地探索相同的区域。

核心贡献

DF-ExpEnse 算法： 一种新型探索技术，结合了用于候选过滤的扩散策略多模态性与用于不确定性感知动作选择的评论家集成。
BC-SR 正则化： 一种通过注入初始预训练策略样本来维持动作候选集多模态多样性的方法，有效防止了在线微调期间的模式坍缩。
集群归一化： 一种用于机器人集群协作探索的机制，通过将局部探索兴趣相对于全局集群统计数据进行归一化，来提升集体数据质量。
通用集成： 证明了 DF-ExpEnse 可以无缝集成到各种 RL 微调策略（特别是 DSRL 和 ResFiT）中，且不需要额外的模型组件（如动力学模型）。

实验结果

作者在操作任务（RoboMimic、DexMimicaGen）和运动任务（OpenAI Gym）中评估了 DF-ExpEnse，并将其与以下方法进行了对比：

Vanilla Finetuning（原生微调）： 不带增强探索功能的标准 DSRL 和 ResFiT。
Max-Q Selection： 选择最高价值候选动作的贪婪基准（等同于 $\alpha=0$ 的 DF-ExpEnse）。
替代探索方案： 依赖于学习到的动力学模型的 E3B（椭圆情节奖励）和 Plan2Explore。

主要发现：

样本效率： 在相同的在线经验时间步长下，DF-ExpEnse 始终比所有基准方法获得更高的成功率和奖励得分。
消融研究：
- BC-SR： 从 DF-ExpEnse 中移除 BC-SR 会显著降低性能，而将其添加到 Max-Q 中则能提升性能，这证实了其在防止模式坍缩方面的作用。
- 集群归一化： 移除集群归一化会导致样本效率低于完整的协作式方法，验证了群体感知探索带来的益处。
- 组件规模： 随着评论家集成规模的增大（直到饱和点）以及集群规模的扩大，性能均有所提升；而增加动作候选样本量则表现出收益递减。
鲁棒性： 该方法优于需要额外组件（如动力学模型）的基准方法，证明了复用现有的评论家集成足以实现原则性的探索。

意义与主张

论文声称 DF-ExpEnse 为提高预训练生成式控制策略微调的样本效率提供了一个通用且多样化的解决方案。其意义在于：

原则性的探索： 它提供了一种在连续动作空间中平衡质量与不确定性的可行途径，而无需复杂的辅助模型。
可扩展性： 它有效地利用机器人集群，不仅是为了增加数据量，更是通过协作式、归一化的决策来提升数据质量。
实用性： 它能直接集成到现有的 RL 流水线（如 DSRL）中，仅需极小的架构改动，使其成为对样本效率要求极高的现实世界机器人部署的实用工具。

作者总结道，通过提高在线经验收集的质量，DF-ExpEnse 能够使机器人实现更快、更有效的技能学习与精炼，特别是在模拟器和现实世界部署的并行化能力不断增长的背景下。