🤖 AI

Flexible Multitask Learning with Factorized Diffusion Policy

本文提出了一种新颖的模块化扩散策略框架，该框架将复杂的多模态机器人动作分布分解为专用组件，从而提升策略拟合能力、实现对新任务的灵活适应并缓解灾难性遗忘，同时在仿真与真实世界环境中均优于现有的单体式和模块化基线方法。

原作者： Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

发布于 2026-04-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人完成多种不同的任务：打开抽屉、拿起一个红色立方体、将马克杯挂在特定的挂钩上，以及敲钉子。

问题：“瑞士军刀”的困境
传统机器人的“大脑”（称为“单体策略”）试图成为一个单一的、巨大的瑞士军刀。它们试图在一个庞大而混乱的“大脑”中学习所有这些不同的技能。论文指出，这之所以困难，是因为机器人的动作过于多样化。这就像试图教一个学生同时成为大师级厨师、专业钢琴家和赛车手。学生会感到困惑，试图同时做所有事情，结果却把每件事都做得很差。它们可能会像拿勺子一样去“抓握”锤子，或者像开门一样去“打开”抽屉。

解决方案：“专家团队”（FDP）
作者提出了一种名为因子化扩散策略（Factorized Diffusion Policy, FDP）的新方法。与其拥有一个巨大的大脑，不如想象一个由专家组成的专门团队。

专家（扩散组件）：机器人拥有几个小型的、专门的“专家”。
- 专家 A 擅长“接近”物体。
- 专家 B 擅长“轻柔地抓握”物体。
- 专家 C 擅长“敲击”或“悬挂”物体。
- 专家 D 擅长“对齐”物体。
- 每位专家只专注于一种特定类型的动作或“子技能”。
管理者（路由器）：当机器人看到一项任务（例如“挂起马克杯”）时，一位智能管理者（称为“路由器”）会审视当前情况。管理者不是只挑选一位专家来完成整个工作，而是向所有专家征求建议。
- 管理者会说：“专家 A，关于如何接近，你的建议有 80% 是正确的。专家 B，关于如何抓取，你的建议有 90% 是正确的。专家 C，关于角度，你的建议有 10% 是正确的。”
- 随后，管理者将这些建议混合在一起，以生成完美的最终动作。这就像指挥家融合不同的乐器来创作交响乐，而不是让一种乐器演奏整首歌曲。

为何这种方法更优

稳定性：由于管理者平滑地融合了所有人的建议（而不是挑选一个并忽略其余部分），机器人学习速度更快，且不会感到困惑。这就像一个每个人都能贡献力量的团队，而不是一个由一个人压倒其他人的团队。
无“遗忘”：这是论文的重大突破。如果你想教机器人一项新技能（例如“拧入灯泡”），你无需重新训练整个团队。你只需为这项特定工作聘请一位新专家，并让他们加入团队。旧的专家（懂得如何打开抽屉或悬挂马克杯）保持原样。这意味着机器人学习新技能时不会忘记旧技能——这是其他方法所面临的“灾难性遗忘”问题。
灵活性：如果机器人需要完成一项非常复杂的任务，管理者可以征求更多专家的建议。如果任务简单，它可以仅依赖少数几位专家。

现实世界的验证
作者在计算机模拟和现实世界中用机器人测试了这种方法。

在模拟中：机器人团队（FDP）在打开抽屉、组装销钉和捡起雨伞等任务上，击败了“单一大脑”机器人和其他“团队”机器人。
在现实世界中：他们用真实的机械臂进行了测试。当被要求拿起红色立方体或悬挂马克杯时，FDP 机器人的成功率更高，精度更好。其他机器人经常笨手笨脚或掉落物品，因为它们无法处理任务的复杂性。

核心结论
论文声称，通过将复杂的机器人“大脑”分解为一个由专门化、可混合搭配的专家组成的团队，机器人能够更快地学习多种不同任务，更好地记住旧技能，并在无需彻底系统重构的情况下适应新工作。它将机器人从一个困惑的通才转变为一个高效、适应性强的专家团队。

以下是论文《基于因子化扩散策略的灵活多任务学习》（FDP）的详细技术总结。

1. 问题陈述

本文探讨了机器人领域多任务模仿学习面临的挑战，特别是建模高度多模态且多样化的动作分布的困难。

单体模型的局限性： 传统的单网络策略（例如标准扩散策略）难以在多样化任务中泛化，往往对复杂分布欠拟合，或无法表征不同的行为模式（例如针对不同物体的不同抓取策略）。
现有模块化模型的局限性： 虽然专家混合（MoE）架构试图分解任务，但存在以下问题：
- 训练不稳定性： 难以平衡专家的利用率。
- 路由问题： 离散的专家选择可能导致“路由不平衡”（某些专家从未被使用，而其他专家被过度使用）。
- 可解释性差： 专家的角色往往重叠或不明确，技能可能分布在各个层级中，而非被解耦。
- 灾难性遗忘： 适应新任务通常需要重新训练整个模型，这可能导致已学技能的丢失。

2. 方法论：因子化扩散策略（FDP）

作者提出了FDP，这是一种模块化策略架构，将动作分布因子化为多个专用扩散模型的组合。

A. 核心架构

因子化： 不同于单一策略 $p(a_t|o_t)$ ，FDP 将动作分布建模为 $N$ 个分量分布的加权乘积：
$p(a_t|o_t) \propto \prod_{i} p_i(a_t|o_t)^{w_{t,i}}$
其中，每个 $p_i$ 是一个捕捉不同行为模式（子技能）的专用扩散模型（专家），而 $w_{t,i}$ 是依赖于观测值的权重。
组合采样：
- 路由器： 一个轻量级 MLP 接收观测值 $o_t$ ，并为所有分量输出连续权重 $\{w_{t,i}\}$ 。
- 分数聚合： 与选择单个专家的离散 MoE 不同，FDP 聚合来自所有分量的分数估计（对数概率的梯度）：
  $\nabla \log p(a_t|o_t) \approx \sum_{i} w_{t,i} \nabla \log p_i(a_t|o_t)$
- 去噪过程： 迭代去噪步骤利用这个分数的加权和来指导动作轨迹的生成。这对应于从分布乘积中采样，有效地将动作生成框架化为一个约束满足问题。

B. 训练与适应

联合训练： 所有扩散分量和路由器使用聚合分数预测的均方误差（MSE）损失进行端到端训练。
高效适应（升级复用）： 为了在不重新训练整个模型的情况下适应新任务：
1. 引入一个新的扩散分量。
2. 通过升级复用（复制权重）从现有分量初始化它。
3. 仅对新分量和路由器进行微调；所有先前的分量均被冻结。
4. 这防止了灾难性遗忘，并显著减少了可训练参数的数量。

3. 主要贡献

新颖的模块化架构： 提出了 FDP，使用连续分数聚合而非离散专家选择。这确保了训练稳定，防止路由不平衡，并促进分量之间清晰的 specialization（专业化）。
概率解释： 基于能量模型（EBM）和分数匹配，提供了一种原则性的公式化方法，其中组合策略代表了行为约束的交集。
可扩展的适应策略： 提出了一种利用升级复用和冻结机制的“选择性微调”机制，实现了以最少数据高效扩展技能，且无灾难性遗忘。
实证验证： 在仿真和真实世界环境中，证明了其优于强基线模型（单体 DP、稀疏扩散策略和 MoDE）的性能。

4. 实验结果

作者在MetaWorld、RLBench、LIBERO以及真实世界机器人操作（UR5e 机械臂）上评估了 FDP。

多任务性能：
- FDP 在 30 多个任务中始终优于单体扩散策略（DP）和模块化基线（SDP、MoDE）。
- MetaWorld： FDP 平均成功率为 74.8%，而 DP 为 70.8%，SDP 为 69.8%。
- RLBench： FDP 平均成功率为 63.9%，而 DP 为 45.6%，SDP 为 42.1%。
- 真实世界： 在复杂任务（如悬挂马克杯、抓取彩色立方体）中，FDP 表现出更高的成功率，而基线模型因过拟合或无法捕捉多模态分布而失败。
任务适应与迁移：
- 数据效率： 当使用有限数据（10–25 次演示）适应新任务时，采用“添加新模块”策略的 FDP 优于全参数微调和部分微调。
- 持续学习： 在 12 项任务的持续学习基准（LIBERO）中，随着新专家的添加，FDP 保持了高性能，而其他方法则出现性能下降。
- 知识保留： 冻结旧分量有效地保留了先前的技能。使用最小回放缓冲区（每个任务 5 次演示）使得模型在适应后能保留近 100% 的原始性能。
分析与扩展：
- 分量扩展： 随着分量数量从 2 增加到 4，性能提升，随后趋于平稳。
- 任务扩展： 随着任务数量增加，FDP 与单体模型之间的性能差距扩大，突显了 FDP 的可扩展性。
- 可解释性： 可视化显示，各个分量专门负责不同的子技能（例如对齐、接近、抓取），而不是噪声水平或任意层级。
- 推理速度： FDP 支持“部分重建”（仅使用前 $k$ 个分量），在性能仅下降约 19% 的情况下，实现了 2 倍 的推理加速。

5. 意义

机器人学习： FDP 为在动态环境中部署机器人提供了一种实用解决方案，使其能够快速学习新技能而不遗忘旧技能。
稳定性： 通过将离散路由替换为连续分数组合，FDP 解决了困扰基于 MoE 的扩散策略的训练不稳定性问题。
可解释性： 因子化允许研究人员检查和理解策略内的特定子技能（例如“抓取”与“接近”），有助于调试和安全验证。
未来方向： 该框架为异构模块设计（混合架构）和终身学习系统开辟了途径，在这些系统中，机器人可以持续积累专用技能库。

总之，FDP 通过将扩散模型的生成能力与稳健、可解释且可适应的模块化架构相结合，代表了机器人模仿学习领域的一项重大进步。