🤖 machine learning

DADP: Domain Adaptive Diffusion Policy

本文提出了 DADP（域自适应扩散策略），通过引入滞后上下文动力学预测实现静态域表征的无监督解耦，并将解耦后的表征注入扩散生成过程，从而在未见过的动态变化中实现鲁棒的零样本适应。

原作者： Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengcheng Wang, Qinghang Liu, Haotian Lin, Yiheng Li, Guojian Zhan, Masayoshi Tomizuka, Yixiao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DADP（Domain Adaptive Diffusion Policy，域自适应扩散策略）的新方法，旨在解决机器人或 AI 智能体在面对“陌生环境”时容易“水土不服”的问题。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成教一个机器人厨师如何适应不同的厨房。

1. 核心难题：为什么机器人会“水土不服”？

想象一下，你训练了一个机器人厨师，让它在一个标准厨房里做牛排。这个厨房的炉火大小、锅的重量、甚至空气湿度都是固定的。机器人学得很好。

但是，当你把它派到另一个厨房（比如高山上的厨房，气压低；或者海边的厨房，湿度大），它做的牛排就焦了或者没熟。

以前的方法：大多数 AI 就像那个只在一个厨房练过的厨师。它记住了“在这个炉火下，牛排要煎 3 分钟”。一旦环境变了（炉火变了），它就懵了，因为它没学会“如何根据炉火调整时间”这个核心规律。
DADP 的目标：我们要教机器人学会**“适应不同厨房的通用法则”**，而不是死记硬背某个特定厨房的操作。

2. DADP 的两大绝招

为了解决这个问题，作者提出了两个巧妙的“魔法”：

第一招：拉长时间差的“记忆过滤法” (Lagged Context Dynamical Prediction)

比喻：区分“天气”和“季节”

在训练机器人时，我们需要让它从过去的动作中总结出环境的特征（比如：这个厨房的摩擦力大，还是小？）。

以前的做法（太近）：就像你刚看了一眼窗外的云，就立刻判断明天的天气。这很容易出错，因为云（瞬时状态）变化太快，充满了噪音。机器人容易把“刚才那一瞬间的抖动”误认为是“厨房的固有属性”。
DADP 的做法（拉远）：作者让机器人回头看很久以前的历史（比如看上一个小时前的云，或者看另一个平行宇宙里的同一天）。
- 如果机器人看的是很久以前的数据，那些“瞬间的抖动”（比如刚才手滑了一下）早就消失了，只剩下稳定的规律（比如这个厨房的炉子天生火力就弱）。
- 效果：通过拉大时间差，机器人自动过滤掉了那些“昙花一现”的干扰信息，只记住了真正属于这个环境的“性格”（比如重力、摩擦力等静态参数）。这就好比它学会了分辨“今天的天气”和“这个季节的气候”。

第二招：给“做菜过程”注入“灵魂” (Domain-Aware Diffusion Injection)

比喻：给面团注入“风味”

现在的 AI 做动作（比如走路、抓东西），越来越流行用一种叫**“扩散模型”的技术。你可以把它想象成“从一团混沌的噪音中，慢慢把完美的动作‘雕刻’出来”**的过程。

以前的做法（被动条件）：以前的方法像是在雕刻时，只是把“环境说明书”放在手边，告诉机器人：“嘿，这是高山厨房，注意气压。”机器人得自己一边看说明书，一边在噪音里摸索怎么雕。这很容易雕歪，因为它得在混乱的噪音里强行适应说明书。
DADP 的做法（主动注入）：DADP 直接把“环境说明书”（也就是刚才学到的环境特征）混进了那团初始的噪音里。
- 想象一下，我们在雕刻开始前，直接往面团里揉进了“高山面粉”。这样，无论怎么雕刻，做出来的东西天生就带有高山的特性。
- 效果：机器人不需要费力去适应，它生成的每一个动作，从第一步开始就天然地符合当前环境的物理规律。这就像给机器人装了一个“环境导航仪”，让它从一开始就走对了路。

3. 实验结果：真的好用吗？

作者在机器人跑步（像半人马、蚂蚁）和抓东西（像灵巧手）的任务上做了大量测试。

结果：DADP 就像是一个**“万能适应者”**。
- 在熟悉的厨房（训练过的环境），它做得比谁都好。
- 在完全陌生的厨房（没见过的环境，比如换了个更重的机器人腿，或者摩擦力变了），它依然能迅速调整，做出完美的动作。
- 相比之下，以前的方法要么在陌生环境里摔跟头，要么动作僵硬。

4. 总结：这篇论文说了什么？

简单来说，这篇论文教 AI 两件事：

学会“透过现象看本质”：通过拉长时间看历史，过滤掉瞬间的干扰，只记住环境真正的“性格”（静态特征）。
学会“从源头解决问题”：在生成动作的最开始，就把环境特征“揉”进去，而不是事后补救。

一句话总结：
DADP 让机器人不再死记硬背，而是学会了**“举一反三”**。无论把它扔到哪个新环境，它都能迅速摸清门道，像老手一样从容应对。这对于未来让机器人真正走进千家万户（面对千变万化的现实世界）至关重要。

DADP: 域自适应扩散策略 (Domain Adaptive Diffusion Policy) 技术总结

1. 问题背景与挑战

基于学习的控制策略在应对未见过的环境动态（即域自适应问题）时面临巨大挑战。现有的方法通常存在以下局限性：

表示纠缠：在通过动力学预测学习域表示时，传统的上下文选择（通常使用紧邻当前时刻的历史）会导致学习到的表示中静态域信息（如重力、摩擦系数）与时变动态属性（如瞬时速度、高阶导数）发生纠缠。这种混合表示会混淆条件策略，限制其零样本（Zero-shot）适应能力。
表示利用不足：大多数现有方法仅将学习到的域表示作为额外的输入拼接（Concatenation）到策略网络中，或者依赖端到端的序列建模，未能充分利用表示中的结构信息来指导生成过程，导致性能提升有限。

2. 核心方法论：DADP

为了解决上述问题，作者提出了 DADP (Domain-Adaptive Diffusion Policy)，该方法通过无监督解耦和域感知扩散注入两个核心步骤实现鲁棒的域自适应。

2.1 无监督解耦：滞后上下文动力学预测 (Lagged Context Dynamical Prediction)

为了从表示中剔除时变信息，仅保留静态域特征，DADP 提出了一种新的表示学习策略：

传统方法缺陷：通常使用最近的历史（ $\Delta t = 1$ ）作为上下文。由于时间上的紧密相关性，上下文中的瞬时动态信息（ $\omega_t$ ）能辅助预测下一步状态，导致编码器将这些时变信息也编码进表示 $z_t$ 中。
DADP 策略：引入时间偏移量 $\Delta t$ ，使用历史偏移上下文（Lagged Context） $\tau_{t-\Delta t}$ $τ_{t - Δ t}$ 来预测当前状态 $s_{t+1}$ $s_{t + 1}$ 。
- 当 $\Delta t$ 增大（甚至趋向于无穷大，即使用同一域内其他轨迹片段）时，上下文中的瞬时动态信息无法辅助预测当前时刻的状态。
- 为了最小化预测损失，编码器被迫仅学习静态的域信息（如重力、肢体长度等），从而在数学上实现了静态信息与时变信息的无监督解耦。
- 这种方法无需额外的标签或对比学习，仅通过序列建模即可提取高质量的域表示。

2.2 域感知扩散注入：表示引导的生成过程

在获得高质量表示后，DADP 将其直接注入到扩散模型的生成过程中，而非仅仅作为条件输入：

先验分布偏置 (Prior Biasing)：传统的扩散策略从纯高斯噪声开始去噪。DADP 将学习到的域表示 $z$ 融入前向过程，使得去噪过程从一个混合高斯分布（Mixture of Gaussians）开始，其中每个峰值代表特定域的动作模态。这相当于在生成初期就“注入”了域信息。
重构扩散目标 (Reformulated Diffusion Target)：
- 不再单纯预测噪声 $\epsilon$ ，而是联合预测噪声与表示偏移的复合项 $\hat{\epsilon}_\theta$ 。
- 通过重新推导 DDIM 采样公式，将表示 $z$ 作为去噪步骤的一部分。这不仅偏置了先验分布，还为每个去噪步骤提供了额外的监督信号，简化了去噪路径，使策略能更精准地定位到目标域的动作流形。

3. 主要贡献

无监督表示学习：提出了“滞后上下文动力学预测”，通过增加时间偏移量 $\Delta t$ ，成功在无监督设置下解耦了静态域信息与动态时变信息，显著提升了表示质量。
表示利用创新：改变了扩散策略中利用表示的方式，从简单的“条件输入”转变为“先验偏置”和“目标重构”，实现了域感知扩散注入，提升了生成效率。
卓越的性能表现：在 MuJoCo（ locomotion）和 Adroit（manipulation）等多个具有挑战性的基准测试中，DADP 在零样本设置下（In-Distribution 和 Out-of-Distribution）均取得了优于现有最先进方法（SOTA）的性能。
开源生态：发布了包含算法、数据集及数据生成流水线的完整开源代码库，促进了社区对该框架的定制与研究。

4. 实验结果

基准测试：在 HalfCheetah, Walker2d, Ant, Hopper 以及 Adroit 的 Door/Relocate 任务上进行了评估。
性能对比：
- 在 OOD (Out-of-Distribution) 设置下，DADP 显著优于 CORRO、Prompt-DT、Meta-DT 等基线方法。例如，在 Walker2d 的 OOD 设置中，DADP 的归一化回报达到了 2834，远超 Meta-DT 的 889。
- 在 IID (In-Distribution) 设置下，DADP 也表现出极强的稳定性，标准差更小。
消融实验：
- $\Delta t$ 的影响：随着 $\Delta t$ 增大，表示的线性探测准确率（Linear Probe Accuracy）和重构损失显著改善，证明了时间偏移对解耦的有效性。
- 利用方式的影响：对比了“无表示”、“仅条件输入”、“仅先验偏置”和“联合预测（DADP 完整版）”。结果显示，完整的 DADP 策略在“掌握度”（Mastery，即达到专家性能 60% 以上的域比例）上最高，证明了联合预测目标的重要性。
可视化：t-SNE 可视化显示，随着 $\Delta t$ 增加，不同域的表示聚类更加清晰；去噪过程可视化表明，DADP 能更准确地定位到目标域的动作流形。

5. 意义与局限性

意义：
- 为域自适应控制提供了一种新的范式，证明了通过解耦静态与动态信息可以显著提升策略的泛化能力。
- 展示了扩散模型在域自适应任务中的巨大潜力，特别是通过修改生成先验和目标函数来利用域信息。
- 提出的方法无需依赖昂贵的专家数据或复杂的对比学习目标，具有较好的实用性和可扩展性。
局限性：
- 当前工作主要针对**静态（时间不变）**的动力学进行解耦。
- 在非平稳环境（Non-stationary environments）中，时变信号可能包含关键的控制信息。未来的工作将探索如何同时解耦并保留必要的时变信息，以扩展至非平稳动力学环境。

总结：DADP 通过巧妙的“时间偏移”策略解决了表示纠缠问题，并通过“扩散注入”机制最大化了表示的利用效率，在零样本域自适应任务中实现了当前最先进的性能，为机器人控制领域的泛化问题提供了强有力的解决方案。