🤖 machine learning

Bridging Domain Gaps with Target-Aligned Generation for Offline Reinforcement Learning

本文提出了目标对齐覆盖扩展（TCE）框架，该框架利用基于双重分数的生成模型来合成与目标一致的转移并扩展状态覆盖，从而在目标数据稀缺时有效弥合跨域离线强化学习中的领域差距。

原作者： Minung Kim, Jeongmo Kim, Gwanwoo Choi, Seungyul Han

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Minung Kim, Jeongmo Kim, Gwanwoo Choi, Seungyul Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比，对论文《通过目标对齐生成弥合离线强化学习中的领域差距》的解释。

宏观视角：不试错也能学习

想象一下，你正在教一个机器人走路。通常，你会让机器人在现实世界中练习，摔倒、爬起，并从错误中学习。这就是“在线”学习。

但在现实世界中，机器人很昂贵，摔倒可能会损坏它们。因此，研究人员使用离线强化学习。他们不让机器人亲自练习，而是给它一个巨大的视频库（数据），这些视频是由过去的其他机器人录制的。机器人必须仅通过观看这些视频来学习，而无需移动分毫。

问题所在：“外语”般的差距

这篇论文解决了一个特定问题，称为跨领域离线强化学习。

想象你有一个巨大的视频库，展示了机器人 A（一只沉重的四足机器狗）在地球上行走。你想教机器人 B（一只微小的三足机器蜘蛛）在月球上行走。

源数据：地球机器狗的视频（数据量巨大）。
目标任务：月球机器蜘蛛的任务（视频极少，可能只有几秒钟）。

问题在于物理环境完全不同。机器狗在地球重力下行走；机器蜘蛛需要在低重力下跳跃。如果你只是把机器狗的视频喂给机器人，它会感到困惑。这就像试图通过只看别人骑自行车的视频来学习开车。动作不匹配，机器人会失败。

旧方法 vs. 新方法

旧方法（朴素混合）：
以前的方法试图通过简单地从机器狗库中挑选“最相似”的视频，并将它们添加到机器蜘蛛的微小库中来解决这个问题。

缺陷：论文表明，如果机器狗和机器蜘蛛之间的差异太大，即使添加“最好”的机器狗视频，实际上也会让机器蜘蛛更加困惑。这就像给一个正在学法语的学生几德语句子；这只会把水搅浑。

新方法（TCE - 目标对齐覆盖扩展）：
作者提出了一种名为TCE的新方法。把 TCE 想象成一个智能翻译器和模拟器。

TCE 不只是复制机器狗的视频，它做两件事：

挑选正确的视频：它只抓取那些看起来与机器蜘蛛所需动作非常相似的机器狗视频。
生成新视频：对于机器蜘蛛需要移动但机器狗没有涉及的部分，TCE 使用一种特殊的 AI（基于分数的生成模型）来想象机器蜘蛛会做什么。

TCE 的工作原理（比喻）

想象你是一位厨师，试图做一道复杂的菜（目标任务），但你只有很少的食谱（目标数据）。你有一个来自不同菜系的巨大食谱库（源数据）。

第一步：过滤。你不会把整个食谱库都倒进锅里。你使用一个筛子（“最近邻”过滤器）只保留那些安全可用的食材。
第二步：想象。你意识到缺少了一些关键步骤。与其胡乱猜测，你使用一个“烹饪 AI"，它基于你确实拥有的那几步进行训练。这个 AI 查看你拥有的食材，并想象烹饪过程中的下一个完美步骤，确保它符合你特定菜肴的风味。
第三步：扩展。现在，你有了原本微小的食谱，加上过滤后安全的食材，再加上完美契合的 AI 生成的步骤。你拥有了一个完整、安全的食谱供学习使用。

“两阶段”的秘诀

论文强调了他们在生成这些新视频时的一个巧妙技巧。

第一阶段：AI 想象一个新的状态（例如，“蜘蛛在这里”）。
第二阶段：基于该状态，AI 想象下一个状态（例如，“蜘蛛跳到这里”）。

为什么要分两步走？因为如果你试图基于有限的数据一次性猜测整个跳跃动作，AI 可能会产生幻觉（编造出不可能的物理现象）。通过将其分解，AI 能保持基于现实，确保生成的动作对蜘蛛来说是物理上可行的。

结果

作者在许多不同的机器人模拟中测试了这种方法（例如改变机器人的身体形状或重力）。

结果：TCE 始终胜过所有其他方法。
关键洞察：当源（机器狗）和目标（机器蜘蛛）之间的差距巨大时，生成新的、对齐的数据比试图强行让旧数据适应要有效得多。当差距较小时，混合一些旧数据会有所帮助。TCE 足够聪明，知道该使用哪种策略。

总结

TCE 是一个框架，帮助机器人从旧数据中学习新任务而不致困惑。它像一座桥梁：过滤掉旧数据中令人困惑的部分，并利用 AI“构想”出新的、逼真的练习场景，这些场景完美契合新机器人。这使得机器人即使在起步数据非常少的情况下，也能有效地学习。

技术摘要：利用目标对齐生成弥合离线强化学习中的域间差距

问题陈述

跨域离线强化学习（RL）旨在仅利用预收集的数据集，将策略从源域迁移到目标域，而无需任何在线交互。这种设置对于异构机器人控制和仿真到现实的迁移等应用至关重要，因为在这些场景中，在线数据收集成本过高或存在安全隐患。

该领域的一个主要挑战是源域与目标域之间的分布不匹配，特别是在目标数据集极其有限（ $|D_{tar}| \ll |D_{src}|$ ）的情况下。现有方法通常试图通过过滤源数据来寻找与目标分布“接近”的转移，以弥合这一差距。然而，作者证明，当动态差距较大时，直接引入即使是“最近邻”的源转移也会引发显著的分布不匹配，导致性能低于仅使用目标数据进行训练。相反，仅依赖有限的目标数据往往无法提供足够的状态覆盖以进行有效的策略学习。

方法论：目标对齐覆盖扩展（TCE）

为了平衡利用源数据与避免分布不匹配之间的权衡，作者提出了目标对齐覆盖扩展（TCE）。TCE 是一个在理论上指导如何利用源数据的框架：要么直接引入接近目标的转移，要么利用源数据通过目标对齐生成来扩展状态覆盖。

理论基础

该方法基于对目标马尔可夫决策过程（MDP）与混合 MDP（结合源动态和目标动态）之间性能差距的理论分析。作者推导出了一个界（定理 4.1），表明性能差距由两个分量决定：

动态差距：源转移动态（ $P_{src}$ ）与目标动态（ $P_{tar}$ ）之间的总变差距离。
生成误差：生成的近似目标转移（ $\hat{P}_{tar}$ ）与真实目标动态之间的距离。

TCE 通过调整两个系数来控制这两个误差源：

$\lambda_{mix}$ ：控制直接引入的源数据比例（最小化生成误差，但可能增加动态差距）。
$\lambda_{cov}$ ：控制通过生成进行状态覆盖扩展的程度（最小化动态差距，但可能增加生成误差）。

算法框架

TCE 采用基于随机微分方程（SDE）的双重基于分数的生成模型，以合成与目标动态一致但覆盖扩展状态空间的转移。

双重分数网络：
- 混合状态分数网络（ $q^{mix}_\theta$ ）：在目标状态与“接近”目标的源状态（通过最近邻准则选择）的可控混合上进行训练。该网络对扩展后的状态分布进行建模。
- 目标转移分数网络（ $q^{tran}_\theta$ ）：仅基于目标转移进行训练。它根据当前状态生成下一个状态，确保转移动态与目标域对齐。
两阶段采样过程：
- 阶段 1（状态采样）：利用由 $q^{mix}_\theta$ 引导的逆向 SDE，从混合状态分布中采样状态 $\hat{s}_t$ 。
- 阶段 2（转移采样）：利用由 $q^{tran}_\theta$ 引导的逆向 SDE，基于 $\hat{s}_t$ 生成下一个状态 $\hat{s}_{t+1}$ 。
- 辅助模型：使用在目标数据上训练的反向动力学模型和在两个域上训练的奖励模型来恢复动作 $\hat{a}_t$ 和奖励 $\hat{r}_t$ ，从而完成转移元组。
策略学习：
最终训练数据集（ $D_{train}$ ）通过组合目标数据集（ $D_{tar}$ ）、生成的目标对齐转移（ $D^{gen}_{\lambda_{cov}}$ ）以及可选的过滤后的源转移子集（ $D^{src}_{\lambda_{mix}}$ ）构建而成。离线 RL 算法（隐式 Q 学习，IQL）在此增强数据集上进行训练，并包含一个 KL 正则化项，以惩罚对目标行为策略的偏离。

主要贡献

目标对齐覆盖扩展（TCE）：一种超越简单源数据过滤的新颖框架。它根据域间差距的大小，明确决定是直接使用源数据，还是利用其生成与目标一致的转移。
理论分析：将跨域性能差距形式化分解为动态不匹配和生成误差，为平衡数据混合与生成提供了理论依据。
双重基于分数的架构：一种两阶段生成方法，将状态覆盖扩展与转移建模解耦。这种设计防止了对有限目标数据的过拟合，这是在低数据条件下直接学习状态 - 动作 - 下一状态映射时常见的失败模式。
实证验证：广泛的实验表明，TCE 在各种跨域设置中始终优于最先进的基线方法。

实验结果

作者在 MuJoCo 连续控制任务（HalfCheetah、Hopper、Walker2d、Ant）和 Adroit 灵巧操作任务上评估了 TCE，涵盖了形态、运动学和重力偏移。

性能：TCE 在 MuJoCo 的 36 个形态偏移任务中，有 33 个 实现了最高的平均性能，并在 Adroit 任务上超越了所有基线方法。
对大差距的鲁棒性：在动态差距较大的场景（例如显著的形态变化或极端重力偏移）中，变体 TCE(OG)（仅使用生成转移， $\lambda_{mix}=0$ ）显著优于直接混合源数据的方法。这证实了在差距较大时，天真的源数据引入可能是有害的。
小差距：在较温和的设置中（例如重力偏移），变体 TCE(SM)（引入源数据， $\lambda_{mix} > 0$ ）表现出更优越的性能，验证了该框架的适应性。
消融研究：
- 覆盖系数（ $\lambda_{cov}$ ）：性能遵循权衡曲线；过于激进的覆盖扩展会增加生成误差并降低性能。研究发现中等值（例如 0.2）为最优。
- 两阶段设计：解耦的两阶段设计被证明至关重要。直接根据状态 - 动作对估计下一状态的“单阶段”基线，由于在有限目标数据上过拟合，导致误差显著更高且性能更低。

意义与主张

本文主张 TCE 为跨域离线 RL 提供了一种简单且实用的解决方案，特别是在在线交互不可能且对安全敏感或成本敏感的领域。通过在理论上为混合或生成数据的决策奠定基础，TCE 缓解了困扰现有方法的分布不匹配问题。

作者强调，他们的方法并非万能灵药；它假设共享状态和动作空间，并依赖目标数据集（无论多小）来指导生成。他们承认在源域和目标域支持极少重叠的极端不匹配场景中存在局限性。尽管如此，结果表明，当域间差距较大时，目标对齐生成比直接数据混合是更稳健的策略，能够在目标数据有限的情况下实现有效的策略学习。