🤖 machine learning

Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets

本文提出了 V2A，这是一个用于异构跨域离线强化学习的新型框架，它通过整合时间一致的模态表示学习、模态感知优势学习和数据过滤，解决了价值错误分配这一关键问题，从而统一了价值对齐与分配以实现有效的策略迁移。

原作者： Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《在跨域离线强化学习中统一价值对齐与分配以处理异构数据集》（V2A）的解读，将其拆解为简单概念并辅以生动的类比。

宏观图景：“二手车”难题

想象一下，你想教机器人如何驾驶一辆特定的汽车（目标域）。你只有该特定汽车的极少量数据。然而，你拥有一个来自其他汽车的庞大驾驶数据图书馆（源域）。

问题在于，这些其他汽车各不相同。有些引擎不同，有些悬挂损坏，还有些是由不同的人驾驶的（有些是专家，有些是新手）。这被称为跨域离线强化学习。

如果你只是将所有数据混合在一起并试图教导机器人，它会感到困惑并失败。机器人可能会在实际上是一辆跑车时，却像开卡车一样驾驶；或者它可能会从新手司机那里学到坏习惯。

旧方法：按“引擎类型”过滤

以前的方法（如 IGDF 或 OTDF）试图通过查看引擎（即动力学）来解决这个问题。它们会问：“这辆车的操控方式与目标车相似吗？”

如果悬挂相似，它们就保留数据。
如果引擎完全不同，它们就丢弃数据。

缺陷： 这就像仅根据引擎大小来购买二手车。你可能会找到一辆引擎完美的车，但如果前任车主是个糟糕的司机，经常撞车，那么这些数据就是无用的。你需要知道司机是否优秀，而不仅仅是车是否相似。

新方法：“价值对齐”的尝试

一种名为DVDF的新方法试图解决这个问题。它同时查看了引擎（动力学）和司机的技能（价值）。它试图挑选既相似又高质量的数据。

论文的发现： 作者发现了 DVDF 中存在一个隐藏的陷阱，称为价值错配（Value Misassignment）。

类比： 想象你有一个来自三个不同国家的驾驶视频库：法国、日本和巴西。
- 在法国，“开快车”是安全且合法的。
- 在日本，“开快车”是危险且违法的。
- 在巴西，“开快车”是混乱的。
如果你只看速度表（即“价值”），而不知道视频来自哪个国家，你可能会认为日本司机是天才，因为他们开得快，或者认为法国司机鲁莽。你正在错配动作的价值，因为你没有理解背景（动力学）。
用论文的术语来说，旧方法试图给一个驾驶动作打分，却没有意识到该动作发生在一个完全不同的物理世界中。这导致机器人从那些看起来“不错”但实际上对其特定情况有害的数据中学习。

解决方案：V2A（价值对齐 + 分配）

作者提出了一种名为V2A的新系统。将 V2A 想象成一位聪明的图书管理员，它不仅按流派整理书籍，还按故事的具体背景进行分类。

V2A 按顺序做三件事：

检测“氛围”（模态表示）：
V2A 不是单独查看每一个驾驶动作，而是查看整个“行程”（轨迹）。它使用一种特殊的 AI 来弄清楚：“这段行程是来自‘断腿’机器人、‘长躯干’机器人，还是‘正常’机器人？”
- 类比： 就像在每个视频片段上贴个标签，写着“这是法国道路”或“这是日本道路”。
重新计算分数（价值分配）：
既然系统知道了数据来自哪个“世界”，它就会重新评估司机的技能。
- 类比： 它意识到：“哦，那个司机开得快，但他们在日本，那里超速是危险的。所以，这对我们的目标车来说实际上是一个差分数。”它通过给正确的背景赋予正确的分数，修正了“错配”。
挑选最佳数据（数据过滤）：
最后，它过滤数据。它只保留符合以下条件的片段：
- 来自相似的“世界”（动力学对齐）。
- 来自该特定世界中的熟练司机（价值对齐）。
- 分数正确（价值分配）。

为何重要

论文表明，当你拥有来自许多不同机器人和许多不同司机的杂乱数据混合时，旧方法会感到困惑。它们会挑选出那些对目标机器人实际上“不好”的“好”数据。

V2A 充当了翻译和质量检查员的结合体。它理解在一个环境中是“好动作”的，在另一个环境中可能是“坏动作”。通过修正评分系统，它帮助机器人比以前学得更快、更好。

结果

作者在机器人模拟中测试了这一点（例如半猎豹奔跑或跳跃器跳跃）。

他们混合了来自关节损坏和身体形状不同的机器人的数据。
他们混合了来自“专家”司机和“中等”司机的数据。
结果： V2A 始终胜过之前的最佳方法。它学会了更好地驾驶目标机器人，因为它没有被混乱的数据混合所迷惑。

总结

问题： 使用来自其他不同机器人的数据来教导机器人很难，因为在一个世界中“好”的数据在另一个世界中可能是“坏”的。
错误： 以前的工具试图匹配机器人，但忘记检查数据的“好坏”是否在新的背景下真正有意义。
修正： V2A 首先识别数据来自哪个“世界”，然后基于该世界重新对数据进行评分，最后挑选出最佳数据供学习使用。
结果： 机器人学得更快，在复杂的混合数据情境中表现更好。

技术摘要：基于异构数据集的跨域离线强化学习中价值对齐与分配的统合

1. 问题陈述

跨域离线强化学习（RL）旨在利用有限的目标数据集和 exhibiting 动力学偏移（即不同的转移动力学 $P_{src}$ 与 $P_{tar}$ ）的丰富源数据集，在目标域中学习策略。尽管近期方法试图通过基于动力学对齐（例如 IGDF、OTDF）或价值对齐（例如 DVDF）的数据过滤来解决分布外（OOD）动力学问题，但这些方法通常假设源数据集是从具有单一行为策略的单一环境中收集的。

本文解决了一个更为普遍和现实的设定：异构跨域离线强化学习。在此设定下，源数据集是从具有不同转移动力学的多个源域中聚合而成，并由多样化的行为策略收集。作者识别出该设定下一个关键且此前被忽视的问题，称为价值误分配。

价值误分配发生在单一价值函数（或优势函数）在整个异构源数据集上进行训练而未区分底层动力学模态时。这会导致：

错误的优势估计：分配给样本的优势值无法反映其相对于特定动力学子域的真实最优性。
次优的数据过滤：依赖这些误分配值的数据过滤机制被误导，选择了次优样本（例如来自特定动力学的中等质量数据），同时丢弃了最优样本。
次优性间隙的放宽：理论分析表明，价值误分配阻碍了对目标域中次优性间隙的紧确界定，从而降低了智能体的性能。

2. 方法论：V2A

为了解决价值误分配问题，作者提出了V2A（价值对齐与分配），这是一个统合动力学对齐、价值对齐和价值分配的框架。该方法分为三个主要阶段：

2.1. 时间一致模态表示学习

第一步是解耦源数据集中的不同动力学模态。

方法：作者采用期望最大化（EM）框架来学习每个轨迹的潜在表示 $z$ 。
创新：与通常逐个编码转移（导致时间不一致）的标准变分自编码器不同，V2A 使用时间一致 ELBO。它利用循环神经网络（RNN/LSTM）将整个轨迹 $\tau$ 编码为单个潜在变量 $z$ ，同时在步级解码转移。
目标：这确保了轨迹内的所有转移共享相同的动力学表示 $z$ ，从而有效地根据底层动力学对轨迹进行聚类。

2.2. 模态感知优势学习

一旦推断出动力学模态（ $z$ ），源数据集即被重新标记为 $D'_{src} = \{(s, a, r, s', z)\}$ 。

方法：作者提出了模态感知优势学习。他们不是训练标准的优势函数 $A(s, a)$ ，而是训练模态条件优势函数 $A(s, a, z)$ 。
机制：在预训练期间（使用稀疏 Q 学习方案），潜在表示 $z$ 被作为输入馈送给 $Q$ 函数和 $V$ 函数。
结果：这使得优势函数能够区分不同的动力学模态，根据特定的动力学上下文为状态 - 动作对分配正确的优势值，从而纠正价值误分配。

2.3. 统一的数据过滤与策略学习

最后阶段将这些组件整合到用于目标策略学习的数据过滤范式中。

评分函数：定义了一个新的评分函数 $f(s, a, s', z)$ 来过滤源数据：
$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$
其中 $h(\cdot)$ 衡量动力学对齐（通过对比学习或最优传输）， $A(s, a, z)$ 衡量模态感知的价值对齐。
过滤：源样本根据该评分的前 $\xi$ 分位数进行选择。
策略优化：目标策略在过滤后的源数据与有限的目标数据结合的基础上，使用隐式 Q 学习（IQL）进行训练。

3. 主要贡献

问题形式化：本文形式化了异构跨域离线强化学习设定，其中源数据来自多个域和行为策略，并识别出价值误分配是现有方法的一个根本性局限。
理论洞察：作者提供了次优性间隙的理论界限，证明了价值误分配会放宽这一界限。他们证明了分离动力学模态对于获得更紧确的界限是必要的。
算法（V2A）：他们提出了 V2A，该算法集成了：
- 通过 EM 进行的时间一致模态表示学习。
- 模态感知优势学习。
- 统一的数据过滤范式。
实证验证：在具有异构源数据集的 MuJoCo 任务（HalfCheetah、Hopper、Walker2d、Ant）上进行的广泛实验表明，V2A 显著优于强基线方法（IGDF、OTDF、DVDF、BOSA、DARA）。

4. 实验结果

性能：V2A 在基线方法上实现了显著的性能提升。例如，当基于 IGDF 构建时，与基线 IGDF 相比，V2A 将总归一化分数提高了21.4%，比 DVDF 提高了21.4%（而 DVDF 仅比 IGDF 提高了 6.8%）。在 OTDF 上也观察到了类似的增益。
消融研究：
- 时间一致 ELBO：移除轨迹级一致性（改用样本级 ELBO）导致性能下降，证实了时间一致性对于准确模态提取的必要性。
- 模态感知：学习到的优势分布的可视化显示，与 DVDF 更平坦、区分度较低的分布相比，V2A 产生了更尖锐、更独特的优势分布，表明其对样本最优性的估计更好。
- 参数敏感性：该方法对权衡系数 $\lambda$ （最优值约为 0.6）和数据选择比率 $\xi$ （最优值约为 0.5）具有鲁棒性。

5. 意义与主张

本文主张，V2A是首个有效解决异构跨域离线强化学习中固有的价值误分配问题的框架。通过统合动力学对齐、价值对齐和价值分配，V2A 使得即使在源数据是多样动力学和行为的复杂混合物的情况下，也能实现高效的策略迁移。

作者强调，虽然以往的工作专注于孤立地解决动力学或价值对齐问题（或假设源数据是同质的），但他们的工作突显了忽视源动力学的多模态性质会导致错误的价值估计，进而破坏数据过滤。所提出的方法提供了一种简单而有效的解决方案，显著弥合了理论设定与机器人及具身智能中现实、异构数据场景之间的差距。

承认的局限性：

时间一致模态表示学习需要额外的训练时间（尽管这可以预先计算）。
理论分析依赖于温和的假设（例如，最优策略邻域内凸性的二阶充分条件）。