技术摘要：鲁棒风格对齐下的高质量行为离线强化学习

问题陈述

本文旨在解决从固定离线数据集中学习风格条件策略（style-conditioned policies）的挑战，且无需进一步的环境交互。虽然离线强化学习（Offline RL）在从预录数据中学习高性能行为方面取得了进展，模仿学习（Imitation Learning, IL）也探索了多样化的行为，但在离线设置下将高任务性能与鲁棒的风格对齐结合起来仍然十分困难。作者确定了三个主要挑战：

1. 风格定义： 现有的风格定义范围广泛，从无监督的潜在聚类（难以解释/控制）到监督式的全轨迹标签（标注成本高，且对于多时间尺度的风格缺乏良好的信用分配）。
2. 状态-风格分布偏移： 离线方法受分布偏移的影响。引入风格调节会加剧这一问题，因为智能体在推理时可能会遇到在数据集中从未共同观测到的“状态-风格”配置（例如，在数据集中未曾以某种特定运动风格访问过的状态下执行该风格）。
3. 任务-风格失配： 针对任务性能（奖励）进行优化往往会与维持特定行为风格相冲突。现有方法通常需要在两者之间做出妥协或导致最优策略发生偏移，即为了性能而牺牲风格对齐。

方法论：SCIQL

作者提出了风格条件隐式 Q 学习（Style-Conditioned Implicit Q-Learning, SCIQL），这是一个将风格条件策略学习与离线强化学习技术相统一的框架。

1. 通过子轨迹标注实现的统一风格定义

不同于对全轨迹进行标注或使用无监督编码，本文采用了一种通过应用于子轨迹（状态与动作的窗口）的标注函数（$\lambda$）的**数据编程（data-programming）**方法。

• 机制： 标注函数将轨迹窗口 $\tau_{t-w:t+w}$ 映射到一个离散的风格标签 $z$。
• 优势： 这允许风格在单个轨迹内发生变化，缓解了与全回合（episode-level）标签相关的信用分配问题。它提供了可解释、低成本的风格注释（例如“快速”、“蹲伏”），而无需人工标注。
• 代理目标： 真实的风格对齐目标是非马尔可夫的。作者通过学习一个代理马尔可夫奖励 $r_D^\lambda(s, a, z) = p_{\pi_D}^\lambda(z | s, a)$ 来近似它，该奖励代表基于数据集分布，某个状态-动作对对风格 $z$ 的贡献概率。

2. SCIQL 算法

SCIQL 是针对处理风格条件目标而设计的隐式 Q 学习（IQL）的改进版本。

• 价值学习： 它使用**分位数回归（expectile regression）**来学习风格条件的价值函数 $V^\lambda(s, z)$ 和 $Q^\lambda(s, a, z)$。这使得算法能够估计导致特定风格的动作的价值，而无需在训练期间要求策略对该风格是最优的。
• 后视重标记与拼接（Hindsight Relabeling & Stitching）： 通过从数据集中采样风格标签 $z$（包括未来状态），该方法执行了后视风格重标记。这实现了轨迹拼接（trajectory stitching），即策略可以组合来自不同轨迹的部分行为，以构建连贯的风格对齐路径，从而解决分布偏移挑战。
• 策略提取： 策略通过优势加权回归（Advantage-Weighted Regression, AWR）进行提取，使策略偏向于具有高风格优势的动作。

3. 门控优势加权回归 (GAWR)

为了解决任务性能与风格对齐之间的冲突，作者引入了门控优势加权回归（Gated Advantage Weighted Regression, GAWR）。

• 机制： GAWR 使用 Sigmoid 门控结合任务优势（$A^r$）和风格优势（$A^\lambda$）：
  $$\xi(A^\lambda, A^r) = A^\lambda + \sigma(A^\lambda) \cdot A^r$$
• 逻辑： 只有当风格优势（$A^\lambda$）为正时（即该转换与目标风格一致时），任务改进信号（$A^r$）才会被激活。这确保了任务优化不会降低风格对齐度，有效地近似了向风格最优策略集合的投影。

核心贡献

1. 通用定义： 提供了一种全新的视角，将风格化策略学习视为目标条件强化学习（Goal-Conditioned RL, GCRL）的一种泛化，并通过子轨迹标注函数实现，以确保可解释性并缓解信用分配问题。
2. SCIQL 算法： 一种利用后视重标记和价值学习来实现鲁棒风格对齐的离线强化学习算法，能够在不相交的状态-风格配置之间实现轨迹拼接。
3. GAWR 机制： 一种门控回归技术，能够同时优化任务性能和风格对齐，而无需显式的约束阈值或对偶变量。
4. 实验验证： 通过多样化的环境实验证明了其优于最先进基准方法的性能。

实验结果

作者在多种环境中评估了 SCIQL：Circle2d（画圆）、HalfCheetah（足式运动）和 HumEnv（人体控制）。

• 风格对齐： SCIQL 在实现目标风格标签方面显著优于基准方法（包括 Behavior Cloning, Conditioned BC, BCPMI 和 SORL）。例如，在 halfcheetah-vary-v0 上，SCIQL 实现了 78.9% 的风格对齐，而次优方法 BCPMI 仅为 ~52%。
• 任务性能： 通过使用 GAWR，SCIQL 在保持高风格对齐的同时，提升了任务性能（例如 HalfCheetah 的前向速度）。
• 帕累托效率（Pareto Efficiency）： 与 SORL 相比，该方法在风格对齐与任务性能的权衡空间中实现了更大的超体积（Hypervolume, HV）。在不同数据集上，SCIQL 变体将帕累托前沿向理论理想点（100% 风格，100% 任务）移动了 41% 到 163%。

意义与主张

本文声称 SCIQL 提供了一个统一且实用的框架，用于学习高质量的风格条件行为。其重要性在于：

• 鲁棒性： 成功处理了分布偏移以及风格对齐中对长期决策的需求（轨迹拼接），而这些是以往方法难以解决的问题。
• 高效性： 在无需在线环境交互或复杂约束调优的情况下，实现了风格和任务目标的高性能。
• 可解释性： 通过标注函数提供了一种清晰、可编程的方式来定义和衡量风格，避免了无监督风格表示的“黑盒”性质。

作者总结道，他们的方法有效地弥合了模仿学习（风格忠实度）与强化学习（任务优化）之间的鸿沟，使训练出的智能体既具备强大的能力，又具备风格一致性。