技术摘要：结合约束采样与强化学习的机器人操控技术

问题陈述

在接触密集型环境中训练非抓取式（non-prehensile）操控策略仍然是机器人领域的一个核心挑战。虽然强化学习（RL）在处理具有隐含不连续性的接触密集动力学方面表现出优势，但它难以应对严重的探索问题。相关的交互模式往往需要先达到稀有的接触状态，才能获得具有信息量的奖励。

一个关键的瓶瓶颈在于重置分布和目标分布（$p(s_0)$ 和 $p(g)$）的设计。现有的策略通常依赖于启发式方法、随机场景生成或特定任务的采样器（例如，针对抓取的采样器）。这些方法无法提供一种通用的机制来指定非抓取式任务所需的各种接触配置，例如在平衡物体时，其状态空间受复杂的接触动力学和互补结构约束。

方法论

作者提出了 CSRL（结合约束采样与强化学习），这是一个将物理感知的状态采样器与目标条件强化学习相结合的框架。该方法由三个主要部分组成：

1. 约束状态采样器

不同于标准的物理模拟器进行前向动力学采样，该采样器通过求解一个非线性约束问题来生成有效的起始状态和目标状态。它显式地对接触结构进行建模，以确保接触模式的多样性覆盖。

• 公式化： 采样器使用刚体动力学、碰撞约束和接触力约束（库伦摩擦锥）定义了一个约束空间 $S_c$。它假设目标可以保持在准静态平衡状态。
• 变量： 决策变量包括离散接触模式（$c_{ij} \in \{0, 1\}$）、连续状态变量（$s$），以及作用点和有效接触的线性力。
• 采样策略： 采用层次化方法。首先采样接触模式配置（例如，选择 1、2 或 3 个支撑接触点）。然后，使用增广拉格朗日法求解一个近端优化问题，将随机的框约束样本 $\bar{s}$ 投影到可行流形 $S_c$ 上。该过程重复进行，直到生成一个可行状态数据集 $D$。

2. 重置与课程策略

为了解决高维空间中随机起始和目标可能过于遥远的探索挑战，CSRL 采用了两种额外的策略：

• 投影插值： 系统不是重置到随机状态，而是从约束数据集 $D$ 中采样起始状态 $a$ 和目标状态 $g$。它在嵌入状态空间 $\phi$ 中计算两者之间的凸插值，然后将该插值点投影回约束流形 $S_c$（通过在 $D$ 中寻找最近邻来实现）。这确保了中间状态在物理上仍然有效。
• 课程学习： 使用阶段变量 $\alpha$ 进行调度，其值从接近 0 增加到 1。初始阶段，插值使用 $t \sim U[0, \alpha]$，使智能体重置在更靠近目标的位置。MDP 截断时间也随 $\alpha$ 进行缩放，允许智能体在处理更长、更复杂的轨迹之前，先在目标附近收集较短的展开过程（rollouts）。

3. 与 RL 的集成

约束采样器为目标条件 MDP 提供分布 $p_0$。RL 智能体（默认使用 TD7，并评估了 TD3 和 HER 变体）学习一个通用策略 $\pi: s, g \mapsto a$，用以连接任何起始状态到分布内的任何目标状态。

核心贡献

1. 新型约束状态采样器： 一种生成用于接触密集型操控的重置和目标分布的方法，该方法显式考虑了接触结构，在不依赖特定交互原语的情况下，提供了多样化接触模式的丰富覆盖。
2. 投影插值与课程学习： 一种利用约束投影插值来弥合采样状态之间差距的策略，并通过逐渐增加任务难度的课程学习来缓解稀疏奖励带来的挑战。
3. 实验验证： 证明了该方法在四个难度递增的领域中，其表现优于使用随机重置的标准 RL 以及其他重置方法。

实验结果

作者在四个领域对 CSRL 进行了评估：

1. 双球体（Double-sphere）： 测试在准静态状态之间进行通用操控的基础测试。
2. Panda-sphere： 测试使用 Panda 机械臂的全身接触技能。
3. 球-立方体（Sphere-cube）： 测试旋转和方向控制，包括在边缘/角部上的平衡。
4. Panda-cube： 测试通过末端执行器和手指接触来控制立方体。

主要发现：

• 约束采样的优越性： 在双球体和 Panda-sphere 领域，使用约束采样生成起始和目标状态显著优于随机采样。随机采样在 Panda-sphere 任务中表现尤为糟糕，未能生成有效的静态保持状态。
• 插值与课程学习的影响： 在所有领域和 RL 算法（包括 HER 变体）中，加入投影插值和课程学习进一步提高了成功率和收敛速度。
• 与逆向课程（Reverse Curriculum）的比较： 所提出的插值策略在计算效率和成功率方面均优于逆向课程生成（即从目标向后模拟的过程）。
• 现实世界迁移： 在模拟中训练的球-立方体策略成功迁移到了现实世界的设置中（使用带有末端执行器连接的球和 OptiTrack 追踪系统），展示了基础操控技能的实机迁移潜力。

意义与主张

本文声称，通过将基于物理的动力学采样与基于物理信息的约束状态采样器相结合，可以在接触密集型设置中训练通用的、非抓取式的、动态的操控策略。该方法通过确保智能体从一开始就接触到多样且物理有效的接触配置，有效地解决了强化学习中的探索瓶颈。

作者认为这项工作是迈向通用非抓取式操控的一步。他们指出，虽然目前的方法针对的是“特权训练”（即策略拥有完整的状态访问权限），但它为未来的教师-学生范式奠定了基础。论文承认了由于使用单 CPU 非线性优化求解器而导致的复杂物体计算成本问题，以及传感器感知迁移的挑战，并建议未来在并行化和专用求解器方面开展工作。