💻 computer science

Simultaneous Contact Selection and Planning for Contact-Rich Manipulation with Cascaded Optimization

本文提出了同步接触选择与规划（SCSP），这是一个级联优化框架，通过结合基于代理模型的全局搜索以获取最优接触序列与实时轨迹生成，克服了富接触操作中主动接触位置选择的挑战，从而在仿真和真实世界实验中实现了鲁棒且多样的操作行为。

原作者： Zhe Zhang, Xingrong Diao, Haoxiang Liang, Han Yang, Bi-Ke Zhu, Dandan Zhang, Jiankun Wang

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhe Zhang, Xingrong Diao, Haoxiang Liang, Han Yang, Bi-Ke Zhu, Dandan Zhang, Jiankun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一件沉重且形状奇特的家具（比如一张摇晃的沙发或一个形状怪异的雕塑）穿过房间。你无法直接将其抱起；你必须推、滑，甚至可能需要翻转它。问题在于，这件家具表面光滑、沉重，且没有把手。如果你推错了位置，它可能只是在原地打转，或者从桌子上滑落。

这正是机器人在尝试操作“接触丰富”的物体时所面临的挑战——这些物体需要被推、滑或翻转，而不仅仅是用夹爪抓取。

这篇论文介绍了一种名为SCSP（同时接触选择与规划）的新型机器人“大脑”。可以将 SCSP 想象为一个两步思考过程，帮助机器人确定在哪里推以及如何推，同时应对混乱且不可预测的现实世界。

以下是其工作原理的简化分解：

问题：“猜谜游戏”

旧有的机器人方法就像是一个蒙着眼睛的人试图移动那件家具。他们会尝试去推，但如果从错误的位置开始，就会陷入“局部最优解”的困境。

类比：想象你试图把一辆车推上山坡。如果你从侧面开始推，车轮只会空转。你需要绕到车后。旧式机器人常常被困在从侧面推的状态，因为它们无法“看到”先移动到车后是更好的选择。它们缺乏主动选择接触物体最佳位置的能力。

解决方案：两步式大脑（SCSP）

作者设计了 SCSP，将思考过程分为两个截然不同的层级，就像一位将军和一位前线指挥官。

第一步：将军（接触选择优化 - CSO）

在机器人移动任何肌肉之前，“将军”会观察物体并问道：“为了将这个东西移动到目标位置，绝对最佳的推压点在哪里？”

挑战：物体形状复杂。有成千上万个可能的接触点。检查每一个点太慢了。此外，推压的物理特性是“崎岖不平”的（从数学上讲，它们是“非平滑”的），这使得计算最佳路径变得困难。
技巧：“将军”使用一种代理接触模型。想象一下，与其模拟现实世界中沉重复杂的物理现象，机器人使用一个简化的“卡通版”物理模型。这就像用粗略的草图来规划路线，而不是画出每一棵树和每一块岩石。
方法：它在物体表面采样点（就像在地图上放置点），并利用这个简化模型快速测试这些点。它能非常迅速地找到“黄金点”（最佳接触位置）。
结果：它不仅仅是挑选一个点，而是从全局角度挑选最佳点，从而避免陷入“局部最优解”的陷阱。

第二步：前线指挥官（接触规划优化 - CPO）

一旦“将军”下令“推这里！”，“前线指挥官”就会接手。它的任务是弄清楚机器人的手如何到达那个位置，然后执行推压动作。

挑战：有时，“将军”挑选的“黄金点”在理论上很完美，但在现实中，机器人的手臂可能会被阻挡，或者物体可能因为晃动而发生了轻微移动。如果机器人盲目地执行“将军”的命令，可能会发生碰撞。
技巧：指挥官使用一种排名策略。它会查看“将军”的建议，但同时也会检查当前离机器人最近的点。
- 类比：想象 GPS 指示你走特定的高速公路出口。但在你行驶过程中，你看到了交通堵塞。智能的 GPS 不会只说“继续前行！”它会检查该出口是否仍然是最佳选择，或者你是否应该直接选择下一个可用的出口，以便足够接近目的地。
执行：指挥官决定：“将军指定的点仍然有效吗？是的？好的，我们去那里。不？我们正前方的点足够好吗？是的？好的，那我们改推那里。”这种灵活性使机器人能够在不碰撞的情况下实时适应变化。

为什么这很重要

论文声称，该系统在以下三个方面取得了重大飞跃：

它是“纯视觉”的：大多数先进的机器人需要昂贵的动作捕捉相机（如电影工作室中使用的那种）来确切知道物体的位置。SCSP 仅使用标准相机（如手机或笔记本电脑上的相机）即可工作。它能够处理混乱的现实世界光照和不完美的视觉信息。
它能处理奇怪的形状：无论物体是完美的立方体还是形状怪异的玩具鸭，都无关紧要。“采样”方法使其能够弄清楚如何推压几乎任何形状。
它具有鲁棒性：即使机器人内部关于物体重量（摩擦力、质量）的数学计算略有偏差，该系统仍能继续工作。当情况变得混乱时，它不会崩溃。

现实世界的验证

作者在真实的机械臂（Franka Panda）上测试了该系统，使用了 3D 打印的物体，如兔子、手和 Xbox 控制器。

测试：他们尝试将这些物体翻转并在桌子上旋转。
结果：其他方法（如那些仅靠猜测或使用简单规则的方法）经常失败，导致物体掉落或卡住。SCSP 成功翻转并旋转了这些复杂物体，即使表面光滑或粗糙。

总结

简而言之，SCSP是一个将“在哪里”与“如何做”分离的机器人大脑。

“在哪里”（将军）利用简化的物理模型快速扫描物体，找到最佳推压点。
“如何做”（指挥官）规划到达该点的路径，并且足够智能，如果现实世界与理论不完全匹配，能够更改计划。

这使得机器人能够自主执行复杂的灵巧任务——如翻转瓶子或滑动盒子——而无需人类告诉它们确切应该接触哪里。

技术摘要：基于级联优化的接触丰富操作中的同步接触选择与规划

1. 问题陈述

接触丰富的操作要求机器人有意地与物体建立和断开接触，以将其驱动至期望状态。这涉及规划一系列接近轨迹、接触位置、接触力以及接触模式（接触、分离、滑动、粘附）之间的转换。

现有方法面临显著局限：

分层与混合整数方法： 早期工作将连续状态规划与离散接触模式搜索分离，或使用混合整数规划。由于接触轨迹的组合爆炸，这些方法通常可扩展性差，限制了操作策略和鲁棒性。
基于学习的方法： 虽然能够通过离线强化学习（RL）处理非平滑动力学，但它们往往难以在多样化的物体类型和新任务设置中实现泛化。
接触隐式模型预测控制（CIMPC）： 近期的基于模型的方法（如 CIMPC）实现了在线混合规划。然而，它们通常缺乏主动接触选择。它们依赖手工设计的代价函数或给定的参考轨迹，将操作限制在狭窄的行为分布中。这使得它们容易陷入局部最优，特别是在机器人初始猜测较差或面对具有复杂几何形状的物体时。此外，接触动力学中固有的互补性引入了非平滑性和稀疏梯度，使得接触选择与规划的统一设计变得困难。

核心挑战在于缺乏一个统一的框架，能够在实时条件下自主推理并生成多样化的接触位置序列和操作轨迹，特别是在动力学不准确和感知噪声存在的情况下。

2. 方法论：SCSP 框架

作者提出了同步接触选择与规划（SCSP），这是一种新颖的级联优化框架，包含两个模块：接触选择优化（CSO）和接触规划优化（CPO）。

A. 接触选择优化（CSO）

CSO 旨在对物体表面上的最优接触位置进行全局搜索，解决混合规划中固有的梯度稀疏和非平滑性问题。

采样与交换离散化： 为处理物体几何形状的非平滑性，CSO 在物体表面上采样候选接触点。
- 近似凸分解（ACD）： 将物体几何形状分解为凸多边形，以减轻局部细节的干扰并提高可达性/稳定性。
- 最远点采样（FPS）： 在凸近似面上均匀采样点。
- 有效区域选择： 通过在线过程过滤掉不可达、被遮挡或语义上不合适的区域，形成有效的候选集。
代理接触模型（SCM）： 为了解决原始接触动力学的计算复杂性和互补性约束，作者引入了 SCM。
- 假设： 该模型假设在短时间间隔内接触集固定，并将多接触交互解耦为独立的弹簧 - 阻尼系统。
- 公式化： 这使得环境接触力可以表示为机器人接触力的显式分段线性函数。
- 优化： 问题被重构为**混合整数二次规划（MIQP）**问题。内层循环（接触力优化）是一个可在亚毫秒级时间内求解的二次规划（QP），而外层循环（接触位置选择）则被高效求解。
目标： CSO 的目标优先达成一组静态稳定位姿（ $X_g$ ），然后再最小化最终位姿误差，从而防止生成不稳定的接触先验。

B. 接触规划优化（CPO）

CPO 将 CSO 预测的最优接触位置作为参考，在线生成可执行的接近和接触轨迹。

排序策略： 为了增强鲁棒性，CPO 不盲目遵循 CSO 的输出。它将当前机器人构型的最邻近点（ $p_{near}$ $p_{n e a r}$ ）与 CSO 预测的最优点（ $\hat{p}^*_r$ $\overset{p}{^}_{r}^{*}$ ）进行评估比较。
- 计算改进比率（ $\rho$ ）以确定 $p_{near}$ 是否是一个足够好的次优参考。
- 采用滑动窗口策略控制 $\hat{p}^*_r$ 和 $p_{near}$ 之间的切换，以避免频繁且不稳定的接触变化。
先验引导的混合规划： 轨迹优化在一个统一的目标下分解为三个阶段：
- 提升阶段： 利用排斥势和吸引势，引导末端执行器远离物体并朝向目标接触位置上方的中间航点移动。
- 放置阶段： 驱动末端执行器到达参考接触位置（ $p_{ref}$ ）以建立接触。
- 切换： 阶段之间的转换由排序触发变量 $\gamma$ 控制。
求解器： 该框架支持不同的求解器，包括用于点接触规划的操作空间控制（OSC），以及用于全序冗余机器人规划的基于采样的 MPC（如 MPPI）。

3. 主要贡献

级联优化框架： 一种新颖的 SCSP 框架，将主动接触选择（CSO）与接触规划（CPO）集成，实现了多样化的操作策略，并在模型不准确的情况下具备鲁棒性。
高效的接触选择算法： 一种利用网格采样和代理接触模型将非平滑接触选择转化为离散 - 连续问题的方法，将问题简化为可处理的 MIQP，以实现快速全局搜索。
先验引导的接触规划： 一种利用排序策略评估接触先验，并采用统一目标进行混合规划（接近、接触、切换）的公式化方法，适用于各种机器人构型。
实验验证： 广泛的仿真和真实世界实验表明，SCSP 是首个仅利用视觉感知（无需标记或动作捕捉）即可在真实世界中实现对任意复杂几何物体进行 6D 非抓取操作的基于模型的方法。

4. 实验结果

该框架在指尖和 Franka Emika Panda 机器人上针对非抓取操作任务（地面旋转和翻转）进行了验证。

仿真：
- 成功率： 与 I-MPC、CF-MPC 和采样方法等基线相比，SCSP 取得了显著更高的成功率（例如，指尖旋转为 97%，机器人旋转为 95%）。
- 鲁棒性： 在大多数场景中，它优于基于学习的方法（DyWA），特别是在处理复杂几何形状和避免局部极小值方面。
- 消融实验： 移除排序策略（w/o RS）导致成功率显著下降，证实了评估接触先验的必要性。
真实世界：
- SCSP 成功利用单目相机（FoundationPose）进行状态估计，在光滑和粗糙表面上操作了不规则物体（鸭子、兔子、手、Xbox 控制器）。
- 尽管动力学不准确（质量和摩擦估计粗糙）且存在感知噪声，它仍保持了高成功率（旋转任务高达 100%）。
- 基线方法（DyWA、采样）由于接触打滑、接触选择不稳定或无法适应执行误差而频繁失败。
泛化性： 该框架成功扩展到了多接触任务（足球运球、倾斜推动）和长视野任务（打开抽屉、微波炉门），展示了其进行在线物理推理的能力。

5. 意义与主张

本文主张，SCSP 通过实现主动接触选择，克服了现有接触隐式方法的理论局限性。虽然近期的强化学习方法已显示出成功，但 SCSP 旨在使多样化和鲁棒的接触规划更加可解释。

作者强调，世界模型（CSO）的准确性不如其与规划器的接口方式重要。CPO 中的排序策略允许系统利用次优但可行的接触位置，从而减轻 CSO 中模型误差引起的不稳定性。这表明，一个用于同步接触选择与规划的统一框架是可行且有效的，适用于复杂的真实世界操作任务，而无需依赖精确的感知或预定义的接触序列。

该工作将 SCSP 定位为一种通用框架，能够处理任意复杂的物体几何形状、多样化的机器人构型以及各种接触丰富的任务，弥合了基于模型的高效性与复杂操作所需的适应性之间的差距。