🤖 machine learning

Flow with the Force Field: Learning 3D Compliant Flow Matching Policies from Force and Demonstration-Guided Simulation Data

该论文提出了一种结合单个人类演示与力感知模拟数据生成框架的视觉运动策略学习方法，通过引入合规性控制有效解决了接触丰富任务中的 Sim2Real 差距问题，并在真实机器人上实现了可靠的接触保持与条件适应能力。

原作者： Tianyu Li, Yihan Li, Zizhe Zhang, Nadia Figueroa

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianyu Li, Yihan Li, Zizhe Zhang, Nadia Figueroa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个让机器人变得更“聪明”、更“温柔”的故事。想象一下，你教一个刚学走路的孩子去翻一块积木，或者两个人一起搬一个大箱子。如果机器人太僵硬，它可能会把积木推飞，或者因为用力过猛把箱子摔坏；如果它太软弱，又可能根本推不动。

这篇论文的核心就是：如何只用一次“模拟演示”，就教会机器人既有力气又懂得“见机行事”（顺应环境），并且能直接应用到真实的世界上。

我们可以把这个过程拆解成三个有趣的步骤：

1. 第一步：在“虚拟世界”里玩“橡皮泥” (数据生成)

通常，教机器人做精细动作（比如翻积木）需要人类在真机器人身上做几百次演示，既累又慢。

作者的做法很巧妙：

只录一次： 他们在电脑模拟的虚拟世界里，让人类操作机械臂做了一次“翻积木”的动作。
玩“橡皮泥”： 他们发明了一种方法，像捏橡皮泥一样，把这一条动作轨迹“拉伸”、“扭曲”和“变形”。
- 如果虚拟环境里的积木位置变了，或者摩擦力变了，他们就用数学方法（拉普拉斯编辑）自动调整动作，让机器人依然能碰到积木。
- 关键点： 他们给机器人加了一个“力觉雷达”。在模拟中，他们告诉机器人：“当你碰到东西时，不要硬顶，要像弹簧一样顺势而为。”他们生成了成千上万种这种“带力觉”的虚拟数据。

比喻： 就像你只教了一次孩子怎么切苹果，然后你告诉孩子：“如果苹果是圆的，手要转一下；如果苹果是扁的，手要压一下。”通过这种“思维实验”，孩子脑子里就有了无数种切苹果的方法，而不用真的切一千个苹果。

2. 第二步：给机器人装上“直觉大脑” (策略学习)

有了这些虚拟数据，他们训练了一个基于流匹配（Flow Matching） 的 AI 模型。

输入： 机器人不仅看（通过 3D 点云摄像头看形状），还能“感觉”（通过力传感器感受阻力）。
输出： 机器人不仅决定“手往哪移”，还决定“手要有多硬”（阻抗参数）。
流匹配是什么？ 想象一下水流。传统的 AI 像是一个个离散的步骤，而“流匹配”像是一条平滑的河流，它能非常快速、流畅地计算出从“当前状态”到“目标状态”的最佳路径。这让机器人反应极快，能处理高速的接触任务。

比喻： 以前的机器人像是一个拿着尺子的木匠，必须精确量好每一毫米，碰到阻力就卡住。现在的机器人像是一个太极高手，它看着对手（物体）的力道，顺势借力打力，既精准又灵活。

3. 第三步：穿上“减震鞋”上真战场 (真实部署)

这是最精彩的部分。很多机器人从模拟世界到真实世界（Sim2Real）会“水土不服”，因为真实世界有摩擦、有误差。

作者设计了一个被动阻抗控制器作为“减震鞋”：

传统做法： 机器人死板地执行“走到坐标 X"。如果坐标 X 被挡住了，机器人就会拼命用力推，直到把东西推倒或把自己弄坏。
作者的做法： 机器人执行的是“往那个方向走，速度是 Y"。如果前面有阻力（比如碰到了桌子），它不会硬顶，而是像弹簧一样自动减速、变软，顺着阻力调整方向。
结果： 这种“软着陆”的方式，不仅保护了机器人和物体，还让成功率大大提高，而且消耗的能量更少。

比喻：

传统机器人像是一个穿着铁靴子的人，走路必须踩在指定的点上，遇到石头就硬踩过去，容易崴脚或把石头踢飞。
这篇论文的机器人像是一个穿着气垫鞋的舞者，遇到障碍物时，脚会自动缓冲、调整步伐，优雅地绕过去，既稳又省力。

总结：为什么这很厉害？

省钱省力： 不需要在真实机器人上收集成千上万次数据，只需要在电脑里模拟一次，就能生成海量数据。
零样本迁移（Zero-shot）： 训练好的机器人，直接拿到真机器人上就能用，甚至能处理训练时没见过的物体大小或位置（比如训练用方块，测试用圆柱体也能行）。
又软又硬： 它既有完成任务的“硬”目标（把积木翻过来），又有应对意外的“软”手段（碰到东西就变软）。

一句话总结：
这篇论文教机器人学会了"听劝"。它不再是一个只会死板执行命令的机器，而是一个懂得观察环境、感受阻力、顺势而为的灵巧工匠。这让机器人从“只会走直线”进化到了“能在复杂环境中跳舞”的新阶段。

1. 研究背景与问题 (Problem)

核心挑战：尽管视觉运动策略（Visuomotor Policies）在机器人操作中取得了进展，但在**富含接触（Contact-rich）**的任务中仍面临巨大挑战。这类任务需要精确的运动控制与顺应性力调节之间的微妙平衡。
现有局限：
- 大多数现有的视觉策略忽略顺应性（Compliance），仅关注位置精度，导致在不确定条件下接触力过大或行为脆弱。
- 引入力反馈虽然能提升表现，但通常需要大量真实世界的人机交互演示数据，数据收集成本高昂。
- 利用仿真生成数据（Sim2Real）是解决数据稀缺的常用手段，但传统方法生成的仿真数据往往难以消除 Sim2Real 差距，且计算成本高。
- 现有的顺应性策略（如基于扩散模型或强化学习的方法）通常依赖数百次真实演示或复杂的奖励函数设计，缺乏可扩展性。
目标：如何仅凭单次仿真中的人类演示，生成包含力信息的多样化数据，并训练出一个能在真实机器人上实现零样本（Zero-shot）迁移的、具备自适应顺应能力的视觉 - 力策略。

2. 方法论 (Methodology)

该论文提出了一套完整的框架，包含三个核心组件：

A. 基于仿真的力感知数据生成 (Force-Informed Data Generation)

输入：在仿真环境（IsaacGym）中通过遥操作收集的单次人类演示轨迹 $D_h$ 。
处理流程：
1. 轨迹分割：将演示分为无接触段（Free-space）和接触段（In-contact）。
2. 域随机化：对末端执行器姿态、物体姿态、质量和摩擦系数进行随机化，生成新的初始条件。
3. 轨迹变形（Warping）：
  - 无接触段：使用**拉普拉斯编辑（Laplacian Editing, LE）**技术，在保持局部几何特性的同时，根据新的物体和末端执行器初始姿态拉伸和重定向轨迹。
  - 接触段：采用物体中心坐标系进行变形，保持末端执行器相对于物体的姿态。
4. 力感知虚拟目标（Force-Informed Virtual Targets）：这是关键创新。在接触段，根据测量到的力 $F$ 构建虚拟目标 $x^v_{ee} = x_{ee} + k_f F$ 。这迫使策略在接触时产生维持接触力的意图，而不仅仅是跟随位置。
输出：生成多样化的仿真数据集 $D_{sim}$ ，包含点云、末端执行器姿态、力测量值以及对应的动作（姿态和阻抗参数）。

B. 顺应性 3D 视觉运动流匹配策略 (Compliant 3D Visuomotor Flow Matching Policy)

模型架构：采用**流匹配（Flow Matching）**框架，相比扩散模型具有更高的推理频率，适合高频接触任务。
输入：
- 单视角点云（Point Cloud）：使用 DP3 Encoder 编码，增强空间泛化能力。
- 末端执行器姿态（ $o_{ee}$ ）。
- 末端执行器力（ $o_f$ ）：通过 MLP 编码。
输出：
- 参考姿态轨迹（Reference Pose）。
- 虚拟目标轨迹（Virtual Target Pose）：用于引导顺应性。
- 阻抗参数轨迹（Impedance Parameter, $d$ ）：根据接触力大小动态调整顺应性增益。
训练：通过最小化向量场预测误差，学习从观测到动作的映射。

C. 基于状态速度场的被动顺应执行 (Passive Impedance Rollout with State Vector Field)

问题：直接跟踪策略输出的位置轨迹在 Sim2Real 差距下容易导致刚性碰撞。
解决方案：
- 将策略输出的姿态转化为状态速度场（State-Velocity Field）。
- 结合被动阻抗控制器（Passive Impedance Controller）。
- 顺应方向混合：定义一个方向向量 $\hat{u}$ ，混合“参考运动方向”和“指向虚拟目标的顺应方向”。
- 动态增益调度：阻抗增益 $d$ 根据接触力大小动态调整（力大则顺应性高，力小则刚性高），无需手动微调。
- 优势：这种基于速度的控制减少了能量注入，允许机器人在遇到意外接触时“屈服”而非强行推进，提高了安全性和鲁棒性。

3. 主要贡献 (Key Contributions)

轻量级力感知数据生成策略：提出了一种无需训练即可从单次仿真演示生成多样化力感知数据的方法，结合了虚拟目标和拉普拉斯编辑技术。
自适应顺应流匹配策略：设计了一种新的策略架构，以点云和力为输入，直接输出姿态动作和阻抗参数，实现了视觉与力反馈的深度融合。
零样本 Sim2Real 迁移：在 Franka 机器人上验证了该方法，在方块翻转（Block Flipping）和双臂搬运（Bi-manual Moving）任务中，无需真实世界演示或复杂的 Sim2Real 算法即可实现成功部署。
基于速度场的被动顺应执行方案：提出了一种从策略姿态生成向量场并配合被动阻抗控制的方案，显著降低了接触时的能量注入，提升了任务成功率。

4. 实验结果 (Results)

实验在两个真实世界任务上进行：方块翻转和双臂物体移动。

数据生成有效性：
- 在仿真中，结合拉普拉斯编辑和力感知虚拟目标的数据生成方案，任务成功率达到 97.6%（翻转）和 82.9%（双臂）。
- 移除拉普拉斯编辑或力感知目标会导致成功率降为 0%。
真实世界泛化能力（零样本迁移）：
- 空间泛化：在 9 个不同的测试位置中，完整方法（3D FM Comp + Force）在 27 次测试中成功 24 次。相比之下，仅有点云输入或仅有顺应性输出的基线方法失败率极高（主要因无法建立接触或卡死）。
- 物体泛化：使用训练时未见过的不同尺寸物体进行测试，完整方法表现出极强的鲁棒性，能够处理不同形状的物体，而基线方法往往因无法建立接触或刚性碰撞而失败。
控制器对比：
- 在真实世界方块翻转任务中，被动阻抗控制器的成功率（10/12）显著高于经典位置阻抗控制器（8/12）。
- 被动控制器在处理大尺寸物体（分布外 OOD 数据）时，能自然适应并避免强行穿透物体几何结构。
- 能量注入：被动控制器在接触过程中注入的平均能量更低（0.734 J vs 0.835 J），证明了其更好的顺应性。
力与顺应性曲线：真实世界部署的力曲线和阻抗参数变化趋势与仿真训练数据高度一致，验证了策略学习的有效性。

5. 意义与结论 (Significance)

降低数据依赖：该框架证明了仅需单次仿真演示即可训练出高性能的接触任务策略，极大地降低了真实世界数据收集的成本和难度。
解决 Sim2Real 痛点：通过“力感知数据生成 + 流匹配策略 + 被动顺应执行”的闭环，有效弥合了仿真与现实的差距，特别是在处理连续接触和不确定性方面。
安全性与鲁棒性：提出的基于速度场的被动顺应执行机制，不仅提高了任务成功率，还通过减少能量注入提升了机器人操作的安全性，防止了因对齐误差导致的设备损坏。
未来展望：尽管在复杂物理属性物体和颜色信息处理上仍有局限，但该方法为接触丰富的机器人操作提供了一种高效、可扩展的新范式。

总结：这项工作通过巧妙结合仿真数据增强、流匹配学习和物理感知的执行控制，成功实现了从“单一演示”到“通用顺应策略”的跨越，为机器人处理复杂的接触任务提供了强有力的解决方案。