💻 computer science

FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

FAWAM 是一种力感知世界动作模型，它将六轴力/力矩信号集成到感知、预测和闭环执行中，以显式地建模接触演化并在线优化动作，从而在接触密集型机器人操控任务中，相比于仅基于视觉的方法及现有的力感知基准模型，实现了显著更高的成功率。

原作者： Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人正试图擦拭白板、削黄瓜或推一个箱子。对于人类来说，这些任务感觉很自然，因为我们拥有一种“第六感”——触觉。我们能瞬间感知到自己是否按得太重、物体是否正在打滑，或者是否撞到了障碍物。我们不仅仅是在观察物体，我们还在实时地“感受”交互过程，并据此调整握力和压力。

然而，目前的机器人往往就像是戴着厚重且麻木的手套、蒙着眼睛在尝试完成这些任务的人。它们主要依赖摄像头（视觉）。如果摄像头看到一个白板，机器人就会尝试去擦拭。但如果机器人按得太重导致马克笔涂抹开来，或者按得太轻导致毫无反应，机器人往往在意识到失败时已经太晚了。这就像仅仅通过看地图来开车，却忽略了方向盘的手感或发动机的声音。

FAWAM 是一个全新的机器人“大脑”，它赋予了机器人触觉，并赋予了它一种超能力：它可以预知未来。

以下是 FAWAM 如何运作的解析，我们使用烹饪类比将其分为三个简单的步骤：

1. “厨师的直觉”（感知）

大多数机器人只是观察食材（视觉）。而 FAWAM 就像一位不仅能看到锅，还能感受到热气上升并闻到蒸汽的厨师。

它的作用： 它获取力的历史记录（即机器人在过去几秒内如何推动或拉动），并利用这些记录来理解当前的情况。
类比： 不仅仅是看到一锅正在沸腾的汤，机器人通过“感受”震动和热量，来精确了解汤在勺子的作用下是如何反应的。这有助于它理解“接触状态”——物体是在滑动？还是卡住了？

2. “水晶球”（预测）

这是该论文最大的创新点。大多数机器人只能对“正在发生”的事情做出反应。而 FAWAM 会问：“如果我执行这个动作，下一秒力的大小会发生什么变化？”

它的作用： 它不仅预测机器人的手会移动到哪里，它还预测手会感受到多大的力。它模拟了未来的交互过程。
类比： 想象一位厨师尝了一口汤，并立即预判：“如果我现在再加盐，10 秒后味道就会太咸了。”FAWAM 对物理现象也是如此。它会说：“如果我向前推这个箱子，我预判在 0.5 秒后我会感受到突然的阻力。”通过预测未来的“痛感”或“打滑”，机器人可以更好地进行规划。

3. “即时反射”（修正）

即使拥有水晶球，事情也可能出错。也许桌面稍微有些不平，或者物体比预想的要重。

它的作用： 在机器人移动的过程中，它会不断地将自己的预测（它认为会发生什么）与现实（传感器实际感受到的情况）进行对比。如果两者不匹配，它会立即微调动作以进行修正。
类比： 这就像走钢丝的人。他们有一个过河的计划，但如果感觉到一阵突如其来的阵风（偏离了预测），他们会立即转移重心以保持平衡。FAWAM 每秒钟进行这种操作 10 次。如果机器人预测会平滑滑动，却感受到了突然的顿挫，它会立即调整握力以防止碰撞。

结果：为什么这很重要

研究人员在真实的机器人执行复杂且高度依赖触觉的任务（如削黄瓜或擦拭花瓶）时测试了这一技术。

仅靠视觉的机器人（那些“被蒙住眼睛”的机器人）成功率不到一半。
仅靠“感受”力的机器人（没有预测和修正功能的机器人）表现稍好，但仍然很吃力。
FAWAM 的成功率达到了 85%。

论文声称，通过结合感受过去、预测未来的力以及当下的修正，机器人变得更加稳健。它不仅仅是在问题发生时做出反应；它是在问题发生前就进行预判并予以解决。

简而言之： FAWAM 将机器人从一个笨拙的、仅靠视觉驱动的机器，转变为一名熟练的匠人，它能够“感知”复杂任务的过程，在颠簸发生前进行预判，并瞬间调整握力以确保任务顺利完成。

技术摘要：FAWAM —— 用于闭环接触密集型操纵的力觉感知世界动作模型

1. 问题陈述

接触密集型机器人操纵任务（如擦拭、削皮、推挤）需要对与环境的交互进行持续调节。虽然视觉观测是标准手段，但它们在推断关键交互状态（如微弱接触、过度压力或卡顿）方面往往力有不逮。现有的结合力觉感知的模型通常仅将其作为一种额外的观测模态用于策略学习，或用于低层级的反应式控制。然而，这些方法未能显式地建模未来接触状态（例如未来的力矩）的演变，也缺乏用于指导执行时修正的预测性参考。因此，机器人难以预判接触结果，并在感知反馈偏离预期时进行主动调整。

2. 方法论

作者提出了 FAWAM（力觉感知世界动作模型），这是一个在感知、预测和执行三个层面集成力信号的闭环框架。该系统在两个不同的频率上运行：一个用于高层规划的 力觉构想动作模型（运行频率为 1 Hz）和一个用于在线调整的 力觉引导残差修正器（运行频率为 10 Hz）。

A. 力觉构想动作模型 (Force-Envisioned Action Model)
该组件扩展了基于 GE-Act 的世界动作模型，以增强力觉感知能力：

力觉调节 (Force Conditioning)： 最近的 6 轴力/力矩历史数据 ( $w_{t-H_f+1:t}$ ) 通过轻量级 MLP 被编码为紧凑的接触特征 ( $c_t$ )。该特征通过 AdaLN-Zero 式调节 来调制动作生成路径，即在 DiT 模块中将受力调节的偏移量添加到标准的 AdaLN-Zero 参数（位移、缩放、门控）中。
联合预测 (Joint Prediction)： 该模型并未使用孤立的力预测头，而是用一个 联合线性投影 取代了原始的动作投影。它同时输出未来的动作轨迹 ( $A_t$ ) 和未来的力矩轨迹 ( $W_t$ )。这种设计迫使解码器学习一种能够捕捉机器人运动与其物理接触后果之间耦合关系的共享表示。
训练： 模型采用两阶段训练策略。首先，使用潜在空间流匹配（latent-space flow matching）对视频生成模型进行微调。其次，使用组合损失函数 ( $L_{stage2} = L_{action} + \lambda_F L_{force}$ ) 训练力觉感知动作解码器，从而在相同的流匹配框架下同时预测未来的运动和接触力。

B. 力觉引导残差修正 (Force-Guided Residual Correction)
为了应对在执行动作块（action chunk）期间发生的意外接触变化（如突然的阻力），引入了一个残差修正器：

输入： 修正器接收基础动作块、预测的力矩参考、实时力矩反馈以及当前的本体感受状态。
误差计算： 它通过比较实测力反馈 ( $w^{meas}$ ) 与预测的力矩轨迹 ( $w^{pred}$ ) 来显式计算力矩跟踪误差 ( $e^w_t$ )。
门控机制： 门控头预测一个标量门控值 ( $g^{res}_t$ ) 以确定是否需要进行修正。系统根据阈值应用一个二进制掩码 ( $\kappa_t$ )，以防止残差模型干扰标称执行过程。
输出： 系统输出一个残差动作 ( $\Delta a^{res}$ )，仅当门控激活时，该残差动作才会叠加到基础动作上，从而实现在线精细化执行。
数据采集： 修正数据使用力反馈领航者-跟随者遥操作系统 (FACTR) 进行采集。当发生异常接触时，人类操作员会进行干预，而修正后的指令与基础策略指令之间的差异即作为残差目标。

3. 核心贡献

FAWAM 框架： 一种力觉感知世界动作模型，通过在感知、预测和执行层面利用力信号，实现鲁棒的接触密集型操纵。
力觉引导残差修正： 一种新颖的机制，利用预测力与感知反馈之间的差异，在执行过程中修正动作，实现了从简单的反应式控制向主动的、由预测引导的调整的跨越。
实验验证： 通过广泛的真实世界实验，证明了其相对于现有最先进基准模型的显著性能提升。

4. 实验结果

实验在 Franka Research 3 (FR3) 机械臂上针对四项任务进行：擦拭白板、削黄瓜、翻转方盒和擦拭花瓶。这些任务涉及由变化的表面倾角、桌面高度和物体位置引起的多种接触条件。

性能表现： FAWAM 达到了平均 85.00% 的成功率 (SR)。
- 这比仅基于视觉的基准模型（例如 $\pi0.5$ 为 47.50%，GE-Act 为 48.75%）提升了 36.25%。
- 相比现有的力觉感知基准模型（ForceVLA 和 TA-VLA 均为 63.75%），提升了 21.25%。
消融分析：
- 不带残差修正的基础策略（FAWAM w/o Res）实现了 73.75% 的成功率，表明仅靠力觉构想动作模型就已提供了强大的基础。
- 残差修正器的加入使成功率最终提升至 85.00%，验证了在线修正的有效性。
- 消融研究确认了所有三个组件（力觉调节观测、联合预测和残差修正）都对性能有积极贡献。

5. 重要性与主张

本文主张，接触密集型操纵不仅仅是一个反应式的“观测-动作”映射，而是一种 主动预测范式。通过显式建模未来接触状态的演变并将其预测作为在线参考，FAWAM 使机器人能够预判接触结果，并在失效发生前进行纠偏。作者断言，他们对力信号的系统性集成——即从简单的观测融合转向预测建模和残差修正——产生了能够适应动态环境变化和外部扰动的鲁棒行为。结果表明，对于需要持续物理交互的任务，未来的力预测是当前视觉运动策略中一个关键的缺失环节。