💻 computer science

FAVLA: A Force-Adaptive Fast-Slow VLA model for Contact-Rich Robotic Manipulation

本文提出了 FAVLA，一种通过解耦低频感知规划与高频接触感知控制、并引入力适配器及基于预测力变化的自适应调度机制，从而显著提升接触丰富型机器人操作反应性与成功率的力自适应快慢视觉 - 语言 - 动作模型。

原作者： Yao Li, Peiyuan Tang, Wuyang Zhang, Chengyang Zhu, Yifan Duan, Weikai Shi, Xiaodong Zhang, Zijiang Yang, Jianmin Ji, Yanyong Zhang

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yao Li, Peiyuan Tang, Wuyang Zhang, Chengyang Zhu, Yifan Duan, Weikai Shi, Xiaodong Zhang, Zijiang Yang, Jianmin Ji, Yanyong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FAVLA 的新型机器人控制方法，专门用来解决机器人在做“精细活”（比如插 USB 接口、组装齿轮）时容易用力过猛或反应迟钝的问题。

为了让你更容易理解，我们可以把机器人想象成一个正在学做精细手工的学徒，而 FAVLA 就是给这个学徒配备的一套**“慢思考 + 快反应”的超级大脑**。

1. 以前的机器人为什么“笨手笨脚”？

在以前的方法中，机器人的大脑（AI 模型）处理所有信息的方式是**“一刀切”**的：

视觉（眼睛）：看东西需要时间，频率较低（比如每秒看 15 次）。
力觉（触觉/手感）：感受推、拉、碰撞的力，需要极快的反应（比如每秒感受 1000 次）。

以前的系统强行把“眼睛”和“手”的频率拉平，让“手”也慢下来去配合“眼睛”。

比喻：这就像让一个百米冲刺的短跑运动员，为了配合慢吞吞的乌龟，不得不每一步都停下来等乌龟。
后果：当机器人碰到东西（比如插 USB 时）需要瞬间调整力度时，它因为反应太慢，要么没反应过来把东西插歪了，要么用力过猛把东西弄坏了。而且，以前的机器人一旦发出指令，往往就是“盲冲”一段距离，中间不会根据手感随时修正。

2. FAVLA 是怎么做的？（核心创新）

FAVLA 提出了**“快慢分离，动态调整”的策略。它把机器人的大脑分成了两个部分，像是一个“军师”和一个“先锋”**的完美配合：

A. 慢速军师（VLM - 视觉语言大模型）

角色：负责**“看大局、做计划”**。
工作频率：慢（比如每秒 10 次）。
任务：它看着摄像头里的画面，听着人的指令（比如“把 USB 插进去”），结合之前的力觉历史，预测接下来会不会发生剧烈的碰撞。
比喻：就像下棋的教练，他不需要每秒都动，但他能预判对手（环境）接下来几步会不会有“杀招”（大力碰撞），并告诉先锋：“注意，前面可能要用力，随时准备调整！”

B. 快速先锋（AE - 动作专家）

角色：负责**“听指挥、做微调”**。
工作频率：快（每秒几百次），而且频率是活的。
任务：它直接接收最新的“手感”数据（力觉传感器），根据“军师”的预测，瞬间调整机器人的动作。
比喻：就像赛车手，他的手脚反应极快。如果教练喊“前面有坑，快躲！”，他能在毫秒级时间内打方向盘。

C. 核心魔法：力觉适配器与动态频率

这是 FAVLA 最厉害的地方：

直接注入手感：以前的系统是把“力”的数据变成文字混在视频里读，FAVLA 则是直接把“力”的数据像调料一样，精准地撒在“先锋”的每一个动作层里，让它直接感知力度。
智能变速：
- 平时（空手移动）：机器人没碰到东西，军师预测很安全，先锋就慢点跑（省算力，动作平稳）。
- 关键时刻（接触瞬间）：军师预测“马上要插进去了，会有大力碰撞”，立刻命令先锋全速运转（高频调整），像弹簧一样瞬间吸收冲击，防止损坏。

3. 实际效果怎么样？

研究人员在真实的机器人上做了四个高难度任务：插 USB、组装齿轮、翻转盒子、擦黑板。

成功率：以前的方法成功率只有 40%-60%，FAVLA 达到了 80.8%。
安全性：以前的机器人容易“大力出奇迹”（把东西弄坏），FAVLA 能把接触时的最大冲击力降低了 30% 以上。
比喻：以前的机器人像是在蒙眼狂奔，容易撞墙；FAVLA 的机器人像是在走钢丝，平时稳稳当当，一旦感觉到风（力）大了，立刻微调重心，完美通过。

总结

这篇论文的核心思想就是：别用一种速度处理所有事。

看世界、做计划可以慢一点，要深思熟虑；
感受力、做微调必须快一点，要瞬间反应。

FAVLA 通过让机器人的“大脑”学会根据情况自动切换快慢节奏，让机器人从“笨拙的搬运工”变成了“灵巧的工匠”，能够安全、精准地完成那些需要精细力控的工业任务。

FAVLA 技术总结：面向富接触机器人操作的力自适应快慢 VLA 模型

1. 研究背景与问题 (Problem)

核心痛点：
现有的视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型在处理**富接触（Contact-Rich）**的机器人操作任务（如精密装配、插入、打磨）时表现不佳。主要存在以下两个关键问题：

多模态采样率不匹配与下采样损失：
- 机器人传感器通常具有不同的采样频率：视觉和语言数据频率较低（如 15-30 Hz），而力/扭矩传感器频率极高（100-1000 Hz）。
- 现有方法通常将所有模态融合在单一频率下，强制将高频力信号下采样以匹配低频模态。这导致丢失了关键的接触反馈信号（如冲击、粘滑现象、力突变），使得模型无法进行实时的反应性修正。
开环控制与延迟响应：
- 主流的 VLM（视觉语言模型）+ AE（动作专家）架构通常采用低频推理和“动作块（Action Chunk）”执行策略。
- 在昂贵的 VLM 更新间隔内，机器人往往处于**开环（Open-Loop）**执行状态。当接触状态发生突变时，系统无法及时调整动作，导致力过大、任务失败甚至损坏工件。

目标：
构建一种能够显式区分“慢速语义理解”与“快速接触反馈控制”的架构，实现高频闭环控制，同时保持端到端的学习能力。

2. 方法论 (Methodology)

作者提出了 FAVLA (Force-Adaptive Fast–Slow VLA)，这是一种力自适应的快慢 VLA 模型。其核心思想是将语义推理（慢）与力反应控制（快）解耦，并在端到端框架下融合。

2.1 架构设计：力注入的快慢融合 (Force-Injected Fast-Slow Architecture)

FAVLA 由两个主要部分组成：

慢速 VLM 骨干 (Slow VLM Backbone)：
- 频率： 固定低频运行。
- 输入： 视觉图像、语言指令、以及历史力数据序列。
- 功能： 进行语义场景理解和指令编码。它将多模态信息编码为潜在表示（Latent Representations），并生成供快速模块复用的 KV Cache（键值缓存）。
- 创新点： 引入力方差预测头 (Force Variance Head)，基于当前状态预测未来的接触力波动情况。
快速动作专家 (Fast Action Expert, AE)：
- 频率： 可变高频运行。
- 输入： 最新的本体感知状态（Proprioceptive State）和最新的高频力数据序列。
- 机制：
  - 力注入适配器 (Force Adapter)： 不同于将力数据简单拼接为 Token，FAVLA 通过适配器将高频力特征注入到 AE 的多个 Transformer 层中。具体做法是利用交叉注意力机制（Cross-Attention），将力特征作为 Key/Value，对动作 Token 进行条件化更新，使 AE 能直接根据接触力微调动作块。
  - 流匹配 (Flow Matching)： 用于生成连续的动作轨迹。

2.2 推理策略：力自适应快慢推理 (Force-Adaptive Fast-Slow Inference Strategy)

为了在保持语义一致性的同时实现高频响应，FAVLA 设计了动态推理机制：

动态频率调度： AE 的执行频率不是固定的，而是根据 VLM 预测的**未来力方差（Force Variance）**动态调整。
- 当预测到即将发生接触或接触力波动大时，AE 以高频（如每步 VLM 推理执行多次）运行，进行快速闭环修正。
- 在自由空间运动或接触平稳时，降低 AE 频率以节省计算资源。
动作一致性保障：
- 固定噪声采样： 在同一视觉周期内，多次 AE 推理使用相同的采样噪声，确保动作的随机性一致。
- 时间集成 (Temporal Ensemble)： 对重叠的动作块预测结果进行集成，消除抖动，生成平滑的执行轨迹。

3. 主要贡献 (Key Contributions)

FAVLA 框架： 提出了一种力自适应的快慢 VLA 框架，成功将慢速语义模态（视觉、语言、历史力）与快速交互信号（最新力数据）融合，实现了富接触环境下的闭环控制。
力注入动作专家设计： 设计了带有“力适配器”的 AE，将高频力反馈直接注入到网络深层，实现了对动作块的直接力条件修正，而非简单的 Token 拼接。
力自适应推理策略： 引入基于预测力变化的动态频率调度机制。VLM 预测未来力波动，指导 AE 在接触关键期提高执行频率，显著提升了反应速度并降低了操作力。
端到端学习： 整个系统（VLM + AE + 方差预测头）通过联合损失函数（动作生成损失 + 力方差预测损失）进行端到端训练。

4. 实验结果 (Results)

作者在真实的机器人平台上进行了四项富接触任务测试：USB 插入、齿轮装配、翻转盒子、擦拭板。

成功率 (Success Rate)：
- FAVLA 在四项任务上的平均成功率达到 80.8%。
- 相比最强的基线方法（ForceVLA），成功率提升了 13.8%。
- 相比纯视觉基线（ $\pi_0$ ），提升了 38.0%。
- 在齿轮装配任务中，FAVLA 达到了 93.3% 的成功率，显著优于其他方法。
接触力控制 (Peak Contact Forces)：
- FAVLA 显著降低了操作过程中的峰值接触力。
- 在齿轮装配任务中，峰值力从基线的 12.0N 降低至 7.7N（减少 4.3N）。
- 在翻转盒子任务中，峰值力从 12.2N 降低至 9.9N。
- 这表明模型能有效避免过大的操作力，防止工件损坏。
消融实验 (Ablation Studies)：
- 力注入 AE： 相比纯视觉基线，仅加入力注入即可显著提升成功率。
- 力方差预测： 引入对未来力波动的预测进一步提升了性能。
- 自适应频率： 动态频率策略优于任何固定的高频或低频设置，证明了根据接触状态调整频率的有效性。

5. 意义与影响 (Significance)

解决工业痛点： 该研究直接针对工业场景中高精度装配和富接触操作中的“力控制难”和“反应延迟”问题，提供了有效的解决方案。
提升安全性与可靠性： 通过高频闭环控制和力自适应机制，FAVLA 能显著减少因力过大导致的工件损坏和机器人停机，提高了系统的安全性。
范式创新： 打破了传统 VLA 模型单一频率融合模态的限制，证明了“慢语义 + 快反应”的解耦架构在处理物理交互任务中的优越性，为未来具身智能（Embodied AI）在复杂物理环境中的应用提供了新的设计思路。
实际应用潜力： 实验表明该方法在无需复杂手工规则的情况下，即可实现类似人类操作员的精细力控能力，具有极高的工业落地价值。