💻 computer science

Enabling Dynamic Tracking in Vision-Language-Action Models via Time-Discrete and Time-Continuous Velocity Feedforward

本文提出了一种模型无关的框架，通过在视觉 - 语言 - 动作（VLA）模型中引入时间离散差分或连续 B 样条的速度前馈项，有效解决了刚性工业机器人部署中合规性与响应性之间的权衡难题，从而在接触丰富的任务中实现了更快的执行速度和更高的成功率。

原作者： Johannes Hechtl, Philipp Schmitt, Georg von Wichert, Wolfram Burgard

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Johannes Hechtl, Philipp Schmitt, Georg von Wichert, Wolfram Burgard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个让机器人“既快又稳”的难题。为了让你更容易理解，我们可以把机器人想象成一个刚学开车的司机，而这篇论文就是教他如何更聪明地踩油门和方向盘。

1. 核心矛盾：像“硬邦邦的弹簧”还是“软绵绵的棉花”？

想象一下，你让一个机器人去把积木塞进一个非常小的孔里（就像把钥匙插进锁孔，但缝隙只有 1 毫米宽）。

如果机器人太“硬”（像一根铁棍）：它动作很快，但如果稍微歪一点，就会把锁孔撞坏，或者把自己卡住。
如果机器人太“软”（像一根橡皮筋）：它很安全，碰到东西会退让，但动作会慢吞吞的，而且很难精准地插进那个小孔里。

以前的机器人模型（VLA）就像是一个只会报位置的司机。它每隔一小会儿（比如每秒 15 次）告诉机器人：“下一秒钟，手要移到 A 点”。

问题在于：机器人不知道从上一个点到 A 点应该多快移动，也不知道怎么加速。
后果：为了不让手“迟到”（跟踪误差），机器人只能把弹簧调得很紧（高刚度），结果就是动作僵硬，容易撞坏东西；或者为了安全把弹簧调松，结果就是动作慢吞吞，效率极低。

2. 这篇论文的解决方案：给司机加上“速度导航”

作者发现，只要给机器人加上速度指令（告诉它不仅要“去哪里”，还要“以多快的速度去”），就能同时解决“快”和“稳”的矛盾。

他们提出了两种给机器人“加速度导航”的方法：

方法一：简单的“数数法”（有限差分近似）

比喻：这就像你看着司机的位置记录，每隔一秒看一次。
- 第 1 秒在 A 点，第 2 秒在 B 点。
- 你直接算一下：(B - A) / 1 秒 = 速度。
效果：虽然算出来的速度是“阶梯状”的（忽快忽慢），但比没有速度指令强太多了。
优点：简单粗暴，不需要改机器人原本的“大脑”（模型），只需要在数据记录和底层控制上动动手脚。
结果：机器人干活最快，效率提升明显。

方法二：高级的“平滑曲线法”（三次 B 样条）

比喻：这就像给司机一张平滑的曲线地图，而不是一个个离散的点。
- 机器人不再是一个点一个点地跳，而是沿着一条完美的数学曲线（像过山车轨道一样平滑）移动。
- 这条曲线天生就是平滑的，速度、加速度都是连续变化的，没有突变。
效果：动作非常丝滑，像丝绸一样流畅。
优点：虽然平均速度没有“数数法”那么快，但成功率最高，动作最优雅。
有趣的现象：作者发现，这种平滑的曲线在插入积木时，偶尔会产生一点点微小的“抖动”（像蛇一样扭动），这种抖动反而帮助机器人更容易找到那个只有 1 毫米缝隙的孔，从而提高了成功率。

3. 实验结果：真的有用吗？

作者在一个很难的“积木插孔”任务上测试了这两种方法：

教机器人时（遥操作）：如果教机器人的人（人类操作员）能同时控制位置和速度，机器人学得更快、更准。
机器人自己干时：
- 只用位置（旧方法）：动作慢，容易卡住。
- 用“数数法”（新方法 1）：动作最快，比旧方法快了很多。
- 用“平滑曲线法”（新方法 2）：动作最稳，成功率最高（79%），虽然平均速度没提升太多，但非常可靠。
- 最惨的情况：如果用“带速度数据”教出来的机器人，却让它用“只看位置”的方式去干活，那它简直就废了，又慢又容易失败。这说明教和练必须一致。

4. 总结：这对我们意味着什么？

这篇论文的核心贡献在于它打破了工业机器人的一个死结：

以前：想要快，就得牺牲安全（容易撞）；想要安全，就得牺牲速度（太慢）。
现在：通过给机器人加上速度指令，我们可以让坚硬的工业机器人在保持高速度的同时，依然拥有像棉花一样安全的接触能力。

一句话总结：
这就好比给机器人装上了“预判”功能。以前机器人是“走到哪算哪”，现在它知道“我要以多快的速度走到哪”。这让机器人既能像赛车手一样快，又能像绣花针一样稳，真正具备了在工厂里干精细活的能力。

这是一份关于论文《Enabling Dynamic Tracking in Vision-Language-Action Models via Time-Discrete and Time-Continuous Velocity Feedforward》（通过时间离散和时间连续的速度前馈实现视觉 - 语言 - 动作模型的动态跟踪）的详细技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
视觉 - 语言 - 动作（VLA）模型在机器人操作领域展现出巨大潜力，但在将其部署到刚性工业机器人（如 Franka, Kuka, UR 系列）时面临严峻挑战。主要矛盾在于**顺应性（Compliance）与响应性（Responsiveness/Tracking）**之间的权衡。

现有局限： 标准的行为克隆（Behavior Cloning, BC）方法通常以低频（如 15-60 Hz）预测离散的末端执行器位置。这些输出缺乏低层顺应控制器（如阻抗或导纳控制）所需的速度（ $\dot{x}_d$ ）和加速度（ $\ddot{x}_d$ ）前馈项。
后果： 由于缺少速度前馈，低层控制器只能完全依赖位置误差项（刚度项 $K_d$ ）进行跟踪。为了减小跟踪误差（滞后），必须增加刚度，但这会牺牲顺应性，导致在接触丰富（contact-rich）的任务中容易损坏机器人或环境；反之，若保持低刚度以维持顺应性，则会产生显著的跟踪滞后，限制执行速度。
现状： 现有的 VLA 阻抗控制实现通常将速度前馈设为零（ $\dot{x}_d = 0$ ），或者仅动态调节刚度，但未解决在顺应运动期间如何保持高保真跟踪的问题。

2. 方法论 (Methodology)

本文提出了一种模型无关（Model-agnostic）的解决方案，旨在将速度前馈项整合到 VLA 策略中，以解决上述权衡问题。作者提出了两种从 VLA 中提取速度目标的方法：

A. 核心控制理论

采用笛卡尔导纳控制（Cartesian Admittance Control），其闭环行为模拟质量 - 弹簧 - 阻尼系统：
$\Lambda_d \ddot{e} + D_d \dot{e} + K_d e = F_{ext}$
其中 $e = x_d - x$ 为跟踪误差。通过引入速度前馈 $\dot{x}_d$ ，控制器可以在不牺牲顺应性的情况下实现快速、准确的轨迹跟踪。

B. 两种提出的方法

方法一：时间离散速度近似 (Time-Discrete Velocity Approximation)
- 原理： 基于现有的离散位置预测，利用有限差分法计算速度： $\dot{x}_t \approx (x_t - x_{t-1}) / \Delta t$ 。
- 特点： 这是一个高效的“桥梁”方案，适用于现有的离散 VLA 架构。它假设位置之间是线性插值，提供分段恒定的速度剖面。
- 优势： 易于部署，无需修改神经网络架构，仅需修改数据预处理和低层控制器。
方法二：时间连续动作空间 (Time-Continuous Action Space - Cubic B-Spline)
- 原理： 将动作空间参数化为三次 B 样条（Cubic B-Spline）的控制点。VLA 直接预测控制点 $P = \{P_0, ..., P_n\}$ ，从而定义一条时间连续的参考轨迹 $x_d(t)$ 。
- 特点： B 样条天然具有 $C^2$ 连续性（位置、速度、加速度连续）。低层控制器可以在高频控制率下，通过对基函数求导，解析地计算出任意时刻的速度 $\dot{x}_d(t)$ 和加速度 $\ddot{x}_d(t)$ 。
- 优势： 生成平滑的高阶导数轨迹，消除了离散动作块之间的不连续性，为高频控制提供了理论基础。

C. 数据收集与训练

遥操作数据： 使用高频遥操作设备（>500Hz）收集数据，并计算速度前馈。
模型微调： 在 $\pi_0.5$ 模型上进行微调。
推理优化： 使用实时分块（Real-Time Chunking, RTC）技术，利用流匹配（flow-matching）策略的内补能力，平滑动作块之间的过渡。

3. 实验设置 (Experiment Setup)

任务： 高难度的**“立方体入孔”（Cube-in-Hole）**任务。
- 要求：立方体与孔之间仅有 1mm 的公差，需要极高的顺应性以防卡死或损坏；同时需要快速的转移运动以提高吞吐量。
硬件： 两台 Universal Robots (UR) 刚性机械臂，配备 OMY-L100 遥操作设备。
对比组：
1. Baseline：仅位置目标（ $\dot{x}_d=0$ ）。
2. Method 1：有限差分速度近似。
3. Method 2：B 样条连续动作空间。
4. 消融实验：使用速度前馈数据训练，但推理时使用仅位置控制器（不匹配）。

4. 关键结果 (Results)

A. 遥操作性能 (Teleoperation)

速度提升： 引入速度前馈后，人类操作员的任务完成时间显著缩短（ $p < 0.001$ ）。
数据质量： 速度感知控制器使操作员能更快速、准确地进行大跨度转移运动，减少了与控制器滞后“对抗”的情况，从而为 VLA 模型提供了更高质量的数据上限。

B. 策略执行性能 (Policy Rollout)

有限差分法 (Method 1)：
- 表现最佳： 平均执行时间最短 (6.05 秒)，显著优于 Baseline (7.35 秒)。
- 原因： 有效解决了跟踪滞后问题，实现了快速且准确的动态跟踪。
B 样条法 (Method 2)：
- 成功率最高： 虽然平均执行时间 (7.45 秒) 略高于 Baseline 且方差较大，但最终成功率高达 79.20%。
- 现象分析： 由于实时分块（RTC）未能完全消除样条动作块间的微小跳变，导致偶尔出现剧烈的速度波动（抖动）。有趣的是，这种“抖动”在插入阶段可能有助于克服 1mm 的公差，帮助找到孔位，从而提高了最终成功率。
消融实验： 如果训练数据包含速度前馈，但推理时仅使用位置控制器，性能严重下降（平均时间 10.01 秒，成功率最低）。这证明了数据收集策略与推理控制策略必须匹配。

5. 主要贡献 (Key Contributions)

理论突破： 首次证明了在 VLA 策略的低层控制器中整合显式速度前馈项，可以在不牺牲顺应性的前提下，显著提升刚性机器人的执行速度。
两种实用方法：
- 提出了有限差分近似法，作为现有离散 VLA 架构的高效、易部署的升级方案。
- 提出了连续 B 样条动作空间，原生支持 $C^2$ 连续轨迹，为高频控制和高阶导数（加速度）的解析计算奠定了基础。
模型无关性： 两种方法均不改变 VLA 的神经网络架构，仅涉及数据预处理、遥操作设置和低层控制器的修改，具有极强的通用性。
实证验证： 在极具挑战性的接触丰富任务中，验证了速度前馈对提升任务吞吐量（通过有限差分）和最终成功率（通过 B 样条的平滑特性及意外抖动效应）的双重价值。

6. 意义与未来展望 (Significance & Future Work)

工业部署价值： 解决了 VLA 模型从实验室柔性机器人向工业刚性机器人迁移时的核心瓶颈（顺应性与速度的矛盾），为 VLA 在工业环境中的实际应用铺平了道路。
未来方向： 作者计划进一步整合加速度前馈（ $\ddot{x}_d$ ）。虽然 B 样条天然支持 $C^2$ 连续性，但在遥操作中获取无噪声的加速度数据极具挑战。未来的工作将致力于解决噪声放大问题，以实现更稳定、高速且顺应性强的机器人操作。

总结： 该论文通过引入速度前馈机制，成功打破了 VLA 模型在刚性机器人上的性能瓶颈，证明了通过改进动作表示（离散差分或连续样条）可以显著提升机器人的动态跟踪能力和任务执行效率。