💻 computer science

DriftingVLA: Native One-Step Vision-Language-Action Generation via Per-Dimension Temporal Drifting

DriftingVLA 是一种原生的单步视觉-语言-动作模型，它利用带有逐维度时间漂移（Per-Dimension Temporal Drifting）的分布漂移目标，在单次前向传播中生成完整的动作块，在基准任务上实现了最先进的性能，同时比传统的基于多步流的方法快 3.36 倍。

原作者： Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够看见、理解语言并拥有类人般流畅动作的机器人，长期以来一直是人工智能的梦想。多年来，研究人员一直在构建能够将强大的视觉和语言理解能力与机器人手臂控制能力相结合的系统。这些被称为“视觉-语言-动作模型”（vision-language-action models）的系统充当机器人的大脑，接收摄像头所见的画面和人类说的话，然后决定如何移动机器人的关节以完成任务。然而，一个显著的瓶颈阻碍了这些机器实现真正的实时响应。为了生成一段平滑的动作序列，这些模型传统上依赖于一个复杂的、多步骤的过程。想象一下，试图通过在每一条线上进行微小的、犹豫不决的修正来画出一个完美的圆圈；机器人必须计算一条路径，走一步，检查工作，然后再走下一步，为它所做的每一次移动重复这个循环。虽然这种方法能产生高质量的结果，但它很慢，引入了延迟，使得机器人在动态世界中显得迟钝且反应迟缓。

现在，一支研究团队推出了一种全新的方法，从根本上改变了机器人规划动作的方式，使其能够在瞬间生成一整套完整的动作序列。他们的工作核心是一个名为 DriftingVLA 的系统，该系统取代了缓慢的迭代修正过程，转而采用一种学习在一次性预测整个未来运动的方法。该系统不是在实际执行任务期间逐步计算路径，而是在训练阶段学习从一个随机起点到最终期望运动之间的直接联系。这种转变使得机器人在部署时可以跳过重复的计算，直接跳转到正确的动作。在涉及复杂操纵任务的测试中，这种新方法不仅达到了旧有缓慢系统的精度水平，还使机器人的速度提高了三倍以上，将决定动作所需的时间从两百多毫士降低到了不到七十毫秒。

这一突破的核心在于研究人员如何教机器人理解其不同运动部件之间的关系。机器人手臂不仅仅是做单一线的运动，它拥有多个必须协同工作的关节和自由度，例如向前移动、旋转以及打开抓取器。以往尝试加速这些系统的做法，要么将整个运动视为一个巨大的整体，要么将其分解为微小的、在时间上断开的瞬间。然而，新方法认识到，每一个特定的运动方向——比如抓取器的垂直提升或手腕的旋转——都有其独特的节奏和统计模式。研究人员开发了一种称为“每维度时间漂移”（Per-Dimension Temporal Drifting）的技术，将每个独立运动方向的历史记录视为一个独立的学习单元。这使得系统能够理解抓取器应如何开启或手腕应如何转动的细微差别，而无需强迫这些不同的动作去符合单一、僵化的数学规则。

至关重要的是，这种方法并没有牺牲机器人协调其肢体的能力。尽管系统分别学习每个运动方向的模式，但它仍然将整个动作计划作为一个统一的整体生成。机器人的大脑（理解语言和视觉的部分）保持完好，并继续引导产生动作的“动作专家”。通过训练系统在许多不同的“假设”场景中同时优化其预测，研究人员确保了单步决策的准确性与缓慢的多步计算结果一样高。这意味着机器人仍然可以执行精细的任务，例如将液体从一个容器倒入另一个容器，或者在两个手臂同步工作的情况下堆叠积木，而不会出现早期模型中存在的犹豫不决。

研究人员在模拟环境和现实世界中都对这一新系统进行了测试，以观察速度的提升是否以可靠性的下降为代价。在一系列涉及捡起物体并重新排列物体的挑战性模拟实验中，新系统实现了接近 98.3% 的成功率，略微超过了现有的最佳多步模型。当转移到配备物理机器人手臂的现实环境中时，该系统依然保持了其优势，在包括单臂和双臂协作挑战在内的六个不同任务中，试验成功率达到了 77.67%。这一表现明显高于那些试图通过缩短计算过程来加速旧系统的“单步法”，后者往往会导致准确性的显著下降。新方法证明，通过改变系统的学习方式，而非仅仅改变其计算方式，是实现速度与精度的并行的。

除了原始数据之外，研究还强调了消除重复计算循环所带来的效率提升。在现实世界中，每一分秒都至关重要，新系统将生成一段动作块所需的时间从 227.61 毫秒减少到了 67.67 毫秒。这代表了超过三倍的加速，有效地消除了让机器人感觉与环境脱节的滞后感。虽然在学习阶段处理多个“假设”场景需要稍多的计算能力，但这是一种一次性的投入。一旦机器人完成训练，它就能以精简的单步效率运行，不再需要额外的资源。这项工作表明，响应式机器人的未来可能不在于构建运行更慢算法的更快的计算机，而在于重新设计算法本身，使其天生具备直接性和即时性。

技术摘要：DriftingVLA

问题陈述

传统的视觉-语言-动作（VLA）模型，特别是基于流匹配（如 $\pi_0$ , $\pi_{0.5}$ ）的模型，在生成具有表现力的连续动作块方面表现出色。然而，它们在推理时依赖于迭代数值积分来从学习到的向量场中恢复动作。这一过程需要多次顺序评估动作专家（例如 10 次网络函数评估，即 NFEs），引入了显著的延迟，阻碍了实时在线机器人控制。

尽管最近有一些尝试通过蒸馏（如 SnapFlow）或通过为单步预测适配流公式（如 MeanFlowVLA）来加速这些策略，但这些方法通常仍然源于推理时的传输过程。目前需要一种原生单步 VLA，它能够在单次前向传播中生成完整的动作块，而不依赖于部署期间的迭代优化或数值求解器，同时保持多步流策略的高控制性能。

方法论

作者提出了 DriftingVLA 框架，该框架通过使用分布漂移（Distribution Drifting），将分布细化的负担从推理时的积分转移到了训练时的优化。

1. 通过分布漂移实现原生单步生成

与学习在时间上进行积分以获得速度场 $v_\theta$ 的流模型不同，DriftingVLA 学习一个直接映射 $f_\theta$ ，将高斯噪声映射到完整的动作块。

训练目标： 模型采用**基于漂移的策略（Drift-Based Policy, DBP）**公式。在训练期间，对于给定的上下文 $c_t$ ，模型从独立的潜在样本中生成 $G$ 个兄弟动作块。利用向演示轨迹的吸引力和对生成兄弟样本的排斥力来构建一个“漂移场”。
优化： 模型并非在推理时迭代应用漂移场，而是通过停止梯度回归目标将修正过程吸收进生成器参数中。一旦训练完成，策略执行单次前向传播： $\hat{A}_t = f_\theta(Z_t, c_t)$ ，其中 $Z_t$ 是单个噪声样本。
架构适配： DriftingVLA 保留了 $\pi_{0.5}$ 预训练的多模态骨干网络（VLM），但重新初始化了动作专家。动作专家被重新训练以直接将噪声映射到动作块，而不是预测流速度。VLM 和动作专家进行联合后训练，多模态上下文在兄弟样本之间共享，以避免冗余计算。

2. 每维度时间漂移 (Per-Dimension Temporal Drifting, PDTD)

将分布漂移扩展到 VLA 时的一个关键挑战是定义动作块 $A \in \mathbb{R}^{H \times D}$ （其中 $H$ 是时间跨度， $D$ 是动作维度）的几何结构。

现有方法的局限性：
- 块级漂移（Chunk-wise Drifting）： 将整个动作块展平，混合了异构的动作通道（例如平移、旋转、夹爪），导致跨通道干扰，即一个维度的尺度会影响其他维度的漂移信号。
- 步级漂移（Step-wise Drifting）： 将每个时间步视为独立的，从而破碎了个体动作通道的连续时间轨迹。
PDTD 解决方案： 作者引入了每维度时间漂移（Per-Dimension Temporal Drifting），将每个独立动作维度的完整时间轨迹（ $A_{:,d} \in \mathbb{R}^H$ $A_{:, d} \in R^{H}$ ）视为一个单独的漂移单元。
- 几何结构： 漂移统计数据（距离尺度、亲和力、作用力）针对每个动作维度 $d$ 独立计算。
- 联合生成： 至关重要的是，PDTD 仅对训练几何结构进行分解，而非生成器本身。共享的 VLA 模型仍然联合生成完整的 $H \times D$ 动作块，从而保留了协调控制所需的跨维度依赖关系。

核心贡献

原生单步 VLA： 将原生基于漂移的生成扩展到预训练的基于流的 VLA。这是通过保留预训练的多模态骨干网络，同时将动作接口重新学习为一个直接的条件生成器来实现的，消除了部署时对数值积分或流轨迹蒸馏的需求。
每维度时间漂移 (PDTD)： 一种全新的动作块漂移组织方式，它尊重不同动作维度的独特控制语义和分布特征。PDTD 在保留完整的单通道时间轨迹的同时，分离了异构通道的几何结构，其表现优于块级和步级方法。
全面评估： 在仿真基准（LIBERO, RoboTwin 2.0）和六个真实世界单臂及双臂操作任务中进行了广泛评估，证明了原生单步生成可以达到甚至超过迭代流策略的性能，同时显著降低延迟。

实验结果

仿真性能：
- LIBERO： DriftingVLA 实现了 98.32% 的总体成功率，超过了原始 10-NFE 的 $\pi_{0.5}$ 策略（97.10%）和单步基线 SnapFlow（97.48%）。
- RoboTwin 2.0： DriftingVLA 达到了 81.09%，超过 10-NFE $\pi_{0.5}$ 1.51 个百分点，并超过 SnapFlow 2.56 个百分点。值得注意的是，标准 $\pi_{0.5}$ 策略的常规单步截断性能降至 63.76%，凸显了原生训练的必要性。
真实世界性能：
- 在六个真实世界任务（单臂和双臂）中，DriftingVLA 实现了 77.67% 的成功率，显著优于 $\pi_{0.5}$ （74.22%）和其他单步基线。
- PDTD 在仿真和真实世界设置中均一致优于块级（Chunk-wise）和步级（Step-wise）变体。
效率：
- 延迟： 原生单步生成将动作块延迟从 227.61 ms (10-NFE) 降低到 67.67 ms，实现了 3.36 倍的加速。
- 训练开销： 由于采用了共享上下文采样设计，将兄弟样本数量 ( $G$ ) 从 2 增加到 8，仅增加了 3.78% 的训练 GPU 时数和 9.54% 的峰值内存。

重要意义

本文表明，可以在不牺牲控制性能的前提下，将迭代动作细化从部署循环中移除。通过利用分布漂移将分布细化转移到训练阶段，并利用每维度时间几何结构，DriftingVLA 实现了原生的单步部署。这种方法解决了基于流的 VLA 的延迟瓶颈，同时保持了复杂机器人操作所需的表现力和协调能力，为实现实时、高性能的机器人控制提供了一条可行路径。