🤖 machine learning

DiMaS: Distribution Matching for Steering Vision-Language-Action Models

本文介绍了 DiMaS，这是一种分布匹配引导策略，它通过传输表示分布而非沿固定方向偏移，克服了经典线性方法的局限性，从而实现了基于流匹配的视觉-语言-动作模型中的细粒度行为控制。

原作者： Pegah Khayatan, Sara Meziane, Jayneel Parekh, Matthieu Cord

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Pegah Khayatan, Sara Meziane, Jayneel Parekh, Matthieu Cord

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人不再仅仅遵循僵化的脚本，而是能够真正“感知”到轻微的推搡与粗暴的撞击之间的区别的世界。这就是视觉-语言-动作（Vision-Language-Action, VLA）模型的领域——人工智能的一个前沿角落。在这里，计算机通过摄像头学习观察世界，通过语言理解指令，然后物理性地移动机械臂来完成任务。可以将这些模型想象成一个超级聪明的头脑，它读遍了所有的书并看过了所有的视频，现在正试图弄清楚如何使用一双机械手。

但问题在于：虽然这些机器人在“做什么”（比如“拿起杯子”）方面变得越来越出色，但在“如何做”方面仍然有些笨拙。我们希望能够告诉它们：“拿起杯子，但动作要慢一点”，或者“把它拿起来，但不要抬得太高”。在人工智能领域，这被称为行为控制（behavioral control）。长期以来，科学家们尝试通过简单地在机器人的内部“想法”中进行直线推移来控制它们，就像稍微把车向左推一下让它转向一样。然而，这篇论文指出，对于最新、最先进的机器人来说，这种直线式的推移是不够的。这就像是试图通过仅仅告诉舞者“向左移动”来引导一场复杂的舞蹈，而这场舞蹈实际上需要旋转、下蹲和跳跃同时进行。

于是，DiMaS（分布匹配引导，Distribution Matching for Steering）登场了，这是由 Pegah Khayatan 及其团队提出的一种新方法。DiMaS 不再只是将机器人的内部想法向单一方向推，而是扮演着一位大师级编舞师的角色，它会观察整个“慢速”动作群体和整个“快速”动作群体。它学习“慢速”群体的精确形状和“快速”群体的精确形状，然后轻轻地重塑机器人当前的“想法”，使其符合“慢速”群体的模式。

研究人员在两个目前最智能的机器人大脑——SmolVLA 和 $\pi_{0.5}$ 上测试了这一方法，使用的是一个名为 LIBERO 的虚拟游乐场，在那里机器人必须执行诸如堆叠积木或移动物体等任务。他们发现，旧有的“直线型”方法表现得并不稳定；有时有效，但经常无法改变机器人的速度或高度，或者导致机器人完全无法完成任务。相比之下，DiMaS 成功地教会了机器人移动得更慢或将物体抬得更低，并且在做到这些的同时，还能确保机器人按计划完成工作。

团队还发现了一些关于旧方法为何失败的迷人现象。他们窥视了机器人的大脑内部，发现虽然你可以很容易地分辨出“快速”的想法和“慢速”的想法（它们很容易区分），但你无法仅通过添加一个简单的数字就将一种想法转化为另一种。这种关系过于复杂，就像试图通过单向拉伸将正方形变成圆形一样；你需要重塑整个形状。DiMaS 正是如此：它重塑机器人的内部状态，以匹配期望的行为。

或许最令人印象深刻的是，研究人员测试了这种新技能是否可以迁移到机器人从未见过的任务中。他们用一组谜题教会机器人如何缓慢移动，然后要求它解决完全不同的谜题。该方法表现得相当出色，这表明机器人学到的是关于“缓慢移动”的一般规则，而不仅仅是记住了某个特定游戏的特定技巧。虽然当任务变得非常不同或机器人需要长时间移动时，机器人的表现略显吃力，但这种在不破坏“完成任务”能力的前提下控制机器人“如何移动”的能力，是向前迈出的重要一步。

简而言之，这篇论文表明，要真正控制先进的机器人，我们需要停止将它们的内部思维视为我们可以随意调大或调小的简单旋钮。相反，我们需要将它们视为复杂的景观，利用一张地图（DiMaS）来引导它们从一种行为模式过渡到另一种行为模式，确保它们在整个过程中依然能完美地起舞。

技术摘要：DiMaS —— 用于驱动视觉-语言-动作模型（VLA）的分布匹配技术

问题陈述

视觉-语言-动作（VLA）模型，特别是那些利用流匹配（flow-matching）动作专家的模型，已成为机器人操控领域强大的策略。然而，一个关键能力仍未得到充分探索：细粒度的行为控制。虽然表示引导（representation steering）是大型语言模型（LLM）和视觉-语言模型（VLM）中一种成熟的解释性工具——其中行为特征通常被编码为线性方向——但本文证明，经典的线性引导方法在 VLA 设置中表现不佳。

核心挑战在于，VLA 通过流匹配生成连续的动作轨迹，而非离散的标记（tokens）。作者假设，在这些视觉运动设置中，行为特征并不像在语言模型中那样具有线性可引导性。现有的依赖于沿固定线性方向进行固定加性偏移的方法，无法在不损害任务成功率或无法可靠诱导所需变化的情况下，有效地控制特定的行为属性（例如运动速度或垂直位移）。

方法论：DiMaS

作者提出了 DiMaS（分布匹配引导，Distribution Matching Steering），这是一种专门为流匹配 VLA 量身定制的策略。DiMaS 不再是沿着固定的线性方向移动表示，而是学习一种在不同分布之间传输表示的映射。

核心组件

表示溯源： 该方法从 VLA 的动作专家（ $f_A$ ）在特定层（ $l$ ）和流匹配去噪步骤（ $m$ ）处提取残差流表示（ $h$ ）。选择动作专家而非 VLM 主干网络，是因为动作专家中的表示在行为特征上表现出更高的线性可分性。
特征提取： 从预测的动作中导出连续标量行为特征（例如，末端执行器速度或垂直位移）。
分布划分： 将表示划分为源分布（ $\mathcal{D}^-$ ，特征缺失/低值）和目标分布（ $\mathcal{D}^+$ ，特征存在/高值）。通过对经验分位数进行阈值处理来实现这一点，以确保群体之间具有良好的分离度。
最优传输映射： 引导干预被定义为一个将表示从 $\mathcal{D}^-$ 移动到 $\mathcal{D}^+$ 的传输映射 $\mathcal{T}$ 。该映射通过最小化 Kantorovich 最优传输目标（具体为 $W_2$ 距离）并使用低秩 Sinkhorn 算法进行学习。它遵循了分布的完整几何结构，而不是假设单一的线性方向。
推理时干预：
- 门控（Gating）： 一个二元分类器（线性探测器）用于确定一个表示是否属于源分布（特征缺失）。仅在特征缺失时才应用引导。
- 插值（Interpolation）： 为了保持任务成功率，该方法并未将表示完全传输到目标分布。相反，它使用旋钮 $\alpha \in [0, 1]$ 在原始表示与传输后的表示之间进行插值。
- 更新规则： $h' = (1-\alpha)h + \alpha(\mathcal{T} \circ P(h))$ ，其中 $P$ 是向源分布进行的最近邻投影。

核心贡献

DiMaS 机制： 一种基于分布匹配（最优传输）的新型引导策略，专门针对流匹配 VLA 进行了适配。它对表示进行干预，并在不同规模的模型（SmolVLA 和 $\pi0.5$ ）上进行了验证。
泛化性分析： 本文表征了行为控制在日益不同的任务之间的可迁移性。研究表明，从子集任务中学习到的引导可以泛化到留出任务甚至不相干的任务套件，尽管其有效性随任务多样性而变化。
结构性洞察： 通过对动作专家表示结构的分析，作者解释了为什么经典的线性引导在 VLA 中会失效。他们展示了虽然行为特征是线性可解码的（可通过分类器分离），但不是线性可引导的（固定的偏移无法将源分布转化为目标分布）。这为 DiMaS 的分布匹配设计提供了动机。

实验结果

该方法在 LIBERO 基准测试（包括 Object, Spatial, Goal, 和 10 个套件）上，使用两种最先进的 VLA 模型——SmolVLA 和 $\pi0.5$ 进行了评估。

控制效能： DiMaS 成功地调节了目标特征（运动速度和垂直位移）的增加与减少方向。相比之下，线性引导基线（均值差异法和基于回归的方法）以及提示词注入（prompt injection）基线表现不稳定，经常出现无法改变特征或改变方向错误的现象。
任务成功率： 在调节速度时，DiMaS 在很大程度上保留了任务成功率。然而，调节垂直位移会导致成功率下降，作者将其归因于该特征与任务完成本质相关（例如，垂直提升不足会导致无法放置物体）。
泛化性：
- 任务多样性： 从多个任务共同学习（设置 2）比从单个任务学习（设置 1）产生的效果更稳定。
- 分布外（OOD）迁移： 当应用于同一套件内的留出任务时，DiMaS 仍然有效；在迁移到不相干的套件时，其有效性稍有下降。在多样性最高的套件（LIBERO-Goal）中效果最弱，这表明高度的行为异质性会对学习到的传输映射构成挑战。
- 长程任务： 该方法在长程任务（LIBERO-10）上依然有效，表现为显著降低速度的同时，仅付出了可控的成功率代价。
插值权衡： 插值参数 $\alpha$ 允许在引导强度与成功率之间进行可调权衡。研究发现，中间值（如 $\alpha=0.5$ ）能提供理想的平衡，在大幅降低速度的同时保留了大部分成功的序列。

意义与主张

本文声称 DiMaS 为 VLA 提供了一种鲁棒的**事后行为控制（post-hoc behavioral control）**机制，解决了用户只能决定机器人“做什么”而难以塑造机器人“如何做”的空白。

理论洞察： 这项工作在 VLA 领域提供了一个至关重要的区分：行为特征是线性可解码的，但不是线性可引导的。这一发现挑战了将 LLM 的线性引导范式直接应用于视觉运动控制的做法，并证明了使用最优传输的合理性。
实际效用： 通过在控制特定行为（如速度）的同时保留任务成功率，DiMaS 提供了一个实用的接口，无需重新训练模型即可塑造机器人行为。
局限性与谦逊态度： 作者承认，由于物理约束，调节垂直位移本质上具有风险，会影响任务成功。他们还指出，当前方法对所有时间步进行统一处理，且将表示与分块输出（chunked outputs）中的动作进行关联是一种近似处理。

总之，DiMaS 证明了分布匹配是引导流匹配 VLA 的一种必要且有效的途径，为机器人操控中的表示级控制提供了一个可泛化的框架。