🤖 AI

VGAS: Value-Guided Action-Chunk Selection for Few-Shot Vision-Language-Action Adaptation

本文介绍了 VGAS，一种由价值引导的动作块选择框架，它通过将高召回提议生成器与基于几何的评判器相结合，并引入显式几何正则化，以解决歧义并提升在有限监督下的鲁棒性，从而增强少样本视觉 - 语言 - 动作的适应能力。

原作者： Changhua Xu, En Yu, Junyu Xuan, Jie Lu

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Changhua Xu, En Yu, Junyu Xuan, Jie Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人通过视频摄像头和语音指令抓取特定物体（比如一个罐子）。你只有时间向机器人展示五次如何操作的示例。这就是“少样本”问题：从极少量的演示中学习复杂的物理技能。

本文介绍了一种名为VGAS（价值引导的动作块选择）的新方法，旨在解决机器人试图从这些少量示例中泛化时失败的问题。

以下是其工作原理的分解，使用简单的类比说明：

问题：“差之毫厘”的错误

当前的机器人使用“视觉 - 语言 - 动作”（VLA）模型。可以将此模型想象成一位非常聪明的学生，他阅读了数百万本关于机器人的书籍（预训练），但只看过五个关于抓取罐子的具体视频（微调）。

当你要求这位学生在与视频所示位置略有不同的地方抓取罐子时，他们通常能理解概念（“我需要抓住罐子”）。然而，他们往往在几何精度上失败。

类比：想象这位学生试图将飞镖投向靶心。他们知道需要瞄准中心（语义），但由于练习不足，投掷会略有偏差。他们可能会偏离一英寸。
后果：在现实世界中，偏离一英寸意味着机器人的手击中了桌子而不是罐子，或者抓得太松。论文将这些称为“差之毫厘”的动作。它们在理论上看起来正确，但在实践中却失败了。

解决方案：“多试几次，择优录取”策略

VGAS 不再试图强迫机器人每次猜测都完美，而是改变了策略。它将工作分为两部分：生成和选择。

1. 生成器（“创意梦想家”）

首先，机器人利用其标准训练生成许多可能的移动手臂方式（称为“动作块”）。

类比：想象机器人正在进行一场头脑风暴。它迅速勾勒出 10 种它可能抓取罐子的方式。其中大多数草图还可以，但有些略有偏差。这里的目标仅仅是提出大量想法（高召回率）。

2. 评判者（“几何法官”）

这是核心创新。论文引入了一位特殊的“法官”（一个名为Q-Chunk-Former的神经网络），它查看所有 10 张草图并选出唯一最好的那一张。

旧法官的问题：以前的法官过于严格。他们会说：“这张草图与训练视频不完全一样，所以是坏的”，并拒绝所有不是完美复制品的选项。这就像一位老师，如果任何文章没有使用与教科书完全相同的词语，就给它打不及格。
VGAS 法官：VGAS 法官更聪明。它理解机器人在几何（距离、角度、位置）上需要精确。它查看 10 张草图并说："3 号草图略有偏差，但 7 号草图非常接近完美路径。”它选择了 7 号。

秘密武器：“显式几何正则化”（EGR）

既然法官只看过五个视频，它是如何学会如此精确的？论文引入了一种特殊的训练规则，称为显式几何正则化（EGR）。

类比：想象你在教学生画一个圆。
- 旧方法：你给他们看一个完美的圆。如果他们画了一个稍微压扁的圆，你说“错”。如果他们画了一个稍微大一点的圆，你说“错”。他们学会只复制他们看到的那个精确的圆。
- VGAS 方法（EGR）：你给他们看完美的圆，但也告诉他们：“如果你的圆稍微有点压扁，那还可以，但压扁得越厉害，‘分数’就越低。”你创造了一个平滑的山谷状评分。完美的圆位于谷底（最佳分数）。稍微压扁的圆在山上稍高一点。糟糕的圆则在山顶很高的地方。
- 结果：机器人了解到存在一个质量的“平滑斜坡”。即使不是完全的训练示例，它也能选择最接近谷底的那个候选项。这防止了“价值景观”的崩塌，即所有选项看起来都同样糟糕。

实际运作方式

采样：机器人生成 10 个不同的移动计划（动作块）。
评分：“几何法官”根据每个计划接近完美物理执行的程度进行评分，而不仅仅是看它多么符合文本指令。
选择：机器人选择得分最高的计划并执行它。

结果

作者在名为LIBERO的基准测试中对此进行了测试，该测试涉及机器人将物体移动到特定位置等任务。

结果：在“5 次样本”场景（仅 5 个示例）中，标准机器人成功率约为40%。VGAS 机器人的成功率约为49%。
重要性：虽然百分比的提升看起来很小，但在机器人领域，可靠性提高 10% 是巨大的。这意味着当情况发生轻微变化时，机器人掉落物体或撞到其他东西的可能性要小得多。

总结

VGAS就像给机器人配备了一双“第二双眼睛”，专门负责物理精度。它不再指望机器人的第一次猜测就是完美的，而是生成许多猜测，并利用一位专门的法官选出在几何上最接近成功的那一个。这使得机器人能够从极少量的示例中学习新的物理任务，而无需在第一次尝试时就做到完美。

技术摘要：VGAS——面向少样本视觉 - 语言 - 动作适应的价值引导动作块选择

1. 问题定义

视觉 - 语言 - 动作（VLA）模型已成为具身智能的变革性范式，能够将多模态输入（视觉观测和语言指令）映射到物理控制。然而，在演示数据稀缺（少样本）的情况下，将这些通用策略适应到新任务仍不可靠。虽然监督微调（SFT）使模型能够捕捉任务语义，但在监督有限的情况下，它往往无法解决细粒度的几何歧义。

核心问题在于，在数据稀缺的设置下（例如 5 样本适应），微调后的 VLA 策略产生的动作轨迹在语义上看似合理，但在几何上却不精确。这些“差之毫厘”的动作——在末端执行器姿态或关节角度上略微偏离真实值——会导致执行结果发散，例如抓取不准确或关节过冲。标准的离线强化学习（ORL）方法在此面临困境，原因如下：

结构不匹配：现代 VLA 输出时间上延长的动作块（chunks），而非原子步骤，这创建了一个半马尔可夫决策过程（SMDP），使得价值学习和信用分配变得复杂。
排序分辨率与保守性的矛盾：传统的保守 ORL 目标（如 CQL）不加区分地抑制分布外（OOD）动作。在少样本设置中，这会压缩有效“差之毫厘”候选项与灾难性失败之间的价值差距，破坏推理时选择所需的细粒度排序分辨率。

2. 方法论：VGAS

作者提出了VGAS（价值引导动作块选择），这是一个将少样本 VLA 适应重构为生成 - 选择问题的框架。它将策略解耦为高召回率的生成器和高精度的评论家，通过推理时的 Best-of-N 选择，识别出既语义忠实又几何精确的动作块。

2.1 框架概述

生成：一个基础 VLA 策略（ $\pi_\mu$ ），在少量演示数据上通过 SFT 微调，充当提议生成器。在推理时，它采样 $N$ 个候选动作块 $\{A^{(i)}_t\}_{i=1}^N$ 。
选择：一个学习到的评论家（ $Q_\theta$ ）评估这些候选项。最终动作通过 Best-of-N 选择： $A^*_t = \arg\max_i Q_\theta(s_t, A^{(i)}_t)$ 。

2.2 关键组件

A. Q-Chunk-Former（评论家架构）

为了解决估计高维、时间上延长的动作块价值的挑战，作者引入了Q-Chunk-Former，这是一种基于 Transformer 的评论家。

状态 - 动作融合（SAF）：与将视觉、语言和本体感知标记进行朴素拼接（这通常导致模型忽略关键几何线索）不同，SAF 在多模态融合之前，显式地将原始动作块条件化于机器人的本体感知状态（ $p_t$ ）。这确保了可行性感知的价值估计。
时间建模：该架构保留了动作块内的标记级特征和时间顺序，使注意力机制能够专注于对精确价值估计至关重要的几何线索。

B. 优化目标

评论家使用结合时间一致性和空间几何正则化的混合目标进行训练：
$\min_\theta \mathcal{J}(\theta) = \mathcal{L}_{TD}(Q_\theta) + \lambda \mathcal{L}_{EGR}(Q_\theta)$

提议约束的块状期望最大（TD 损失）：
为了确保与 Best-of-N 选择规则的时间一致性，作者将期望最大（EMaQ）算子适配到块状 SMDP 设置中。贝尔曼备份针对来自冻结策略 $\pi_\mu$ 的 $N$ 个采样提议的期望最大回报，确保评论家学习诱导选择策略 $\pi^{(N)}_{\mu,Q}$ 的价值函数。
显式几何正则化（EGR）：
为了防止价值景观坍塌并维持“差之毫厘”候选项之间的排序分辨率，EGR 注入密集几何监督。它包含两部分：
- 几何锚定（ $\mathcal{L}_{anchor}$ ）：将价值尺度锚定在 TD 目标上，同时基于加权欧几里得距离惩罚与专家演示块的偏差。这将价值景观塑造为平滑的漏斗状。
- 几何排序（ $\mathcal{L}_{rank}$ ）：一种成对排序损失，强制评论家保留对应于几何邻近性的相对价值差异。这确保了即使两个候选项都是 OOD，靠近专家轨迹的候选项也会获得比远离专家轨迹的候选项更高的价值。

3. 主要贡献

适应的重构：本文将少样本 VLA 适应的范式从基于似然的生成转变为结果感知、价值引导的选择，明确解决了几何精度瓶颈。
Q-Chunk-Former：一种新颖的评论家架构，通过将本体感知状态直接整合到动作标记表示中，有效地将高维多模态观测 grounded 为精确的块级价值估计。
显式几何正则化（EGR）：一种正则化技术，防止提议支持的候选项之间的价值差距被压缩。通过利用几何先验塑造价值景观，它使得在监督稀缺的情况下进行可靠的 Best-of-N 选择成为可能。
理论保证：作者提供了理论证明，展示了块级价值算子的收敛性，以及在 EGR 锚定包络下 Best-of-N 选择的界限。

4. 实验结果

该方法在 LIBERO 基准测试（包含 Spatial、Object、Goal 和 Long 套件）的 5 样本适应设置下进行了评估。

性能：VGAS 实现了 49.0% 的平均成功率，显著优于：
- SFT 基线（BC-Only）：39.8%
- 保守 ORL 基线（QC-M+CQL, QC-T+CQL）：约 42%
- 相同设置下的其他 VLA 基线（例如 $\pi_0$ -FAST, Diffusion Policy）。
消融研究：
- 移除 EGR 导致性能急剧下降（至 36.4%），证实如果没有几何塑造，评论家无法区分“差之毫厘”的候选项与失败项。
- 移除 Transformer 骨干（Q-Chunk-Former）降低了性能，验证了注意力机制对于多模态依赖的必要性。
- 移除时间一致性项（TD）降低了性能，表明需要一个稳定的时间锚点。
可视化：价值景观的分析表明，虽然标准 CQL 会均匀地压缩价值，但 VGAS 创建了一个分级、可区分的景观，该景观随与专家几何距离的增加而平滑衰减，从而实现了有效的选择。

5. 意义与主张

本文主张 VGAS 解决了具身智能的一个关键局限：当前 VLA 模型在数据稀缺情况下无法进行几何泛化。通过将语义生成与几何选择解耦，VGAS 证明了价值引导选择可以在不需要在线探索或海量数据集的情况下，显著提高鲁棒性和成功率。

作者指出，虽然 VGAS 提高了性能，但由于 Best-of-N 采样，它引入了推理时的计算延迟，这可能限制其在高频控制场景中的应用。此外，将该方法扩展到真实世界硬件仍是未来的工作方向。核心贡献在于提供了一个理论和实践框架，通过几何 grounded 的价值学习来稳定少样本 regime 下的 VLA 适应。