🤖 machine learning

Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking

本文介绍了概率分块掩码（PCM），这是一种基于 GRPO 的视觉 - 语言 - 动作（VLA）强化学习的计算高效改进方法，它通过仅对成功与失败轨迹产生分歧的轨迹分块进行选择性反向传播梯度，从而显著加速训练并降低内存占用，且无需额外的奖励模型或评论家。

原作者： Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人执行一项复杂任务，比如拿起一个马克杯并将其放入碗中。你使用一种称为**强化学习（RL）**的方法，其运作方式类似于试错游戏。机器人会多次尝试该任务（称为“ rollout"）。有时它会成功，有时则会失败。基于这些结果，机器人会更新其“大脑”（即其“策略”），以便下次做得更好。

这篇论文指出，目前教这些机器人的方式极其浪费。以下是该问题及其解决方案的分解，使用了简单的类比。

问题：“全有或全无”的学习指南

目前，当机器人尝试一项任务时，它会生成一段记录其动作的长视频（即轨迹）。假设这段视频时长为 64 秒。

旧方法： 计算机查看每段视频的每一秒，以找出如何改进机器人。它会计算每一刻的“分数”。
现实情况： 论文发现，对于视频中的大部分时间，机器人只是在执行它已经掌握的枯燥、常规的动作（例如将手臂移向桌子）。无论机器人成功还是失败，这些常规秒数看起来几乎完全相同。
浪费： 计算机花费了约78% 的时间来计算这些常规秒数的分数，尽管它们并没有教给机器人任何新东西。这就像一位老师批改学生的作文，花几个小时检查学生已经掌握的单词拼写，却忽略了学生逻辑出错的那个段落。

论文发现，真正的学习只发生在少数特定时刻，即成功机器人与失败机器人分道扬镳（走向不同方向）的时刻。这些是“决策关键”时刻，例如机器人试图抓取马克杯的确切那一秒。

解决方案：“概率分块掩码”（PCM）

作者创造了一种名为PCM的新方法。把它想象成一份智能学习指南，它告诉计算机：“停止批改枯燥的部分。只批改学生真正犯错或做出精彩举动的那部分。”

以下是 PCM 逐步的工作原理：

将视频切分为分块： 计算机不再查看每一秒，而是将视频切割成小块（分块）。
寻找“分歧点”： 系统查看成功视频和失败视频。它会问：“它们是从哪里开始变得不同的？”
- 类比： 想象两名跑步者。他们跑完第一英里时完全一样。然后，A 选手被一块石头绊倒，而 B 选手继续前进。这个“分歧点”就是绊倒的那一刻。论文中的系统识别出这一特定时刻是学习唯一需要的部分。
“掩码”技巧： 系统创建一个“掩码”，在物理上阻止计算机查看枯燥的常规分块。它只保留“分歧”分块（即成功与失败存在差异的那些分块）。
预算限制： 计算机只被允许查看少量这些重要分块（例如，64 个中只选 12 个）。它会忽略其余部分。

为什么这很重要

论文在三个不同的机器人基准测试（LIBERO-Object、LIBERO-Spatial 和 LIBERO-Goal）上测试了这种方法。结果令人印象深刻：

速度： 训练过程快了2.38 倍。达到相同技能水平所需的时间减少了一半以上。
效率： 计算机执行的繁重计算（梯度更新）次数减少了4.8 倍。
内存： 它使用了60% 更少的内存，意味着它可以在更小、更便宜的计算机上运行。
性能： 尽管忽略了 80% 的视频数据，机器人学到的效果与旧方法一样好。它达到了相同的成功率。

秘诀：“动作方差”

计算机如何知道该保留哪些分块，而无需人类告知？
论文使用了一种称为成功 - 失败动作方差的巧妙技巧。

如果在特定分块期间，机器人手臂在“成功”视频中的移动方式与“失败”视频中的移动方式略有不同，则该分块获得高分。
如果手臂在成功和失败视频中的移动方式完全相同，则该分块获得低分并被忽略。

这就像教练观看比赛录像。如果球队进球了，教练不需要重看导致进球的那 10 分钟传球，前提是每次传球都完美无缺。教练只需要研究那一瞬间，即球员做出错误动作或改变比赛的精彩动作的时刻。

总结

论文指出：“停止浪费时间去批改机器人已经掌握的内容。”

通过使用概率分块掩码，系统自动在长视频中找出机器人真正学习的几秒钟，忽略其余部分，并以更快、更便宜的方式更新机器人的大脑，而不会损失任何智能。它通过只关注结果分道扬镳的时刻，将缓慢、昂贵的过程转变为快速、高效的过程。

技术摘要：通过概率分块掩码学习结果分歧点

问题陈述

强化学习（RL）正越来越多地用于微调视觉 - 语言 - 动作（VLA）模型，使其能够泛化到训练分布之外。尽管组相对策略优化（GRPO）已成为一种无需评论家（critic-free）的首选方法，但训练后阶段仍然计算昂贵。

与普遍假设的 rollout 数据收集是瓶颈相反，本文指出梯度计算是主要成本，在基于模拟器的 GRPO 运行中，每个训练步骤的挂钟时间中约占78%。作者认为，这种低效源于标准 RL 算法中的结构性缺陷：它们将整个轨迹视为梯度计算的单元。因此，反向传播在所有动作分块上均匀执行，包括策略已经收敛的阶段（例如在监督微调期间）以及成功与失败的 rollout 未发生分歧的阶段。由于 GRPO 的学习信号由成功与失败 rollout 之间优势值的方差驱动，在结果不变的分块上计算梯度会产生微乎其微的学习信号，却消耗大量的内存和计算资源。

方法论：概率分块掩码（PCM）

本文提出了概率分块掩码（PCM），这是一种对 GRPO 的即插即用式修改，能够动态地将梯度计算分配给每个轨迹中少量经概率选择的分块子集。

核心机制

阶段分解：使用确定性的、基于夹爪状态的规则，将轨迹划分为语义阶段（例如：接近、预抓取、主动抓取、释放斜坡、尾部）。
方差代理（ $C_c$ ）：与其计算需要访问梯度分布的真实每阶段梯度方差（ $V_c$ $V_{c}$ ），PCM 使用一个可测量的代理：成功 - 失败动作方差（ $C_c$ $C_{c}$ ）。
- $C_c$ 直接从 rollout 组中计算，为特定阶段 $c$ 内成功与失败 rollout 的平均动作之差的范数。
- 本文证明（引理 2） $C_c$ 可作为 $V_c$ 的下界代理，从而证明其用于分配的合理性。
最优分配（Neyman 分配）：作者推导出，在固定分块预算 $B$ 下最小化梯度估计量的方差时，分块的采样比例应遵循 $N_c \sqrt{V_c}$ ，其中 $N_c$ 是阶段 $c$ 中的分块数量。
在线估计与掩码：
- 评分：利用 $C_c$ 分数的缓冲区在线更新阶段级的保留概率，并进行归一化以确保尺度不变性。
- 下限：强制实施最小保留概率（ $p_{min} = 0.1$ ），以防止任何阶段在结构上被排除，从而确保探索。
- 物理缩减：选定的分块在前向和反向传递之前从批次张量中物理移除。这减少了激活内存和策略更新计算时间。
- 有偏估计量：掩码后的目标函数省略了重要性权重，导致估计量有偏。然而，由于未选中的分块对应于低方差（因此梯度幅度低）的阶段，偏差受到抑制，使得这种权衡有利于收敛速度。

主要贡献

瓶颈识别：本文证明，在基于 GRPO 的 VLA RL 中，梯度计算（而非 rollout 收集）是主要的计算瓶颈，这是由在非信息性轨迹阶段上的均匀分配所驱动的。
理论框架：它将每阶段梯度方差（ $V_c$ ）形式化为分配的正确信号，并推导出 Neyman 分配策略（ $b^*_c \propto N_c \sqrt{V_c}$ ）以最小化估计量方差。
实用代理：它确立了成功 - 失败动作方差（ $C_c$ ）作为 $V_c$ 的充分代理，该方差可从现有的 GRPO rollout 中计算得出，无需奖励模型或评论家。
算法实现：它引入了 PCM，一种从反向传递中物理移除未选中分块的方法，在不需额外学习组件的情况下实现了显著的效率提升。

实证结果

在 OpenVLA-OFT 模型上对三个LIBERO 基准（物体、目标、空间）进行了评估：

挂钟速度提升：与标准 GRPO 相比，PCM 达到 98% 成功率所需的时间实现了2.38 倍的加速。
梯度效率：每一步的梯度更新速度快4.8 倍。
内存减少：峰值激活内存减少了60%，峰值 GPU 内存减少了 15%。
分块利用率：该方法仅对**少于 20%**的轨迹分块进行反向传播（在默认设置下，64 个分块中仅 12 个），同时达到了与全轨迹 GRPO 相同的最终成功率。
消融研究：
- 预算敏感性：发现分块预算 $B=12$ （约占总分块的 19%）是最佳工作点，在信号捕获和计算节省之间取得了平衡。
- 选择策略：方差感知的概率选择显著优于随机掩码（后者在较低准确率处达到平台期）和“完全掩码”（仅限制更新到最高方差阶段），证明了平衡集中与探索的必要性。

意义与主张

本文声称，PCM 代表了 VLA RL 中梯度资源分配方式的根本转变。通过认识到学习信号集中在特定的“结果分歧”阶段，该方法避免在策略已经处理良好的阶段浪费计算资源。

作者强调，这种方法：

不需要奖励模型或学习的评论家，仅依赖内部 rollout 统计信息。
是一种即插即用式修改，与现有的 GRPO 流程兼容。
通过梯度计算作为可分配资源而非每个时间步的固定成本来处理，解决了许多 RL 算法（不仅限于 VLA 模型）共有的结构性低效问题。

这项工作表明，未来 RL 微调的效率提升可能更多地来自更智能的、方差感知的反向传递分配，而非更快的模拟器。