🤖 AI

Elastic Queries Reinforcement Learning: Self-Aware Policy Execution for VLA Models

本文介绍了弹性查询强化学习（Elastic Queries Reinforcement Learning, EQRL），这是一个通过根据状态难度动态调整推理步数和动作块长度来增强视觉-语言-动作（Vision-Language-Action, VLA）模型的框架，从而在保持或提高机器人操控任务成功率的同时降低计算成本。

原作者： Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、受过高度训练的机器人厨师。这位厨师读遍了世界上所有的食谱（这是一个“视觉-语言-动作”或 VLA 模型），完全懂得如何切菜、搅拌和摆盘。然而，现在的他有点死板。无论他在做什么，他都遵循一套严格且不可更改的流程：

在做出任何动作之前，他必须先停下来思考整整 10 秒钟。
他会在脑海中规划好接下来的 5 个动作。
他会连续执行这 5 个动作，期间完全不检查是否出了差错。
然后，他会再次停顿 10 秒钟，来规划下一次的 5 个动作。

问题所在：
这种“一刀切”的流程效率极低。

简单时刻： 当厨师只是走过厨房去拿一把勺子时，他不需要进行 10 秒钟的深度思考。他本可以在 1 秒钟内完成这件事；而且，他也不需要规划 5 个动作，只需要拿起勺子继续走即可。
困难时刻： 当厨师正要把热汤倒入一个极小的杯子里而不洒出来时，他迫切需要那 10 秒钟的思考。而且，他也需要每滴一滴都检查一次，而不是等 5 个动作完成后再检查。

目前，这个机器人要么在简单的任务上过度思考，浪费时间；要么在困难的任务上思考不足。

解决方案：EQRL（弹性查询强化学习）
作者们创建了一个“智能经理”（称为适配器/adaptor），它坐在机器人厨师与厨房之间。这个经理可以根据当前情况的难易程度，拉伸或收缩机器人的常规流程。

以下是它的工作原理，我们使用一个公路旅行的比喻：

1. 弹性时间表（“红绿灯”系统）

经理不再使用固定流程，而是观察前方的路况（机器人的当前状态），并立即决定两件事：

“思考”多少（去噪预算/Denoising Budget）： 如果前方是笔直、空旷的高速公路（简单状态），经理会告诉机器人：“别想太多，快速扫一眼就行。”如果前方是乱石飞舞、充满危险的施工区（困难状态），经理会说：“停下！深入思考并分析每一个角度。”
在检查前开多远（块长度/Chunk Length）： 在高速公路上，经理会说：“开 5 英里后再看地图。”在施工区，他们会说：“开 10 英尺，停下，看一眼地图，然后再继续开。”

这种灵活性被称为**“弹性查询”（Elastic Queries）**。当情况变得艰难时，机器人会增加思考时间并缩短行驶距离；而在情况容易时，则反之。

2. “难度传感器”（评论家/Critic）

经理是如何知道情况变难了的？他们并不靠猜。

系统使用了一组“评委”（评论家集成/Critic Ensemble）。这些评委观察当前情况，并对一个计划的好坏进行投票。
如果所有评委意见一致，说明情况很简单。
如果评委们在争论或意见不一，说明情况很困难。
经理会将这种分歧作为信号：“嘿，评委们很困惑！这是一个困难阶段。让我们慢下来，多思考，并更频繁地检查我们的工作。”

3. 结果：在不输掉比赛的前提下节省能量

研究人员在计算机模拟（类似于电子游戏）和真实的机器人实验中测试了这个系统。

结果： 使用这种“弹性”方法的机器人，其任务完成的成功率与使用僵化方法的机器人一样高（甚至更高）。
优势： 由于停止了在简单任务上浪费思考时间，它们节省了 20% 到 24% 的计算能力（减少了“大脑周期”）。
现实世界： 在真实的机器人倒液体或移动物体时，弹性机器人表现得更快、更高效，它们只在即将洒出或掉落物品时才投入“大脑力量”。

总结

可以将 EQRL 理解为教会机器人了解自己的极限。机器人不再以一种恒定、令人精疲力竭的节奏跑马拉松，而是学会了在平坦路面上轻松慢跑，并在遇到陡坡时才进行高强度的专注冲刺。它通过变得“有弹性”而非“僵化”，从而在完成任务的同时，实现了更快的速度和更低的能耗。

技术摘要：弹性查询强化学习 (EQRL)

问题陈述

视觉-语言-动作 (VLA) 模型已成为机器人操控的强大生成器，通常利用基于流（flow-based）或基于扩散（diffusion-based）的架构来生成具有时间连贯性的动作块（action chunks）。然而，目前的执行接口是僵化的：它们采用固定的去噪预算（采样步数）和固定的动作块长度，而不考虑状态的难易程度。这种僵化导致了效率低下；简单的状态（例如自由空间移动）往往会获得过多的计算和频繁的重规划，而困难的状态（例如接触密集型的对齐或恢复）则可能面临反馈不足和计算资源匮乏的问题。现有的通过潜空间转向（latent-space steering）来适配 VLA 的后训练方法，通常将执行调度（采样预算和块长度）作为手动超参数，从而阻碍了策略根据状态难度动态分配计算资源的能力。

方法论：EQRL 框架

作者提出了弹性查询强化学习 (Elastic Queries Reinforcement Learning, EQRL) 框架，该框架将 VLA 执行视为一个关于潜空间转向、去噪预算和动作块长度的联合决策问题，且无需对底层的冻结 VLA 模型进行微调。

1. 潜空间调度查询动作

在每个查询 $j$ 时，一个轻量级的 RL 适配器（actor）观察当前状态 $o_{t_j}$ 并输出一个联合动作 $u_j = (w_j, z^K_j, z^C_j)$ ：

$w_j$ ：一个引导冻结 VLA 采样器的潜空间转向变量。
$z^K_j, z^C_j$ ：连续调度变量，代表去噪预算 ( $K$ ) 和块长度 ( $C$ ) 在基础调度周围的残差。

2. 难度引导的调度参数化

为了确保调度能够感知状态难度，EQRL 使用了一个在联合潜空间-调度动作空间上训练的评论家集成 (critic ensemble) $\{Q^{(i)}_\psi\}$ 。

难度信号：系统从评论家集成在基础调度下的预测差异（标准差）中导出状态难度信号 $s(o)$ 。高差异表示高难度。
调度先验：该信号生成一个“调度先验”，为困难状态分配更多的去噪步数 ( $K$ ) 和更短的块长度 ( $C$ )，为简单状态分配较少的步数和较长的块长度 ( $C$ )。
最终调度：最终的执行参数是该难度衍生先验与学习到的 actor 残差的结合，并被裁剪至有效的整数范围。

3. 查询级学习目标

EQRL 将问题表述为查询级宏动作 (macro-action) 强化学习：

宏转换 (Macro-Transitions)：执行长度为 $C$ 的动作块会引起环境中的宏转换。Bellman 回溯使用依赖于块的折扣因子 $\gamma^L$ （其中 $L$ 是实际执行的步数）。
奖励结构：
- 任务奖励：成功回合的最后一个查询会被赋予终止成功奖励。
- 计算成本：实施了一个回合级摊销的函数求值次数 (NFE) 预算。成本定义为总去噪步数与总执行动作之比 ( $\sum K / \sum C$ )。超过预算带的回合会受到惩罚，而处于预算带内的回合则会获得节省奖励。
优化：使用最大熵目标（类似 SAC）来优化 actor，以在保持熵的同时最大化评论家的 Q 值。一个辅助对齐损失鼓励 actor 的局部计算分配与评论家导出的难度信号相匹配。

核心贡献

弹性执行的公式化：本文将冻结的 VLA 执行形式化为一个查询级 RL 问题，其中策略联合选择潜空间转向、去噪预算和动作块长度。
评论家导出的难度引导：引入了一种机制，通过评论家集成的不一致性导出状态相关的计算分配信号，使策略能够“知道”何时投入更多计算。
变长宏动作 RL：开发了一个用于处理变长块的训练框架，该框架使用依赖于块的折扣因子和回合级摊销 NFE 目标，以平衡性能与效率。

实验结果

作者在 LIBERO 和 ALOHA 仿真基准测试，以及离线和在线真实机器人操控任务（使用 DISCOVER Robotics 平台）上评估了 EQRL。

仿真性能：EQRL 实现了与基线（DSRL, RLinf-Noise, RLinf-SDE）相比具有 SOTA 或改进的成功率，同时显著降低了推理成本。
- 在 LIBERO-4Tasks 上，EQRL 将 Success AUC 提高了 0.04，并将相对 NFE 降低了 24.3%。
- 在 ALOHA-Cube 上，EQRL 实现了 100% 的最终成功率（对比 DSRL 的 0.94），并将相对 NFE 降低了 20.0%。
真实机器人性能：在离线和在线设置下，EQRL 在保持相当或更高任务成功率的同时，将相对 NFE 降低了约 32%，并将墙钟轨迹时间（wall-clock trajectory time）缩短了 11–17%。
消融实验：在“放奶酪 (Put Cheese)”任务上的实验表明，收益并非仅仅源于降低平均计算预算。仅调整步数、仅调整块长度或使用无难度感知的固定预算的变体表现均较差。这证实了联合调度和评论家导出的难度感知的必要性。

意义与主张

本文声称 VLA 执行本质上是一个状态相关的资源分配问题。EQRL 证明了可以通过一个轻量级适配器使冻结的 VLA 策略变得“具有弹性”，从而实现动态分配计算资源。

无需微调的效率提升：该方法保留了预训练 VLA 的行为先验，同时适配了执行效率，避免了全模型微调的高昂成本。
自适应执行：通过在困难阶段（如接触对齐）投入更多计算和反馈，而在简单阶段（如自由空间接近）投入较少，EQRL 优化了推理成本与任务成功率之间的权衡。
实用性：结果表明，弹性查询是机器人学习中一种可行的接口，能将计算节省转化为实际的速度提升和改进的接触时间权衡。

作者承认存在局限性，指出离线训练无法完美观察不同调度在没有环境反馈情况下的因果效应，且目前的真实机器人适配需要针对每个任务进行微调，这限制了其在截然不同的操控技能间的泛化能力。