💻 computer science

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

该论文提出了 TEMPO，一种语义-动作解耦的强化学习框架，该框架在冻结视觉-语言骨干网络的同时，对语义投影层和动作专家采用不同的双时间尺度更新策略，以稳定高层表示并加速底层控制学习，从而在基准测试和真实世界的操控任务上均优于现有的监督学习和强化学习后训练方法。

原作者： Ziheng Liu, Quantao Yang

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziheng Liu, Quantao Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人做家务，比如叠衣服或做三明治。你不想手动编写每一个动作的程序；相反，你希望机器人通过观察你并亲自尝试来学习。这就是视觉-语言-动作（VLA）模型的世界。把这些模型想象成机器人的大脑，它结合了三种超能力：视觉（通过摄像头观察世界）、语言（理解你的口头指令，比如“把杯子放在桌子上”）以及动作（实际移动它的手臂去完成任务）。

在机器人能够自主学习之前，它通常会进行大规模的“预训练”，利用海量的数据库，这有点像学生在开始特定工作前读遍图书馆里的每一本书。这给了机器人对世界的通用理解。然而，当你要求它执行一项特定的新任务时，它通常需要额外的帮助。传统上，科学家们使用两种主要方式来提供这种帮助：监督式微调（SFT），这就像是给机器人看一段完美动作的视频，并要求它完全模仿；以及强化学习（RL），这就像是让机器人尝试任务，失败后得到一个“差评”，再次尝试，直到成功时得到一个“好评”。研究人员提出的核心问题是：我们如何教机器人更好地完成现实世界的任务，而不破坏它原有的聪明、通用的知识？

于是，由研究员 Ziheng Liu 和 Quantao Yang 提出的 TEMPO 方法登场了。想象一下机器人的大脑是一个由两部分组成的团队：一位理解大局和指令的学者（Scholar），以及一位研究如何通过具体肌肉运动来完成工作的杂工（Handyman）。在许多现有的方法中，当机器人试图从错误中学习时，科学家会以完全相同的速度更新整个团队。问题在于，如果你因为一次失误就让“学者”太快地改变想法，他们可能会忘记世界的通用规则，导致“杂工”感到困惑并最终失败。

TEMPO 通过拆分团队的学习进度来解决这个问题。它冻结了学者的核心知识（即“预训练的视觉-语言骨干网络”），这样他们就永远不会忘记基础知识。然后，它创建了两个独立的训练循环：学者（具体指将语言转化为计划的部分）更新得非常不频繁。这保持了机器人对任务理解的稳定性。与此同时，杂工（控制肌肉的“动作专家”）更新得非常频繁。这使得机器人能够快速从即时交互中学习，比如“哎呀，我撞到墙了，让我往左边挪挪”。

研究人员在名为 CALVIN 的虚拟世界中测试了这个想法，在这个世界里，机器人必须完成长链条的任务，比如“打开抽屉，拿起积木，然后把它放入盒子里”。他们发现 TEMPO 在处理这类长链条任务时表现最佳。在模拟实验中，TEMPO 能够连续完成全部五个步骤的成功率达到了 81.7%，超过了之前表现最好的方法（其成功率为 81.2%）。更重要的是，当他们在物理实验室中用真实的机械臂进行测试时，TEMPO 在处理棘手情况时表现得更好。例如，如果抽屉只开了一点缝，旧的方法会试图把积木塞进那个微小的缝隙中并失败；而 TEMPO 凭借其稳定的“学者”大脑，意识到它需要先将抽屉开得更大一些，然后再移动积木。

论文还探讨了“杂工”应该比“学者”学习得快多少。他们发现，每当“学者”更新 1 次时，“杂工”更新 5 次的效果是最好的。如果让他们以相同的速度更新，机器人的表现反而会变差，这证明了“双速”方法至关重要。虽然这些结果在模拟和现实测试中都非常令人振奋，但作者也建议，未来的工作可以包括教机器人更详细地理解自己“为什么”失败，而不仅仅是知道自己成功了还是失败了。目前，TEMPO 展示了有时教机器人的最好方式是：让它的双手快速移动，同时保持大脑的沉稳。

技术摘要：TEMPO

问题陈述
视觉-语言-动作（VLA）模型通常通过监督微调（SFT）或在线强化学习（RL）来适配下游机器人操控任务。然而，SFT 受限于分布不匹配问题，因为它优化的是演示数据而非在策略诱导的状态分布下的闭环成功率，这导致在长程任务中会出现误差累积。现有的在线 RL 方法试图解决这一问题，但通常对 VLA 模型的所有可训练组件应用统一的更新策略。这种统一的方法忽略了不同模块之间截然不同的功能角色：语义表示层（编码高层理解）和动作生成模块（映射到可执行控制）。统一更新存在破坏预训练语义表示的风险，同时无法足够快速地调整动作策略以纳入在线控制反馈。

方法论：TEMPO
作者提出了 TEMPO，一个语义-动作解耦的双时间尺度 RL 后训练框架，旨在解决这些冲突。该方法构建于一个模块化 VLA 架构之上（以 FLOWER 为实例），该架构由冻结的预训练视觉-语言骨干网络、语义投影层和动作专家组成。

关键技术组件包括：

解耦优化循环： TEMPO 建立了两个独立的模块级 TD3（双延迟 DDPG）学习循环。
- 语义循环： 使用多模态语义表示 ( $h_t$ ) 作为状态，并将潜在动作 ( $z_t$ ) 作为动作，来优化语义投影层 ( $\pi^s_\theta$ )。预训练的视觉-语言骨干网络保持冻结，以保留通用的语义知识。
- 动作循环： 使用潜在动作 ( $z_t$ ) 作为状态，并将可执行动作块 ( $a_t$ ) 作为动作，来优化动作专家 ( $\pi^a_\phi$ )。
- 两个循环共享相同的稀疏任务奖励（成功为 1，否则为 0），但维持独立的经验回放池、评论家（critic）和目标网络。至关重要的是，梯度不会在两个更新路径之间传播。
频率解耦策略： 核心创新在于两个模块之间的异步更新频率。
- 动作专家被频繁更新，以快速纳入来自在线交互的控制与执行反馈。
- 语义投影层被不频繁地更新，以防止“潜在动作漂移（latent action drift）”，确保语义表示保持稳定，同时让动作策略进行适配。
- 更新频率之比 ( $\rho = f_a / f_s$ ) 是一个可调超参数。作者发现，当 $\rho > 1$ （即动作专家的更新频率高于语义层）时，其表现优于同步更新 ( $\rho = 1$ )。

核心贡献

框架设计： 引入了 TEMPO，这是一个通过专用 RL 循环将 VLA 模型中的语义和动作组件进行解耦优化的框架，在保持冻结骨干网络的同时适配特定下游层。
更新频率策略： 一种新型的模块特定更新频率策略，平衡了语义稳定性与策略改进。通过降低语义投影层的更新频率，该方法减轻了潜在动作空间的漂移，同时通过对动作专家的频繁更新实现高效的在线反馈学习。
实验验证： 全面的评估表明，通过解耦这些组件及其更新速率，相比于统一的 RL 基线和最先进的 VLA 模型，能够提升长程任务的性能。

实验结果
作者在 CALVIN 基准测试（仿真环境）和两个现实世界的操控任务上对 TEMPO 进行了评估。

CALVIN 基准测试（仿真）： 在 ABC→D 设置下，TEMPO 在完成 5 任务链（SR5）方面达到了 81.7% 的成功率，平均链长度（Avg. Len.）为 4.59。这超越了最强的基线模型（DeFI）和单循环 RL 基线（FLOWER-RL）。值得注意的是，随着指令链长度的增加，TEMPO 与基线之间的性能差距不断扩大，这表明该方法对于长程任务特别有效。
消融实验：
- 组件必要性： 移除语义投影更新或动作专家更新中的任何一个，都会导致性能低于完整的 TEMPO 模型，这表明两个模块都提供了互补的收益。
- 频率比例： 5:1 和 10:1 的更新频率比例（动作:语义）显著优于 1:1 的比例。1:1 的设置表现比单循环基线更差，证实了频率解耦对于获得增益是必不可少的，而不仅仅是双循环结构的作用。
- 任务集大小： 性能并未随后训练任务集的大小呈单调提升；单任务设置的表现优于 34 任务设置，这表明任务构成比单纯的数量更重要。
现实世界实验： 在涉及滑块移动和取车（需要操作抽屉）的物理任务中，TEMPO 比 FLOWER-RL 获得了更高的评估奖励和更稳定的性能。定性分析显示，TEMPO 成功学习了隐式语义前提条件（例如，在操作物体前需完全打开抽屉），而基线模型则因潜在动作空间漂移而失败。

意义与主张
论文声称 TEMPO 解决了当前 VLA 后训练中的一个关键局限：即维持稳定的高层语义表示与快速适配底层控制策略之间的冲突。通过解耦这些组件及其更新频率，TEMPO 使 VLA 模型能够在不破坏骨干网络中所编码的基础语义知识的情况下，从在线交互中学习。作者将其定位为迈向更鲁棒的长程机器人操控的一步，并证明了“如何更新模块”与“更新什么模块”同样重要。这项工作表明，未来的改进方向可能包括学习稠密的、受语言调节的奖励函数，以进一步增强长程任务中的信用分配（credit assignment）。

技术摘要：TEMPO

类似论文