🤖 AI

CRL-VLA: Continual Vision-Language-Action Learning

本文介绍了 CRL-VLA，这是一个具有理论依据的框架，它采用了一种带有目标条件价值公式（Goal-Conditioned Value Formulation）的非对称双批评家架构，以在视觉-语言-动作模型（Vision-Language-Action models）的终身机器人学习过程中，有效地平衡持续后训练中的稳定性与塑性。

原作者： Qixin Zeng, Shuo Zhang, Hongyin Zhang, Renjie Wang, Han Zhao, Libang Zhao, Runze Li, Donglin Wang, Chao Huang

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qixin Zeng, Shuo Zhang, Hongyin Zhang, Renjie Wang, Han Zhao, Libang Zhao, Runze Li, Donglin Wang, Chao Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个已经学会做一道特定菜肴（比如做一个完美的煎蛋卷）的机器人。现在，你想让它学习如何烤蛋糕。问题在于，当机器人学习新食谱时，它可能会开始忘记如何为煎蛋卷打蛋。这就是“稳定性与塑性”的困境：**稳定性（Stability）意味着记住旧技能，而塑性（Plasticity）**则意味着具备学习新技能的灵活性。

这篇论文介绍了一种名为 CRL-VLA 的新系统来解决这个问题，该系统适用于能够同时利用视觉（眼睛）和语言（指令）来驱动手臂运动（动作）的机器人。

以下是论文通过简单的类比对该系统的解释：

1. 核心问题：“遗忘”陷阱

目前大多数方法试图通过以下方式之一来防止机器人遗忘：

冻结大脑的部分区域： 就像给手臂打上石膏使其无法移动，但这会阻止它学习新事物。
重读旧书： 让机器人反复练习旧任务，但这速度很慢，且经常会将旧指令与新指令混淆。

作者发现，导致遗忘的真正元凶是被称为**“优势幅度”（Advantage Magnitude）**的东西。你可以把它理解为机器人的内部“信心指数”或“兴奋程度”，即衡量一个新动作比旧动作好多少的程度。

如果机器人在尝试旧任务时对新任务过于兴奋，它就会覆盖旧的记忆（遗忘）。
如果它过于谨慎，它就无法学习新任务（停滞）。

2. 解决方案：一个“双教练”系统

CRL-VLA 通过使用**双重评论家架构（Dual-Critic Architecture）**来解决这个问题。想象机器人有两个教练在给它提供建议，但这两个教练的工作职责截然不同：

教练 1：冻结的锚点（“图书管理员”）
- 这个教练在机器人学习完旧任务后是冻结（时间静止）的。
- 它的工作是守护“旧有的真相”。它记得旧动作的价值究竟是多少。
- 当机器人尝试学习新任务时，这个教练会说：“等等，不要针对旧食谱改变太多步骤。保持你的脚步稳健。”这确保了稳定性。
教练 2：可训练的估计器（“探险家”）
- 这个教练是灵活的，并能实时学习。
- 它的工作是观察新任务，并说：“好吧，对于这个新的蛋糕食谱，这里是这个新动作好在哪里。”
- 由于它是基于新任务的实际奖励进行训练的，因此它能自然地保持在安全范围内。这使得机器人能够在不破坏旧技能的前提下学习新技能。这确保了塑性。

3. 秘诀：“非对称调节”

论文的核心洞察是：你不需要以同样的方式对待旧任务和新任务。你需要非对称调节（Asymmetric Regulation）：

对于旧任务： 你严格限制机器人的“兴奋度”（优势）可以改变的程度。你强迫它保持接近“图书管理员”的记忆。
对于新任务： 你让机器人成长，但你会将其控制在游戏的自然边界之内。

这就像是一个花园：

旧植物（旧技能）被放在玻璃柜里。你不让它们肆意生长；你保持它们原样，以免它们枯萎。
新植物（新技能）生长在开放的土壤中。你让它们长得高大强壮，但你要确保它们不会长得太大而压碎玻璃柜。

4. 实际运作方式

该系统使用一种特殊的数学公式（“目标条件值公式”），将机器人的动作与其听到的语言指令（例如“拿起碗”）联系起来。

它会检查：“如果我执行这个新动作，它与执行旧任务的旧方式相比如何？”
如果差异过大，“冻结的教练”就会将其拉回。
如果差异对于“新任务”来说恰到好处，则“可训练的教练”会允许其继续进行。

5. 结果

作者在名为 LIBERO 的基准测试上测试了该系统，该测试涉及机器人根据语言命令执行各种任务，如拿起物体并将其放在特定位置。

结果： 与其他方法相比，CRL-VLA 在记住旧任务（减少遗忘）和学习新任务（更快适应）方面表现得更好。
总结： 通过使用两个不同的“教练”来分别为旧任务和新任务管理机器人的信心水平，机器人可以实现持续学习，而不会丢失之前的技能。

简而言之，CRL-VLA 通过为机器人提供一个严厉的过去记忆守护者和一个灵活的未来引导者，教会了它如何成为一名终身学习者，确保它在学习如何烤蛋糕的同时，永远不会忘记如何制作煎蛋卷。

技术摘要：CRL-VLA

问题陈述

本文解决了在开放世界机器人环境中，针对视觉-语言-动作（VLA）模型的持续强化学习（Continual Reinforcement Learning, CRL）挑战。虽然通过强化学习（RL）进行后训练已被证明能有效使 VLA 模型对齐复杂的操控任务，但在非平稳任务流中维持这种适应性需要平衡稳定性（保留已学习技能）与塑性（获取新技能）。

现有的 CRL 方法在应用于大规模、多模态 VLA 架构时面临显著局限性：

经验回放（Experience Replay）： 重用过时的转换（transitions）往往会导致离策误差（off-policy errors），使得梯度与新任务发生冲突，从而导致学习不稳定。
二阶正则化（Second-order Regularization）： 诸如 Fisher 信息量等方法对于高维 Transformer 而言计算成本过高。
轻量级约束（Lightweight Constraints）： 诸如 KL 正则化等方法通常仅强制执行短时程的行为相似性，无法保持长时程的任务性能。
骨干网络冻结（Backbone Freezing）： 假设预训练表示始终与语言目标保持一致的假设是脆弱的；在任务偏移的情况下，缺乏显式语言调节会导致价值学习发生漂移，从而导致灾难性遗忘。

核心问题在于识别驱动 VLA 持续学习中遗忘的机制，并开发一个能够在不增加现有方法计算或架构开销的情况下，严格平衡稳定性与塑性的框架。

方法论：CRL-VLA

作者提出了 CRL-VLA，这是一个基于统一理论边界的持续后训练框架，该边界将稳定性-塑性权衡与**目标调节的优势幅度（goal-conditioned advantage magnitude）**联系起来。

理论基础

论文推导出了一个统一的性能边界，表明旧任务上的性能下降和新任务上的性能提升受优势幅度（ $M_g$ ）与策略散度（通过 KL 散度衡量）耦合关系的控制。

稳定性 ( $M_{old}$ )： 旧策略在其状态分布上的最大优势。
塑性 ( $M_{new}$ )： 在新任务上可实现的最高优势。

作者证明了 $M_{old}$ 和 $M_{new}$ 可以被独立控制：

稳定性控制： $M_{old}$ 受限于旧任务数据上的评论家近似误差（ $\epsilon_V$ ）。
塑性控制： 当在新任务上使用蒙特卡洛（MC）估计时， $M_{new}$ 自然受到环境回报范围的限制。

这一见解允许进行非对称调节：通过抑制旧任务上的优势幅度来确保稳定性，同时允许受控的增长以实现新任务的塑性。

架构：具有目标调节价值公式（GCVF）的双评论家架构

为了实现这一理论，CRL-VLA 采用了双评论家架构：

冻结的目标调节价值（GCV）评论家 ( $\theta_{GCV}$ )： 初始化自前一任务收敛的价值网络，并在新任务训练期间保持冻结。它锚定了语义一致性，并提供参考值（ $V_{old}$ ）以约束旧数据上的价值近似误差。
可训练的 MC 评论家 ( $\theta_{MC}$ )： 使用 MC 回报在新任务轨迹上进行更新。它驱动适应过程，并使新任务上的优势幅度自然受限于环境的回报范围。

这两个评论家共享一个统一的骨干网络 ( $\phi$ )，但拥有解耦的头部。价值网络通过在进入 MLP 前将语言嵌入与状态表示拼接来对语言目标进行调节，解决了标准 VLA 价值头在语言目标遵循能力差的问题。

训练目标

总训练损失集成了四个部分，以平衡这种权衡：
$\mathcal{L}_{total} = \mathcal{L}_{PPO} + \alpha \mathcal{L}_{KL} + \beta_V \mathcal{L}^V_{GCV} + \eta \mathcal{L}^V_{MC}$

$\mathcal{L}_{PPO}$ ： 标准 PPO 目标，用于在信任区域约束（ $D_{new}$ ）下最大化新任务回报。
$\mathcal{L}_{KL}$ ： 对旧任务数据的 KL 散度惩罚，用于限制策略散度（ $D_{old}$ ）。
$\mathcal{L}^V_{GCV}$ ： 冻结的 GCV 评论家与当前骨干网络在旧任务数据上的价值预测之间的一致性损失，通过最小化 $\epsilon_V$ 来控制 $M_{old}$ 。
$\mathcal{L}^V_{MC}$ ： 可训练 MC 评论家在新任务数据上的损失，确保准确的优势估计，且受回报范围限制以控制 $M_{new}$ 。

核心贡献

理论洞察： 论文确定了目标调节的优势幅度是控制 VLA 持续学习中稳定性-塑性权衡的关键量，并推导出了将此幅度与策略散度联系起来的统一边界。
非对称调节框架： CRL-VLA 通过双评论家架构实现这一见解，将稳定的价值语义（冻结的 GCV 评论家）与自适应策略学习（可训练的 MC 评论家）解耦，实现了对稳定性与塑性的独立控制。
目标调节价值公式 (GCVF)： 一种全新的公式化方法，直接将语言嵌入注入价值网络，提高了长时程价值一致性和语言目标遵循能力。
实验验证： 在 LIBERO 基准测试上的广泛实验表明，CRL-VLA 在抗遗忘（向后迁移）和前向适应（向前迁移）指标上均优于强基线模型（如序列学习、LWF、经验回放、多任务学习）。

实验结果

作者在 LIBERO 基准测试中，使用 OpenVLA-OFT 作为基础模型，评估了 CRL-VLA 在单任务和多任务学习场景下的表现。

单任务学习： CRL-VLA (Q-based) 达到了最高的最终平均回报 (FAR) 0.98，具有最低的遗忘指标 (0.03) 和向后迁移 (BWT) (-0.02)，显著优于序列学习 (FAR 0.00) 和标准经验回放 (FAR 0.60) 等基线。
多任务学习： CRL-VLA (V-based) 达到了最高的 FAR (0.74) 和 BWT (0.17)，展示了比 MTL 和 ER 基线更优越的跨任务知识共享能力和对灾难性遗忘的抵抗力。
消融研究：
- 损失权重： 研究发现适度的 GCV 和 KL 损失权重最为理想；权重过大会过度限制更新，而权重不足则无法有效抑制优势幅度。
- GCV 的必要性： 移除 GCV 组件会导致成功率显著下降（在特定消融设置下，FAR 从 0.31 降至 0.29）并增加遗忘，证实了语言调节价值锚定的重要性。
- V 与 Q： Q-based 变体在单任务场景中表现更好，而 V-based 变体在状态-目标分布更为多样化的多任务环境中表现出更强的鲁棒性。

意义与主张

本文声称 CRL-VLA 为在终身机器人场景中部署 VLA 模型提供了一条原则性且有效的路径。通过严谨地推导理论边界并将其转化为简单的双评论家架构，该方法在无需昂贵的二阶计算或大型回放缓冲区的情况下，解决了稳定性-塑性困境。

作者指出，其工作是首个通过控制优势幅度来显式建模 VLA 持续学习中稳定性-塑性权衡的研究。他们强调，CRL-VLA 有效地协调了相互冲突的目标，使智能体能够持续获取新技能，同时保留先前的知识，从而推进了具身智能体在开放世界中进行终身学习的可行性。未来的工作建议将该框架扩展到更多样化的任务流，包括部分可观测性和非平稳语言目标。