Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning

本文发现，相较于从头训练的小型策略模型，预训练的大规模视觉 - 语言 - 动作（VLA）模型在持续学习中表现出惊人的抗遗忘能力，仅需简单的经验回放即可在保持新技能学习能力的同时实现零遗忘，且即使性能暂时下降，其保留的潜在知识也能通过微调快速恢复旧技能。

要点

这篇论文讲述了一个关于**机器人如何“终身学习”而不“忘本”**的有趣发现。

为了让你轻松理解，我们可以把机器人学习新技能的过程，想象成一个学生在学校里不断修读新课程。

🎓 核心故事：两个学生的对比

想象学校里有两类学生：

1. 普通学生（传统小模型）：

   • 他们从零开始学。
   • 当他们开始学“微积分”时，因为大脑容量有限，他们往往把之前学的“代数”给忘了。
   • 为了不忘掉旧知识，老师（研究人员）不得不给他们发厚厚的复习笔记（经验回放缓冲区），让他们在学新课时反复翻看。笔记越厚，他们忘得越少，但这很麻烦且效率低。

2. 天才学霸（预训练的大模型 VLA）：

   • 这些学生在入学前，已经通过互联网自学了海量的知识（预训练），脑子里已经有了一个庞大的“世界观”和“常识库”。
   • 这篇论文发现了一个惊人的现象：这些“天才学霸”在学新课时，几乎不会忘掉旧知识！
   • 哪怕老师只给他们极少量的复习笔记（比如只有 2% 的数据），他们依然能完美地记住以前的技能，甚至学新东西还能反过来让旧技能变得更好（这叫“正向迁移”）。

---

🔍 论文的三个关键发现

1. 简单的“复习”就够用了

以前大家认为，要让机器人不忘记旧技能，必须用很复杂的算法，或者存海量的旧数据。

• 比喻：就像以前觉得要防止学生忘词，得让他每天背整本字典。
• 发现：对于“天才学霸”（预训练的 VLA 模型），只需要偶尔翻翻几页笔记（简单的经验回放），他们就能保持记忆。甚至有时候，学新东西反而让旧东西记得更牢了。

2. “底子好”是关键（预训练的作用）

为什么学霸这么强？因为他们入学前已经“博览群书”了。

• 比喻：普通学生学“做蛋糕”和“做面包”，觉得这是两个完全不同的技能，学做面包时容易把做蛋糕的步骤搞混。但学霸因为已经懂了很多烘焙原理（预训练知识），他知道做蛋糕和做面包有很多共通之处。
• 结论：这种预先学到的通用知识，让模型在面对新任务时，不需要把旧知识“覆盖”掉，而是能灵活地调用和重组。即使只给很少的复习数据，他们也能抵抗遗忘。

3. “假装”忘了，其实没忘（知识保留）

这是最反直觉的发现。有时候，学霸在学完新课后，做旧题的正确率看起来下降了（好像忘了）。

• 比喻：就像一个精通多国语言的人，突然让他用中文说“苹果”，他可能卡了一下，看起来好像忘了中文。但只要你给他几秒钟的提示（微调），他马上就能流利地说出来，而且速度比第一次学还要快。
• 发现：论文证明，这些知识其实并没有消失，只是被“藏”在了大脑深处。只要稍微“唤醒”一下（微调），技能就能瞬间恢复。而普通学生（小模型）如果忘了，就是真的忘了，得重新从头学起。

---

💡 这对未来意味着什么？

这篇论文告诉我们，未来的机器人不需要变得像“超级计算机”那样复杂，也不需要存海量的旧数据来防止遗忘。

• 以前的思路：为了不让机器人忘事，我们要设计复杂的“防遗忘算法”，或者给它巨大的硬盘存旧数据。
• 现在的思路：只要给机器人一个强大的“大脑”（大规模预训练），它天生就具备极强的记忆力和适应性。我们只需要给它一点点“复习材料”，它就能像人类一样，一边学新技能，一边完美保留旧技能。

一句话总结：
“底子好”的机器人，学新东西时根本不用怕忘旧东西，简单的复习就能让它们成为真正的“终身学习者”。

技术摘要

这是一份关于论文《Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning》（预训练视觉 - 语言 - 动作模型在持续学习中表现出惊人的抗遗忘性）的详细技术总结。

1. 研究背景与问题 (Problem)

持续学习（Continual Learning, CL） 是机器人策略学习中的长期挑战，要求机器人在随时间获取新技能的同时，不灾难性地遗忘（Catastrophic Forgetting）之前学到的行为。

• 传统困境： 以往的研究主要集中在从头训练（from scratch）的小型行为克隆（BC）策略模型上。在这些模型中，灾难性遗忘非常普遍，通常需要巨大的回放缓冲区（Replay Buffer）或复杂的正则化技术（如 EWC）来缓解。
• 核心问题： 随着大规模预训练视觉 - 语言 - 动作（VLA）模型（如 GR00T, Pi0）的兴起，这些模型在机器人操作中展现出强大的泛化能力。然而，它们在持续学习场景下的行为尚不明确。主要疑问是：大规模预训练是否改变了持续学习的动态机制？预训练模型是否比从头训练的小模型更抗遗忘？

2. 方法论 (Methodology)

为了探究预训练 VLA 模型在持续学习中的表现，作者进行了广泛的实证研究：

• 基准测试与数据集： 使用 LIBERO 基准套件（包含 LIBERO-Spatial, LIBERO-10, LIBERO-Object, LIBERO-Goal 四个任务集），这是机器人终身学习的标准基准。
• 模型对比：
  • 预训练 VLA 模型： 包括 Pi0（基于 PaliGemma 和机器人数据预训练）和 GR00T N1.5（NVIDIA 的通用机器人模型）。
  • 非预训练小模型： 包括 BC-Transformer、BC-Diffusion Policy 和 BC-ViT（均从头训练）。
• 实验设置：
  • 任务序列： 模型按顺序学习 10 个任务。
  • 训练策略： 使用 经验回放（Experience Replay, ER）。在每个新任务训练时，混合当前任务数据与来自之前任务的少量回放数据（Replay Buffer）。
  • 变量控制： 系统性地改变回放缓冲区的大小（从 0.2% 到 20% 的数据量），并对比不同预训练程度（从头训练 vs. 仅 VLM 预训练 vs. 完整 VLA 预训练）的 Pi0 变体。
• 评估指标：
  • 平均成功率（SR）： 衡量整体性能。
  • 负向向后迁移（NBT）： 衡量遗忘程度（NBT 越低越好，负值表示正向迁移，即新任务提升了旧任务性能）。
  • 知识转移（Knowledge Transfer, KT）： 衡量所有任务成功率的总和，反映整体学习进度。
  • 组件交换实验： 通过交换视觉 - 语言（VL）骨干网络和动作头（Action Head）来定位遗忘发生的模块。
  • 微调恢复实验： 在遗忘发生后，通过少量微调步骤重新学习旧任务，以探测内部知识是否被保留。

3. 关键贡献与发现 (Key Contributions & Findings)

3.1 预训练 VLA 模型具有惊人的抗遗忘性

• 发现： 与从头训练的小模型相比，预训练 VLA 模型在使用简单的经验回放（ER）时，表现出极低的遗忘率，甚至在某些情况下实现了零遗忘或正向向后迁移（即学习新任务后，旧任务性能反而提升）。
• 数据支持： 在 LIBERO 基准上，即使回放缓冲区非常小（仅占总数据的 2%），GR00T 和 Pi0 的 NBT 值也接近 0 或为负，而 BC-Transformer 等小模型在同等条件下 NBT 高达 0.4-0.5。

3.2 预训练在持续学习中的核心作用

• 低数据效率： 预训练知识在低回放数据量下对缓解遗忘至关重要。随着缓冲区减小，预训练模型与非预训练模型之间的性能差距显著扩大。
• 打破稳定性 - 可塑性权衡： 传统观点认为减少遗忘（稳定性）会牺牲学习新任务的能力（可塑性）。但研究发现，预训练模型在保持高向前迁移（学习新任务）的同时，还能有效抑制遗忘，避免了“低遗忘是因为学不到新东西”的退化情况。

3.3 “看似遗忘”实则“知识保留”

• 核心洞察： 即使任务层面的性能指标（如 NBT）显示性能下降，VLA 模型内部仍保留了相关任务的潜在知识。
• 证据：
  • 组件分析： 遗忘主要发生在动作头（Action Head）或 VL 骨干的特定部分，而非整体知识丢失。
  • 快速恢复： 当使用微调（Finetuning）重新训练旧任务时，预训练 VLA 模型仅需极少的训练步骤（通常少于原始训练步骤的 10%）即可恢复到峰值性能。相比之下，从头训练的小模型（BC-Transformer）需要几乎与初次学习相同的时间，表明其知识已被彻底擦除。

4. 实验结果 (Results)

• 表 1 & 图 2： 在 LIBERO 所有套件中，预训练模型（Pi0, GR00T）在 2% 回放数据下的 NBT 显著低于非预训练模型。在 20% 数据量下，预训练模型甚至表现出负 NBT（正向迁移）。
• 图 3 & 图 4： 不同预训练程度的 Pi0 变体显示，预训练程度越高，在低缓冲区下的抗遗忘能力越强。Pareto 前沿分析表明，预训练显著改善了遗忘与缓冲区大小之间的权衡。
• 表 4 & 图 8： 恢复效率实验显示，Pi0 恢复旧任务峰值性能所需的步骤比例仅为 0.06 - 0.10（即 6%-10% 的训练量），而 BC-Transformer 通常需要 1.0 甚至更多（意味着完全重学）。
• LIBERO-10 的特殊性： 在最具挑战性的 LIBERO-10 中，虽然绝对 NBT 较高，但归一化 NBT 分析显示，预训练模型在大数据量下依然能有效保留知识，而非预训练模型则面临更严重的相对遗忘。

5. 意义与启示 (Significance)

1. 范式转变： 该研究揭示了大规模预训练从根本上改变了机器人持续学习的动态机制。对于大型 VLA 模型，持续学习不再依赖复杂的正则化算法或巨大的回放缓冲区，简单的经验回放配合强大的预训练即可实现高效学习。
2. 知识保留机制： 证明了预训练模型具有“知识压缩”或“表征保留”的特性。即使表面性能下降，底层表征中仍包含可快速激活的旧任务知识。这为设计更高效的机器人终身学习系统提供了新方向。
3. 未来方向：
   • 未来的持续学习算法设计应更侧重于如何有效利用预训练模型中保留的表征，而不是单纯依赖扩大数据缓冲区。
   • 对于资源受限的机器人，利用预训练模型的小样本回放能力具有极高的实用价值。
   • 需要进一步研究预训练数据分布、模型规模与持续学习性能之间的具体关系。

总结： 这篇论文通过严谨的实证分析，推翻了“持续学习必然导致严重遗忘”的传统认知在大型预训练 VLA 模型上的适用性，证明了预训练是解决机器人终身学习遗忘问题的关键钥匙，并揭示了模型内部知识保留的鲁棒性。