🤖 machine learning

RECALL: Recovery Experience Collection for Active Lifelong Learning in Vision-Language-Action Models

本文提出了一种针对视觉-语言-动作模型的、基于不确定性引导的主动持续学习范式，该范式通过针对性的恢复演示来提高适应效率，并实证分析了在集成此类数据时塑性与灾难性遗忘之间的权衡。

原作者： Ulas Berk Karli, Tesca Fitzgerald

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Ulas Berk Karli, Tesca Fitzgerald

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明的机器人助手，它已经学会了许多家务活，比如叠衣服或摆放餐具。这个机器人是一个“视觉-语言-动作”（VLA）模型——它能看到世界，理解你的语音指令，并移动它的手臂来完成任务。

然而，当你把这个机器人放在一个新房间里，或者给它一个略有不同的任务时，它有时会出错。解决这个问题的老方法是被动学习（Passive Learning）：你会等待机器人失败，然后由人类介入，让它从头开始学习整个任务，并希望这能有所帮助。

本论文提出了一种更聪明的做法，称为主动学习（Active Learning），并解决了一个随之而来的棘手问题。以下是使用简单类比进行的详细拆解：

1. “老方法”的问题（被动学习）

想象你正在教一名学生开车。

被动方法： 你让学生一直开，直到他们差点撞车。然后，你停下来，接过方向盘，从起点到终点完整地开一遍路线，尽管他们在前半段表现得非常完美。
浪费： 这是低效的。学生在重复学习他们已经掌握的知识上浪费了时间，而且你只有在错误发生后才介入，这很危险。

2. 新思路：“不确定性引导”的主动学习

作者建议使用一种带有“帮助检测器”（一个名为 INSIGHT 的工具）的更好方法。

类比： 想象这个学生有一个紧急按钮。他们只有在感到不确定或即将犯错时才会按下它。
解决方法： 当机器人感到“不确定”（就像一个不知道下一个转弯在哪里的学生）时，它会停下来。然后，人类仅在那个特定的时刻介入，向机器人展示如何恢复并完成任务。
结果： 论文发现这种方法效率更高。通过只在机器人感到困惑时收集数据，机器人比单纯在每次任务开始时随机收集数据学得更快、更好。

3. 大陷阱：“灾难性遗忘”

这里有一个转折。当机器人只从这些“紧急按钮”时刻（即恢复数据）中学习时，它在修复错误方面变得非常出色，但它开始忘记它原本已经知道的简单部分。

类比： 这就像一个学生只练习模拟测试中最难的问题。他们变得擅长解决难题，但当参加正式考试时，他们却忘了如何回答那些原本每次都能答对的简单问题。
论文发现： 如果你只针对“恢复”数据进行训练，机器人会遗忘旧技能。这被称为灾难性遗忘（Catastrophic Forgetting）。

4. 解决方案：如何保留旧技能

作者测试了几种解决这种遗忘问题的方法，以便机器人在学习新技巧的同时不会丢失旧技能。

方案 A：“低学习率”（小步前进）
- 类比： 与其进行剧烈改变肌肉形状的高强度锻炼，不如做轻微的拉伸。这有助于适应，同时不会失去现有的体型。
- 结果： 这有一点帮助，但机器人在学习新技巧方面仍然进展缓慢。
方案 B：“弹性权重整合”（弹性带）
- 类比： 想象机器人的大脑中有弹性带固定着它的旧知识。当它试图学习新东西时，如果它试图过度改变旧内容，弹性带就会产生拉力。
- 结果： 它保护了旧技能的安全，但也让机器人很难学习新的恢复技能。这是一个权衡：太注重安全，就学不到新东西；安全程度太低，就会遗忘。
方案 C：“重放”（最佳方案）
- 类比： 这就像学生通过将新的难题与一些他们已经掌握的旧的简单问题混合在一起来备考。
- 结果： 这种方法效果最好。通过向机器人展示新的“恢复”数据和一些旧的“成功”数据的混合物，它学到了新技巧，同时又没有忘记旧的技巧。

5. 一个意外的发现：“在线”与“离线”

作者还问道：我们是需要记录机器人感到不确定的每一个瞬间，还是只需要记录它第一次卡住的时刻？

发现： 你只需要记录机器人第一次卡住的时候。
类比： 如果一个学生在迷宫的第一个转弯处迷路了，只要教会他们如何修复那一个转弯，就足以让他们走完剩下的迷宫。你不需要记录他们在第一个错误之后所犯下的每一个错误。这节省了大量的精力。

论文主要观点总结

聪明地对待数据： 不要只是随机收集数据。只在机器人感到困惑（不确定）时收集数据。这更高效。
不要忘记基础： 如果你只针对“修复”进行训练，机器人会忘记简单的基础知识。
混合搭配： 教导机器人的最好方法是将新的“修复”数据与一些旧的“成功”数据混合在一起（重放）。
及早停止： 你只需要从产生困惑的第一个时刻开始收集数据，而不是在之后的每一个时刻。

核心结论： 为了让机器人能够持续学习而不产生遗忘，我们需要在它们困惑时允许它们寻求帮助，但在学习新东西的同时，我们也必须提醒它们已经掌握的知识。

技术摘要：RECALL —— 用于视觉-语言-动作模型中主动终身学习的恢复经验收集

问题陈述

视觉-语言-动作（VLA）模型（如 RT-1、RT-2 和 $\pi_0$ -FAST）已展示出广泛的操作能力，但通常在部署到新环境或任务分布时需要进行微调。目前的适配依赖于被动模仿学习，即专家仅在策略失败后，从任务初始状态开始收集额外的演示。这种方法存在三个主要的低效之处：

反应性特征： 数据收集仅在失败后触发，这可能既耗时又不安全。
缺乏指导： 它无法指示哪些特定状态需要监督，从而导致潜在的收集不足或过度收集。
冗余性： 演示者往往在已经由原始训练数据充分代表的状态上浪费精力，未能解决导致失败的具体子步骤或分布偏移的中间状态。

此外，仅仅在收集到的新数据上进行微调会引入灾难性遗忘的风险，即模型会丧失在先前学习任务中的熟练度。本文认为，需要主动的持续学习范式来解决这些问题。

方法论

作者提出了 RECALL，一个针对自回归 VLA（具体为 $\pi_0$ -FAST）的主动持续学习框架。该方法由两个核心组件组成：

1. 通过不确定性量化进行主动数据收集

系统利用了 INSIGHT [6]，一种推理时内省方法，通过利用标记级概率特征（熵、对数概率和基于狄利克雷分布的不确定性估计）来预测机器人何时需要协助。

状态选择： 系统不是从初始状态开始收集，而是在策略展开（rollout）过程中识别高不确定性状态。
收集模式：
- 在线（Online）： 机器人在遇到展开过程中的第一个高不确定性状态时立即请求演示。
- 离线（Offline）： 机器人完成完整的展开过程，记录所有高不确定性状态，以便稍后提示进行演示。
基准测试： 这些模式与**被动（Passive）**收集进行对比，后者是从任务初始状态收集演示，并匹配主动数据集的样本量和任务分布。

2. 持续学习策略

为了在适应新恢复数据时防止灾难性遗忘，本文评估了几种策略：

基于重放的数据混合（Replay-based Data Mixing）： 在新恢复数据（ $D_{new}$ ）和先前数据（ $D_{old}$ ）的混合物上进行微调。变体包括全量重放、LIBERO-10 重放以及针对性重放（仅针对与新数据相关的任务）。
正则化：
- 弹性权重固着（EWC）： 使用费舍尔信息矩阵惩罚对先前任务重要的参数变化。
- 学习率降低： 使用低且恒定的学习率来限制更新幅度。

核心贡献

本文做出了五个主要贡献：

主动框架： 一个用于自回归 VLA 的主动数据收集流水线，利用 INSIGHT 来选择不确定状态以提示新的演示。
主动 vs. 被动评估： 经验证据表明，来自高不确定性状态的演示比无引导的、被动演示能带来更好的策略性能。
在线 vs. 离线效率： 研究发现，从第一个不确定状态进行收集（在线）与从所有不确定状态进行收集（离线）同样有效，提供了更高的演示效率。
持续学习分析： 一项对比研究表明，基于重放的数据混合是目前防止灾难性遗忘最可靠的策略，在平衡塑性和稳定性方面优于 EWC 和低学习率。
设计教训： 识别了在大型机器人策略中纳入针对性新数据时存在的开放性挑战，特别是适配效率与保留既有技能之间的权衡。

实验结果

研究在 LIBERO-10 基准测试上使用 $\pi_0$ -FAST 模型进行。关键发现包括：

主动收集的优越性： 由强 INSIGHT 引导的在线恢复收集实现了 72.4% 的总体成功率，显著优于匹配的被动收集 (60.2%) 和原始基准 (59.8%)。
在线收集的效率： 在线收集（每次展开一次演示）实现的性能与离线收集（所有不确定状态）相当，两者在总体成功率上没有统计学上的显著差异（72.4% vs. 68.4%）。这表明第一个不确定状态标志着偏离成功行为的转折点，使得后续密集的收集变得冗余。
仅使用新数据的训练导致的灾难性遗忘： 仅在新的恢复数据上进行微调会导致严重的遗忘。例如，仅使用新数据的模型仅实现了 28.4% 的总体成功率，而基于重放的模型为 72.4%，其保留任务的性能发生了崩溃。
正则化的局限性： 虽然 EWC 和低学习率与标准的仅用新数据微调相比减少了遗忘，但它们仍无法达到基于重放混合的性能。强正则化保留了旧行为但抑制了对新数据的适配；弱正则化允许了适配但带来了遗忘风险。
重放覆盖范围： 全量重放和 LIBERO-10 重放（使用完整的先前数据集）表现相似。然而，针对性重放（仅使用与正在恢复的任务相关的先前数据）显著降低了在保留任务上的性能，这表明重放必须覆盖先前学习行为的全谱系，而不仅仅是特定的任务。

重要性与主张

本文主张，VLA 的主动学习不能仅仅简化为选择高价值状态；它必须被表述为主动持续学习。核心论点是，虽然不确定性预测器（如 INSIGHT）能有效识别用于恢复的信息性状态，但由此产生的数据在分布上是狭窄的。因此，有效的适配需要双重机制：

针对性数据收集： 特别收集高不确定性状态的演示，以解决失败模式。
保留机制： 通过基于重放的混合来整合这些新数据，以保留先前的能力。

这项工作确立了不确定性引导的恢复演示可以显著提高适配效率，但也强调了如果没有鲁棒的持续学习策略（特别是重放），针对性的数据整合会导致灾难性遗忘。作者指出，他们的发现是基于模拟环境（LIBERO-10）和一种自回归架构，这表明物理部署和其他 VLA 架构（如基于扩散模型的架构）可能会在不确定性校准和数据收集成本方面呈现不同的挑战。