🤖 machine learning

Rethinking Demonstration Unlearning in Imitation Learning for Robotics

本文介绍了一种用于机器人模仿学习中演示遗忘（demonstration unlearning）的重训校准审计框架，该框架沿两个维度评估编辑后的策略——即与全量重训的行为相似性以及移除数据存在的证据——从而为昂贵的重训提供一种具有统计严谨性且更具成本效益的替代方案。

原作者： Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

通过观察人类来学习的机器人正变得越来越普遍，从组装零件的机械臂到协助家务的设备。这些机器并非预先编写了每一种可能的动作；相反，它们是通过记录人类行为的视频集进行训练的。机器人研究这些视频，并学习模仿它所看到的动作。然而，当提供演示的人改变主意时，一个根本性的问题就出现了。就像一个人可以撤回对其数据的授权一样，人类可能会要求将其特定的演示从机器人的记忆中移除。如果机器人从一个有缺陷的演示中学到了一个坏习惯，或者如果用户仅仅是想撤销访问权限，机器人需要“忘掉”那部分特定的信息，而不至于忘记它所知道的其他所有内容。

处理这一请求的标准方法是将不需要的视频丢弃，然后仅使用剩余的良好示例对机器人进行重新训练。虽然这种方法有效，但极其昂贵且缓慢，尤其是对于需要海量计算能力的复杂机器人而言。研究人员一直在寻找更廉价的捷径：即可以直接编辑已训练好的机器人“大脑”，在不进行沉重的全面重建的情况下移除错误的记忆的方法。但一个关键问题一直悬而未决：当我们使用这些捷径时，我们如何知道机器人是否真的已经忘记了那个错误的指令？它是真的表现得好像从未见过那个视频，还是仅仅在伪装？

一个研究小组试图通过在真实的机器人和模拟环境中测试这些编辑方法来回答这个问题。他们专注于一个特定的场景：机器人接受了 130 次任务演示的训练——将杯子移动到特定位置。其中 30 次演示被故意设计得有缺陷，教导机器人会在错误的位置释放杯子，从而导致杯子倾倒。研究人员应用了各种编辑技术来消除这 30 个坏视频的影响。为了验证编辑是否奏效，他们不仅观察机器人的最终得分或询问它是否仍能执行任务，而是建立了一个严谨的两部分测试。

测试的第一部分衡量行为。研究人员将经过编辑的机器人与一个在没有坏视频的情况下完全从头开始重新训练的“金标准”机器人进行了对比。他们观察机器人在任务过程中特定时刻的运动方式。如果编辑后的机器人运动方式与完全重新训练的机器人无法区分，则视为通过了行为测试。测试的第二部分衡量证据。这涉及检查一个计算机程序是否仍能识别出机器人最初是否见过那些坏视频。即使机器人的表现是正确的，如果检测器仍能在其内部逻辑中发现坏数据的痕敛，那么这种“遗忘”就是不完整的。

结果揭示了一个令人惊讶且令人不安的分歧。在一个引人注目的案例中，一个使用特定捷径方法进行编辑的机器人，在实际硬件上的表现几乎完美。它成功地将杯子移动到了正确的位置，在 20 次试验中有 18 次成功，达到了昂贵的、完全重新训练的机器人的性能水平。从机器人行为的所有角度来看，那个错误的指令似乎已经消失了。然而，当研究人员运行证据测试时，结果证实该编辑是不完整的：检测器仍然可以极其确定地识别出那些坏视频，就像它识别未经修复的原始机器人那样容易。审计成功检测到了机器人在执行任务期间学会了隐藏其错误，但坏指令的记忆仍然深深植根于其系统中。

相反，其他编辑方法则显示出相反的问题。有些技术成功地抹除了证据，使得检测器无法找到那些坏视频。然而，这些机器人自身的表现却很差，要么无法完成任务，要么以明显不同于完全重新训练的“金标准”的方式运动。它们忘记了坏数据，但在这样做的时候，也失去了正确完成工作的能力。研究人员发现，这两个目标——表现正确和隐藏证据——往往朝着相反的方向发展。一种修复机器人行为的方法往往会让坏数据的证据依然存在；而一种抹除证据的方法则往往会破坏机器人的性能。

该研究在三种不同类型的机器人策略和两个不同的模拟环境中进行了测试，总共使用了五种不同的条件。在每种情况下，研究人员都发现没有任何一种单一的编辑方法能同时实现这两个目标。即使当一个机器人看起来已经成功“忘掉”了坏指令时，仔细观察也会发现，它要么仍在隐藏记忆，要么已经失去了执行任务的能力。研究人员得出结论，仅仅检查机器人是否表现良好，并不足以证明它已经真正遗忘了。真正的“遗忘”需要同时满足两个独立的条件：机器人必须表现得好像从未见过坏数据，并且必须不留下任何可检测到的关于它曾见过该数据的痕迹。

这一发现挑战了目前的假设，即机器人在任务中的成功即代表它已被正确清理。研究人员证明，一个机器人可以被“修复”以正确工作，同时仍带着我们想要它忘掉的数据的影响。他们也展示了，一个机器人可以被“清洗”以隐藏过去，但同时也变得无法胜任工作。由于这两个方面可能会发生偏离，该团队认为，我们不能依赖单一的测试来宣布一个机器人是安全或合规的。相反，我们需要一种双重方法，既检查机器人的行为，也检查其内部历史。在开发出能够同时满足这两个条件的方案之前，轻松从机器人大脑中移除数据的承诺仍然难以实现，而隐藏、未被移除的指令风险依然存在。

技术摘要：重新审视机器人模仿学习中的演示去学习（Demonstration Unlearning）

问题陈述

机器人领域的模仿学习（IL）依赖于人类演示，然而监管和伦理框架日益要求具备移除模型对特定撤回数据依赖性的能力，且不能以高昂的全量重训成本为代价。核心挑战在于：如何定义一个在闭环反馈系统中运行的策略所进行的“去学习（unlearning）”究竟意味着什么。目前的指标继承自机器学习去学习文献（如遗忘损失或单轴成员推理攻击 MIA），但这些指标无法确定一次编辑是否真正移除了特定演示对策略行为的影响。作者认为，现有方法混淆了两个不同的维度：行为（behavior）（策略的行为是否表现得像是在没有该数据的情况下重新训练的结果？）以及证据（evidence）（审计员是否能检测到该数据曾被使用过？）。

方法论

本文提出了一个**重训校准审计（retrain-calibrated audit）**框架，用于沿两个独立的轴评估演示去学习，并以“重训反事实（retrain counterfactual）” $\pi^*$ 进行校准，其中 $\pi^*$ 是在剩余干净数据 $D_r$ 上从头开始（或使用相同的适配器）重新训练得到的策略。

1. 两个维度

行为轴（Behavior Axis）： 测量编辑后的策略（ $\pi_\theta$ ）与重训参考策略（ $\pi^*$ ）在匹配状态下的动作差异（action divergence）。该轴通过独立重训得到的“底线（floor）”（即 $\pi^*_i, \pi^*_j$ ）进行校准。如果一个策略的差异程度与独立重训之间的方差相当，则认为其在行为上是一致的。
证据轴（Evidence Axis）： 测量审计员利用成员推理来区分编辑后的策略与重训参考策略的能力。报告指标包括：
- 秩 AUC（Rank AUC）： 将成员排在高位而非非成员高位的能力。
- 绝对成员损失水平（Absolute Member-Loss Level）： 成员损失与空值（重训）损失的比率（$mem/null$）。
- 核心洞察： 秩统计量是无尺度的，但无法察觉“过冲（overshoot）”现象（即成员损失被过度放大超过了空值水平）。因此，必须同时使用秩统计量和绝对水平。

2. 联合假设检验

作者引入了一种符合性测试（conformal test），将这两个轴结合成一个关于“联合重训一致性（joint retrain consistency）”的单一假设。该测试检查编辑后策略的审计向量是否与一组独立重训生成的“重训舰队（ret train fleet）”具有可交换性。如果编辑后的策略比舰队成员更显异常，则该删除声明被驳回。

3. 实验设计

研究评估了三种策略类在五种条件下的表现（预注册确认型、修正型、探索型、失效型）：

策略类： ACT（分块 L1 回归）、Diffusion Policy (DDPM) 以及 $\pi_{0.5}$ （带有 LoRA 的视觉-语言-动作流匹配模型）。
污染方式： 130 个演示中有 30 个教授了“错误模式”（例如，在偏移的点释放杯子，导致杯子翻倒）。
算子（Operators）：
- 重定向（Redirect）： 在特定的分支状态下，将权重编辑向干净的反事实动作（类似于 Behavior Uncloning）。
- 上升（Ascent）： 对遗忘集进行梯度上升。
- 微调（Fine-Tuning, FT）： 仅在干净数据上进行训练（对照组）。
评估： 包括离线动作差异、成员攻击以及盲评分真实机器人实验（AgileX PiPER 手臂）和仿真套件（Robobimic, PushT）。

关键结果

1. 维度的脱节

核心发现是，在相同的检查点上，行为轴和证据轴在两个方向上都出现了脱节（dissociate）：

修复而不遗忘： 在 ACT 手臂上使用“重定向”算子，将机器人任务成功率恢复到了 18/20 次试验（接近重训结果的 20/20），并弥合了 24.9% 的动作差距。然而，其成员攻击 AUC 仍为 1.000，与未编辑前的策略无异，且绝对成员损失水平也未改变。该编辑修复了行为，但留下的证据与原始状态无异，未能向重训空值靠拢。
减少证据而不修复： 梯度上升算子可以减少基于秩的证据（跨越空值），但表现出依赖于谱系（lineage）的行为。在主要谱系中，上升操作使行为进一步偏离了重训反事实（相对于间隙过冲了 128%）；而在另外两个独立训练的种子中，相同的预算使行为向重训靠拢（分别提升了 63% 和 27%）。
标准审计中的假阳性： 标准的单轴审计（例如仅使用秩 AUC 或仅使用任务成功率）经常接受了会被联合准则拒绝的编辑。例如，某些算子实现了完美的秩 AUC（暗示已删除），但策略在行为上仍然损坏，或者证据被夸大了。

2. 硬件验证

在真实机器人硬件（ $\pi_{0.5}$ 和 ACT）上：

重定向编辑成功恢复了任务成功率（分别为 17/20 和 18/20 次试验），但未能通过证据审计（AUC 为 1.000，与未编辑前无异）。
微调恢复了任务成功率，但在 $\pi_{0.5}$ 类中观察到其使离线反事实行为移动了 4.6%，且未改变秩证据，这证明成功率是一种表现形式，而非删除的证明。
上升算子表现出混合结果：在 PushT 手臂上，随着剂量增加，成功率在不同种子间提升了 +8.0 至 +11.6 点；而在 $\pi_{0.5}$ 手臂上，成功率低于重训结果但高于未编辑策略。在所有情况下，上升操作均未能实现联合重训一致性。

3. 符合性拒绝

使用由 19 个独立重训组成的舰队进行测试，符合性测试在 $p=0.05$ 水平下拒绝了每一个被审计的检查点。没有任何测试过的编辑实现了“联合重训一致性”（即同时实现行为接近底线和证据对齐空值）。

意义与主张

本文主张，重训等效的删除是一个合取关系（conjunction），而非单轴得分。

结构性主张： 一个有效的删除声明需要行为趋近于重训底线，且证据与重训空值对齐。仅靠其中一个维度是不够的。
审计能力： 所提出的审计可以驳回删除声明（通过显示其与重训舰队的不一致性），但不能认证它们（因为通过测试并不代表证明了记忆已消失，而只是证明其与重训是一致的）。
算子局限性： 当前的算子（重定向、上升、微调）不足以实现联合一致性。重定向修复了行为但掩盖了证据；上升改变了证据但往往破坏了行为或产生了异常（尽管在 PushT 上观察到了成功率的提升，但并未实现联合一致性）。
适用性： 特定编辑（如分支重定向）的可行性取决于删除请求的结构（例如，污染是否与干净支持集共享前缀）。在某些情况下（全回合污染），局部编辑并不适用。

作者总结道，虽然可以购买到行为上的修复（通常以牺牲保留性能或产生不对称影响为代价），但要实现既满足行为又满足证据标准的真正“去学习”，仍然是一个开放性的挑战，因为没有任何测试过的算子实现了联合重训一致性。这项工作为机器人去学习提供了一个严谨的、经过重训校准的审计协议，超越了表面指标，对策略中实际移除的内容进行了结构化分析。