🤖 machine learning

ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

ReGuide 是一个用于行为克隆扩散策略的自改进框架，它利用相位调节引导（Phase-Conditioned Guidance）在测试时偏差期间生成纠正性展开，并利用这些恢复的数据迭代微调策略，从而显著提升了任务成功率，优于现有的静态或不可复用引导方法。

原作者： Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人完成一项复杂的任务，比如堆叠积木或悬挂工具，方法是给它看几段人类完美完成该动作的视频。这被称为“模仿学习”（Imitation Learning）。

问题在于，机器人很笨拙。如果机器人在早期犯了一个微小的错误——比如把积木稍微弄歪了一点——它就会进入一个在训练视频中从未出现过的状态。因为它不知道在这种“新情况”下该怎么做，它就会陷入恐慌，进而犯下更多的错误，导致整个任务失败。这被称为**协变量偏移（covariate shift）**问题：由于机器人的现实情况偏离了它所接受训练的范例，它就迷失了方向。

旧方法 vs. 新方法

旧方法：

“专家导师”法（The "Expert Tutor" Method）： 每当机器人迷失方向时，你（人类专家）都必须介入，纠正它的错误并记录下这次修正。这虽然效果很好，但成本很高，需要人类全天候盯着机器人。
“测试时引导”法（The "Test-Time Steering" Method）： 你给机器人一个“GPS”（引导模型），在它移动的过程中轻轻推它一把，让它回到正轨。但问题在于，一旦机器人完成了任务，你就会把这些 GPS 数据丢弃。你并没有从这次纠正中学习，你只是临时使用了它。

新方法 (ReGuide)：
这篇论文的作者提出了一个聪明的折中方案，名为 ReGuide。他们说：“为什么要丢弃 GPS 数据呢？让我们把机器人成功的纠正过程变成新的学习课程吧！”

把它想象成一个学生在参加模拟考试。

标准学习： 学生参加考试，答错了，老师只是说：“下次努力。”
ReGuide： 学生卡住了，这时一位聪明的导师在当下帮助他解决了问题，然后学生把这个特定的解决方案写进了自己的学习笔记里。下次复习时，他会学习这份笔记。机器人不仅仅是被引导，它是在从自身的恢复行为中学习。

ReGuide 如何运作（三步配方）

论文将这个过程分解为三个主要成分：

1. 分阶段条件化引导（“带有检查点的地图”）

长时任务（如组装玩具）都有不同的阶段：“拿起零件”、“移动到桌子”、“插入螺丝”。

问题： 如果你只告诉机器人“向终点前进”，它可能会在还没拿起零件之前就尝试插入螺丝。
解决方法： ReGuide 将任务分解为阶段（就像书中的章节）。它为每个阶段创建了特定的“目标区域”。
类比： 想象从纽约开车去洛杉矶。全局 GPS 可能只会说“向西开”。而 ReGuide 就像是一个 GPS，它会说：“现在你处于‘穿越沙漠’阶段。你的目标是下一个加油站。现在还不用担心大海的事。”这让机器人专注于当前正确的步骤。

2. “偏离但可恢复”门控（“安全开关”）

机器人有一个“水晶球”（动力学模型），可以预测如果采取某种行动会发生什么。

问题： 如果机器人表现得非常完美，那么轻微的引导反而可能让情况变糟。如果机器人已经偏离得太远（例如，积木掉在了地上），水晶球就无法预测该怎么做了。
解决方法： 只有当机器人处于轻微迷失但仍可挽救的状态时，ReGuide 才会开启“GPS 引导”。
类比： 想象一个走钢丝的人。如果他在摇晃，教练会轻轻拍一下来稳住他。如果他站得非常稳，教练就会保持安静。如果他已经从绳子上摔了下来，教练也没办法帮他在绳子上行走。ReGuide 只在“摇晃”尚可修复时进行干预。

3. 迭代自我改进（“学习循环”）

这是最神奇的部分。

步骤 A： 机器人尝试任务。当它开始偏离时，ReGuide 会引导它回到成功路径。
步骤 B： 机器人将那条“被引导”的路径保存为新的训练样本。
步骤 C： 机器人利用这些新样本进行自我重新训练。
步骤 D： 机器人再次尝试，但这一次它变得更聪明了，因为它从之前的“引导”中学习到了经验。

论文显示，你可以重复这个循环。机器人变得更好，生成更优质的“恢复数据”，从而变得更强。这就像一个电子游戏角色，每当他们通过学习 Boss 的模式并从 Boss 战中幸存下来时，就会变得更加强大。

结果

作者在四个不同的机器人任务上测试了该系统（移动罐子、堆叠正方形、运输物体和悬挂工具）。

结果： 使用 ReGuide 的机器人比仅从原始视频中学习的机器人成功率提高了 1.3 到 7.7 倍。
对比： 它击败了会丢弃数据的“测试时引导”法，且不需要人类专家进行持续干预。

总结

ReGuide 是一个能将机器人的“差一点就失败”转化为其“最佳老师”的系统。它不再仅仅是修复错误并将其遗忘，而是记录下修复过程，进行研究，并最终成为处理错误的大师。这是一个自我改进的循环，机器人通过不断地自救，实现自我进阶。

技术摘要：ReGuide

问题陈述

基于行为克隆的扩散策略虽然在建模多模态动作分布方面具有很强的表达能力，但仍易受到**协变量偏移（covariate shift）**的影响。偏离演示状态的微小偏差会导致策略查询到训练分布之外的观测值，从而引发复合误差并导致任务失败。这在长程操控任务中尤为严重。

现有解决方案面临显著的权衡：

训练分布扩展： 如 DAgger 等方法需要持续的专家介入进行修正，而数据增强则依赖于对任务结构或局部动力学的假设。
测试时引导（Test-Time Guidance）： 最近的方法（如 DynaGuide、Latent Policy Barrier）通过从学习到的动力学模型中获取梯度，在推理阶段引导冻结的策略。然而，这些方法在执行后会丢弃修正后的轨迹，未能利用回收的数据来改进策略。

方法论：ReGuide

ReGuide 是一个自我改进的框架，它将测试时引导转化为一种生成可重用、在策略（on-policy）恢复数据的机制。它通过一个迭代的**“展开—收集—训练”（rollout–collect–train）**循环运行，该循环由三个核心组件组成：

1. 相位感知目标构建（Phase-Aware Target Construction）

为了解决长程任务中全局目标存在歧义的问题，ReGuide 将演示分解为按时间顺序排列的宏观相位（macro-phases）。

特征增强： 潜状态通过引入时间差（视觉和本体感受）进行增强，以区分属于不同任务阶段的视觉相似状态。
聚类： 通过 PCA 进行特征聚类，并按时间步排序以形成宏观相位。
目标集： 为每个相位 $j$ ，构建一组具有代表性的质心 $P_j$ 。这在保留相位内多模态性的同时，提供了精确的局部引导目标，而非单一的全局流形。

2. 相位条件引导（Phase-Conditioned Guidance, PCG）

ReGuide 使用学习到的动力学模型来引导扩散去噪过程，但施加了特定约束以确保数据质量：

清洁动作引导（Clean-Action Guidance）： 不同于标准引导通过噪声去噪迭代进行微分，ReGuide 适配了流形保持引导扩散（MPGD）。它通过估计的清洁动作（ $\hat{{A}}^0_t$ ）应用引导梯度，使其与动力学模型训练时的分布相匹配。
双阈值门控（Two-Threshold Gating）： 引导仅在**“发生漂移但可恢复”**的区间内应用。
- 一个下限阈值防止在展开过程已接近专家流形时进行不必要的干预。
- 一个上限阈值防止在展开过程过于远离训练分布时过度依赖外推动力学梯度。
- 这些阈值是特定于相位的，能够适应每个任务阶段的局部几何特性。
相位切换： 系统追踪当前的相位索引，仅当预测的潜状态持续更接近下一个相位的目标时，才会推进相位。

3. 迭代自我改进学习

成功的引导展开过程会被过滤并吸收回训练集中，以更新策略。该框架支持两种互补的更新机制：

ReGuide-FT（微调）： 在原始数据集与新的引导展开数据混合集上对当前检查点进行微调。这种方式计算效率高，且能保留现有的能力。
ReGuide-FS（从头训练）： 在扩充后的数据集上从头开始训练一个新的策略。这消除了对初始检查点的依赖，对于初始策略较差的情况非常有效。
组合使用： 这些方法可以叠加使用（例如，先进行 ReGuide-FS，再进行 ReGuide-FT），以结合两者的优势。

核心贡献

数据生成机制： ReGuide 将测试时引导重新定义为不仅是修正工具，更是一个高质量、在策略恢复数据的生成器，捕捉了策略在哪里发生漂移以及如何恢复。
相位条件引导 (PCG)： 一种新型引导策略，将目标局部化到任务相位，并将引导限制在可靠区间内，防止有效的行为模式发生崩溃。
清洁动作微分： 通过对估计的清洁动作而非噪声迭代进行微分来适配引导，确保了与在清洁数据上训练的动力学模型的兼容性。
迭代循环： 一个无需额外专家演示即可迭代改进策略的框架，其上限仅受限于自我生成数据的性能天花板。

实验结果

在低数据量条件下，在四个 Robomimic 操控任务（Can, Square, Transport, Tool Hang）上进行了评估：

性能提升： ReGuide 将基准策略的成功率提高了 1.3–7.7 倍。
- Tool Hang 任务表现出最显著的提升（通过迭代 ReGuide-FT 提升了 7.7 倍），其基准成功率仅为 3%。
- Can, Square, 和 Transport 在单次迭代中也看到了持续的提升（1.3–1.5 倍），并通过组合或迭代进一步获得增益。
与 LPB 的比较： 在仅进行测试时引导（不进行微调）的设置中，PCG 在所有评估任务上均优于基准方法 Latent Policy Barrier (LPB)。
消融研究洞察：
- 有引导 vs 无引导： 收益归功于引导恢复数据的高质量，而非仅仅是增加了额外的展开次数。
- 阈值处理： 双阈值门控至关重要；移除上限阈值会显著降低性能。
- 多模态性： 中等数量的相位目标（ $M \approx 50$ ）是最优的；目标过少会导致模式崩溃，而过多则会稀释信号。
- 迭代： 第二次 ReGuide-FT 的效果始终优于第一次，证明了自我改进循环的可行性。

意义与主张

论文声称 ReGuide 为模仿学习中的协变量偏移问题提供了一个实用的解决方案，它将“失败或被修正的轨迹”这一浪费转化为有价值的训练数据。通过将引导展开视为可重用的在策略数据，ReGuide 使策略能够迭代地自我改进，而无需高昂的持续专家介入成本。

作者强调该框架的范围是适度的：它在迭代过程中依赖固定的动力学模型（以提高效率），并使用轨迹级的成功率过滤。他们承认，虽然该方法在仿真中表现良好，但未来仍需解决真机验证、自适应相位发现以及动力学模型不确定性校准等问题。其核心贡献在于证明了引导恢复数据比未引导的展开过程更有价值，从而实现了一个仅由策略自身修正经验驱动的策略改进闭环。