💻 computer science

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

本文介绍了一种反馈操纵正则化（Feedback Manipulation Regularization, FMR），这是一种与算法无关的方法，它利用评估性反馈作为纠正信号，显著提升了离线、全序列决策环境下模仿学习策略的对齐性能，即使在演示数据稀缺或存在噪声的情况下，也能实现高达 98% 的失配减少。

原作者： Benjamin Poole, Minwoo Lee

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Benjamin Poole, Minwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人如何在迷宫中行走或参加比赛。你有两种方法可以帮助它：你可以给它看一段完美运行的视频（演示/demonstration），或者你在它尝试时大声喊“做得好！”或“不，停下！”（反馈/feedback）。

长期以来，研究人员一直试图通过一种复杂的、多步骤的过程将这两者结合起来，这种方法在处理文本时效果很好，但在处理现实世界的运动时却表现挣扎。他们认为：“如果我们只是比较两条路径并说‘路径 A 比路径 B 更好’，机器人就会学习。”但本文的作者认为，这种“比较”的方法就像是试图通过只问“这辆车是不是比那辆车好？”来教一个人开车，却从未说过“你快撞上树了！”。这太模糊了。如果两辆车都在撞车，机器人可能只会选择那个撞得稍微轻一点的，并将其视为胜利。

核心思想：“温度”技巧
作者 Benjamin D. Poole 和 Minwoo Lee 提出了一种名为**反馈操纵正则化（Feedback Manipulation Regularization, FMR）**的新方法。把 FMR 想象成机器人口脑中的一个神奇恒温器。

FMR 不仅仅是比较路径，它会倾听你“好”或“坏”的喊声，并立即调整机器人的“温度”。

如果你对某个动作说“坏！”（负面反馈），FMR 会调高该动作的“温度”。在机器人的大脑中，这会让该动作感觉起来很“热”，从而不太可能再次发生。它会将概率分布到其他更安全的选择上。
如果你说“好！”（正面反馈），它会降低该动作的“温度”，让它感觉起来很“冷”，从而非常容易被再次选中。

这是一个单步过程，是在离线状态下完成的（这意味着机器人是从一堆旧数据中学习，而不是通过实时尝试来进行学习）。它几乎可以配合任何学习算法，充当一个由人类控制的“熵调节器”，引导机器人远离坏习惯并趋向于好习惯。

证据：Safety Gym
为了测试这一点，作者建立了一个名为 Safety Gymnasium 的数字游乐场。他们创建了两种类型的挑战：

导航（Navigation）： 一个红球必须到达一个绿方块。有些路径是安全的，但隐藏的“危险因素”（如隐形墙或湿滑地面）会在触碰时扣除机器人的分数。
速度（Velocity）： 机器人（如跳跃的青蛙或游泳的蛇）必须移动，但必须保持在特定的速度限制之下。移动过快被视为一种“失配（misalignment）”。

他们给机器人喂入了一混合数据：少量的完美专家演示（假设是 10 或 25 个视频）和大量的杂乱、不完美的演示（50 个机器人漫无目的游荡或撞车的视频）。

发生了什么？
结果非常强劲。

基准模型的挣扎： 在没有 FMR 的情况下，标准的学习算法（如 BC、IQL、DemoDICE 和 ReCOIL）会被杂乱的数据搞糊涂。随着完美数据的减少，它们的“失配率”（即撞击危险或违反速度限制的频率）上升了。
FMR 的胜利： 当作者加入 FMR 后，机器人变得聪明得多。在导航任务中，对于表现最好的算法（ReCOIL+FMR），FMR 在“PathM”任务上减少了高达 92% 的失配，在“PathBB”任务上减少了 67%。
速度测试： 对于速度任务，FMR 的表现甚至更加剧烈。在“SlowSwim”任务上，它减少了高达 98% 的失配。即使当杂乱数据几乎毫无用处时，FMR 也能帮助机器人保持在轨道上。

FMR 不是什么
论文明确排除了其他几种想法。

它不仅仅是“奖励”： 他们尝试将“好/坏”反馈视为一个简单的分数（比如游戏积分），并将其喂入一个标准的奖励系统（称为 DVL）。但这并没有奏效。作者发现，将反馈视为原始奖励是无效的，因为反馈的目的是纠正行为，而不仅仅是增加分数。
它不仅仅是“比较”： 他们还尝试了一种名为对比偏好学习（Contrastive Preference Learning, CPL）的方法，该方法试图通过比较成对的路径来确定偏好。这也未能达到 FMR 的性能，尤其是在数据杂乱的情况下。作者认为，仅仅比较两条坏路径并不能给机器人提供足够清晰的方向来修正错误。

他们有多确定？
作者对这些结果非常有信心，因为他们使用不同的随机种子运行了 5 次 模拟，并对 100 万个训练批次 的最后 10 次评估进行了平均。他们不仅仅是在猜测；他们测量了“失配率”（产生成本的步骤比例）和“成功率”（机器人到达目标的频率）。

他们还测试了在拥有极少完美数据（好数据与坏数据的比例为 10 到 50）时 FMR 的表现如何。即使在这些艰难的“有限数据”环境下，FMR 依然能站得住脚，而其他方法则崩溃了。

不足之处
论文也承认了一个局限性：FMR 依赖于杂乱的数据与正确行为之间存在某种联系。如果杂乱的数据完全无关（例如，目标是向前走，但机器人却在原地打转），FMR 并不能奇迹般地修复它。这些“噪声”数据需要在其中包含至少一些正确的动作，反馈才能捕捉到它们。

简而言之，FMR 是一种巧妙的方法，利用简单的“好/坏”反馈来微调机器人的决策温度，使其比以前能更好地从杂乱数据中学习，且无需复杂的、多阶段的训练流水线。它表明，有时，一个简单的引导比复杂的比较更有效。

技术摘要：反馈操纵正则化 (Feedback Manipulation Regularization, FMR)

问题陈述

强化学习 (RL) 面临着双重挑战：能力（学习解决任务）与对齐（学习按照人类价值观解决任务）。虽然人类演示和反馈对于对齐至关重要，但现有方法主要依赖于为语言生成中的上下文老虎机 (Contextual Bandit) 框架设计的多阶段流水线（例如 RLHF）。这些方法难以转化为完全连续决策的环境。

此外，当前的基于偏好的学习方法在连续设置中存在根本性的局限性：

关系歧义性： 偏好是相对的（“哪一个更好？”）而非绝对的（“这是否是好的？”）。一个被偏好的行为不一定是符合对齐的行为，特别是当比较对中的两个选项都存在偏差时。
采样限制： 随机采样的比较对使得在没有显式策划的情况下，难以针对特定行为进行目标化处理。
数据稀缺： 在专家演示稀缺且不完美演示包含噪声或失调行为的离线设置中，现有算法往往难以维持对齐。

本文旨在解决一种单阶段、离线方法的需求，该方法能有效地将演示与评估性反馈结合起来，以在完全连续决策环境中实现策略对齐，即使是在有限的数据机制下。

方法论：反馈操纵正则化 (FMR)

作者提出了 反馈操纵正则化 (FMR)，这是一个与算法无关的框架，它将评估性反馈集成到模仿学习中。与将反馈视为奖励信号或偏好评分的方法不同，FMR 使用反馈直接操纵策略的概率分布。

核心机制

FMR 通过将人类反馈 $h(s, a) \in \{-1, 0, 1\}$ 视为一种纠正信号，将学习到的策略 $\pi_\theta$ 向潜在的人类对齐策略 $\pi_h$ 进行重塑。

反馈自适应温度：
该方法引入了一个源自反馈的温度参数 $\tau(s, a)$ 。
- 负反馈 ( $h < 0$ ) 意味着 $\tau > 1$ ，从而抑制所选动作。
- 正反馈 ( $h > 0$ ) 意味着对非选定动作的 $\tau < 1$ （有效地鼓励相对于其他动作而言的所选动作）。
- 无反馈 ( $h = 0$ ) 导致 $\tau = 1$ ，即不产生影响。
  温度通过指数映射计算： $\tau_j = \beta^{-h}$ （对于所选动作的负反馈）或 $\beta^h$ （对于非选定动作的正反馈），其中 $\beta > 1$ 。
策略重塑：
通过在概率空间中对当前策略进行温度缩放来近似人类对齐策略：
$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$
其中 $Z_\theta(s)$ 是归一化常数。此操作重新分配了概率质量，在不需要显式奖励模型的情况下，抑制了失调行为并鼓励了对齐行为。
正则化目标：
FMR 将对齐表述为一个分布匹配问题，使用学习到的策略 $\pi_\theta$ 与反馈调节后的代理策略 $\pi_\tau$ 之间的逆 Kullback-Leibler (KL) 散度。这产生了一个正则化项：
$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$
最终目标结合了标准的模仿学习损失 ( $L_{IL}$ ) 与此正则项：
$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$
其中 $\alpha$ 控制对齐强度。

数据处理

该方法是为从噪声演示中学习 (LfND) 而设计的，处理数据集 $D_U = D_E \cup D_I$ ，其中 $D_E$ 包含对齐的专家数据，而 $D_I$ 包含不完美的（噪声）数据。FMR 利用评估性反馈来区分并抑制 $D_I$ 中的失调子轨迹。

核心贡献

算法无关框架： FMR 可以作为正则化项应用于任何模仿学习算法（如 Behavioral Cloning, IQL, DemoDICE, ReCOIL）。
单阶段离线训练： 与多阶段 RLHF 流水线不同，FMR 在单个阶段内运行，使其适用于环境访问受限的完全连续决策环境。
有限数据下的鲁棒性： 该方法在专家与不完美数据比例较低（例如 1:50）以及不完美数据几乎不包含有益行为时，仍表现出鲁棒性。
原则性评估： 作者改编了 Safety Gymnasium 环境作为测试平台，使用成本信号提供了一种与总回报不同的、具有原则性的失调度量标准。

实验结果

作者在 3D 导航和速度受限运动任务（Hopper, Swimmer, Walker2D）中评估了 FMR 对各种模仿学习基准的表现。

对齐改进： FMR 在所有测试算法中一致地降低了失调程度。在 PathM 导航任务中，FMR 使 ReCOIL 的失调减少了高达 92%。在速度任务中，观察到了高达 98% 的减少。
能力保持： 至关重要的是，失调的减少并未以牺牲任务性能（能力）为代价。与基准相比，FMR 维持或提高了成功率和归一化回报。
与其他方案的对比：
- 对比 DVL (Dual Value Learning)： DVL 用反馈替代奖励，其表现较差，证实了将反馈天真地解释为奖励信号是无效的。
- 对比 CPL (Contrastive Preference Learning)： CPL 使用反馈进行成对评分，随着数据比例下降，其表现显著恶化，而 FMR 保持稳定。
数据重叠： 当不完美演示包含一些相关子轨迹（高重叠）时，FMR 表现最好。然而，在基准方法完全失效的低重叠场景中，它仍然提供了显著的改进。
反馈效率： 实验表明，FMR 能有效地从仅有负反馈的情况下进行学习，负反馈是纠正偏差的主要驱动力。

意义与主张

论文声称 FMR 通过以下方式代表了离线智能体对齐的一个重要进步：

桥接模态： 成功地将评估性反馈与演示整合为连续决策的相互关联信号，超越了基于偏好的相对判断的局限性。
解决“对齐-能力”权衡： 证明了可以在不牺牲智能体完成任务的能力的前提下，大幅降低失调程度（高达 98%）。
处理数据稀缺： 为高质量对齐数据稀缺而噪声数据丰富的场景提供了一个可行的解决方案，这是现实世界中常见的约束。
模块化： 提供了一个即插即用的正则化项，可以增强现有的模仿学习算法，而无需改变架构或进行多阶段训练流水线。

作者总结道，FMR 有效地利用了反馈中丰富的信息来调节策略熵，从而抑制了不良行为并强化了偏好行为，进而实现了更稳健且对齐的离线学习。