🤖 machine learning

Language-Critique Imitation Learning from Suboptimal Demonstrations

本文提出了一种语言批判模仿学习框架，该框架利用结构化的自然语言反馈来显式地描述进展、失败与修正，从而使策略在从次优演示中学习时，能够在不将表达信号坍缩为标量值的情况下超越现有方法。

原作者： Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人完成一项复杂的任务，比如堆叠积木或驾驶汽车。通常情况下，你需要一位完美的专家向机器人展示每一步该怎么做。但专家的成本很高，而且有时你手头只有一堆“还可以”的尝试记录，其中还夹杂着极少数完美的尝试。

仅仅把这些混合了优劣的尝试交给机器人，问题在于机器人会感到困惑。它不知道某一个动作为什么是好的，或者为什么是坏的。传统的方法试图通过给机器人一个简单的分数来解决这个问题，比如一个“点赞”或“踩”的符号，或者一个 1 到 10 的数字。但本文的作者认为，用一个数字来解释复杂的配方，就像仅仅说“它很好”或“它很坏”一样，这并不能告诉机器人该如何改进。

核心理念：“语言教练”

这篇论文介绍了一种名为语言评论模仿学习（Language-Critique Imitation Learning）的新型机器人教学方式。它不再是给机器人一个简单的评分，而是给它一位语言教练。

它是这样运作的，我们可以用一个简单的类比来理解：

1. 旧方法（记分卡）
想象一个正在考试的学生。老师把试卷还给学生时，上面只写了一个大大的红色的“C”。学生知道自己不及格了，但完全不知道原因。是日期记错了？还是单词拼错了？亦或是误解了问题？学生只能靠猜。在机器人领域，这就是使用简单的“奖励分数”。机器人知道某个动作不是最优的，但它不知道该如何纠正。

2. 新方法（语言教练）
现在，想象老师还回试卷时附带了一份详细的评语：“你把日期写对了，但在第二段漏掉了主要论点。另外，下次尝试把你的结论写得更清晰一些。”

这篇论文正是为机器人做了同样的事情。它观察机器人的动作，并生成一段自然语言评论，解释以下内容：

进度： “你目前正在尝试拿起盒子，但你还没有抓稳它。”
质量： “这个动作不好，因为你移动得太快了。”
纠正： “接下来，你应该缓慢地向左移动手臂。”

机器人是如何学习的

研究人员构建了一个包含两个主要部分的系统：

标签生成器（剧作家）： 这个部分观察机器人的运动，并撰写那些有帮助的笔记。它将任务分解为三个部分：你处于任务的哪个阶段、你的动作是否良好，以及如何进行修正。
LLM-Captioner（翻译官）： 这是一个小型且智能的语言模型，它学习阅读机器人的状态并自动编写这些笔记。它充当了一个桥梁，将机器人的原始数据转化为人类可理解的建议。

一旦机器人拥有了这些“笔记”，它就不再只是单纯地模仿完美的动作。相反，它会尝试做出那些能够获得语言教练给出“好评”的动作。它通过学习，来避免那些会导致收到“差评”和“纠正建议”的动作。

为什么这意义重大

研究人员在许多不同的任务上测试了该系统，从迷宫导航到精确的机械臂运动。他们发现：

它比简单评分效果更好： 与仅获得数字评分相比，当拥有详细的语言建议时，机器人学习得更快，犯的错误也更少。
它能很好地处理“混乱”的数据： 即使训练数据中充满了不完美、次优的尝试（比如一个大部分答案都写错的学生），语言教练仍然能够识别出有用的部分，并告诉机器人该如何修正。
它有助于处理复杂任务： 对于需要多个步骤或极其精确动作的任务（例如将木栓插入微小的孔洞中），语言反馈至关重要。它帮助机器人理解任务的“逻辑脉络”，而不仅仅是最终的结果。

总结

可以将这篇论文看作是从对机器人进行评分到对其进行辅导的一种转变。通过使用自然语言来解释为什么一个动作是错误的以及如何修复它，机器人可以更有效地从不完美的数据中学习，从而在不需要完美人类专家全程监督的情况下，变得更加聪明和鲁棒。

技术摘要：基于语言评论（Language-Critique）的次优演示模仿学习

问题陈述

从次优演示（suboptimal demonstrations）中进行模仿学习（IL）旨在通过利用丰富的、不完美的轨迹以及有限的专家数据来学习鲁棒的策略。然而，现有方法通常依赖于压缩后的标量监督信号——例如置信度估计、判别器分数、重要性权重或奖励——来区分有用行为与噪声。作者认为，这些标量信号具有内在局限性，因为它们无法显式地表达关于任务进度、特定失败模式或纠正动作的中间推理过程。因此，在长程（long-horizon）或多模态任务中，当成功取决于细微且具有阶段性的决策时，这些方法往往无法捕捉到所需的结构化信息。

方法论

本文提出了一种**语言评论模仿学习（Language-Critique Imitation Learning）**框架，该框架使用自然语言作为一种结构化的监督信号来取代标量信号。该方法由三个核心组件组成：

1. 结构化语言标签生成

为了避免人类标注或自由形式大语言模型（LLM）生成的变异性和高昂成本，作者引入了一个确定性的语言标签生成器 ( $\mu_g$ )。对于任何状态-动作对 $(s, a)$ ， $\mu_g$ 提取任务特定的启发式特征（例如物体距离、夹持器状态），并将其路由至三个特定的选择器以生成复合语言标签 $l$ ：

任务进度 ( $<T>$ )： 描述当前任务的语义阶段（例如，“接近物体”、“向目标移动”）。
动作最优性 ( $<A>$ )： 评估当前上下文中的动作是有益的、无效的还是有害的（例如，“该动作是好的”、“该动作是坏的”）。
运动引导 ( $<M>$ )： 提供细粒度的纠正指令（例如，“向右轻轻移动”、“向下方倾斜”）。

这种结构化方法确保了标签的一致性、可复现性，并且直接面向控制任务，而无需依赖特权环境信息。

2. 可微 LLM 描述器 ( $\mu_\phi$ )

为了实现端到端的策略优化，通过将 $\mu_g$ 生成的离散语言标签蒸馏到一个可微的 LLM 描述器 ( $\mu_\phi$ ) 中。该模型基于预训练的 LLM（具体为 SmolLM2）和 MLP 投影器构建，负责将状态-动作对映射到结构化语言标签分布。

训练： $\mu_\phi$ 在包含专家和次优数据的通用数据集上进行微调，通过 token 级的交叉熵损失来模仿 $\mu_g$ 。
角色： 训练完成后， $\mu_\phi$ 作为一个冻结的可微评论器（critic），用于评估策略动作 $\hat{a}$ 产生专家语言标签 $l^E$ 的可能性。

3. 语言评论损失 ( $L_{LC}$ )

核心学习目标是语言评论损失，它直接使用来自 $\mu_\phi$ 的结构化信号来训练策略 $\pi_\theta$ ，而不将其简化为标量。

机制： 该损失函数惩罚那些使得专家语言标签的概率低于专家动作本身的策略动作。其公式为策略的交叉熵损失与专家交叉熵损失之间的截断差值：
$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$
其中 $[x]_+ = \max(x, 0)$ ， $\text{sg}$ 表示停止梯度（stop-gradient）。
实例化：
- LC-BC： 应用于标准的前馈行为克隆（BC）。
- LC-DP： 应用于扩散策略（Diffusion Policies）。由于扩散模型预测的是噪声而非动作，因此损失应用于一步重建动作 $\hat{a}_0$ 。引入了一个与时间步相关的重加权因子 $\omega_k$ ，以平衡不同扩散步骤的贡献，确保损失与标准扩散目标保持一致。

核心贡献

框架： 引入了一个语言评论框架，利用自然语言作为次优演示模仿学习中结构化且非标量的监督信号。
算法： 开发了 LC-BC 和 LC-DP，分别将语言引导的监督集成到行为克隆和扩散策略中。
理论保证： 提供了一个理论证明，表明在标准假设（线性特征实现性和语言充分性）下，最小化语言评论差距可以上界约束专家策略的性能差距。
实验验证： 在八个多样化的连续控制任务（导航、操纵、游戏）上进行了全面的评估，展示了其相对于强基准方法的持续领先优势。

实验结果

作者在八个任务上评估了其方法：MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER, 和 RELOCATE。

性能对比基准： LC-BC 和 LC-DP 始终优于或匹配了强力的模仿学习基准（如 DemoDICE, DWBC, ILID）和离线强化学习方法（如 CQL, TD3+BC, Decision Transformer, Diffusion Policy）。
- 在多模态（BLOCKPUSH）和精密控制（PEGINSERT, HAMMER）任务中观察到了显著提升。例如，在 BLOCKPUSH 任务中，LC-BC 将成功率从 34.4%（标准 BC）提高到了 47.2%。
- 在精密任务 PEGINSERT 中，LC-DP 相比标准扩散策略保持了明显的优势，而 LC-BC 表现出适度的改进，这表明扩散策略能更好地通过迭代去噪过程整合高层语言引导。
混合质量数据： 该方法在专家数据集并非完全纯净的情况下依然有效，能够利用基于语言的启发式规则从混合数据集中过滤出次优数据。
消融研究：
- 结构化 vs. 标量： 使用语言标签的方法明显优于将标签坍缩为标量奖励（LC-BC-reward）或离散类别（LC-BC-classifier）的变体，证实了保留自然语言表达能力的价值。
- 组件重要性： 所有三个组件（ $<T>, <A>, <M>$ ）都被发现是互补的；移除其中任何一个都会导致性能下降。
- 标签来源： 结构化生成器 $\mu_g$ 优于开放式 VLM 生成的标签（例如来自 o4-mini），因为它具有更好的语义一致性和特征对齐，特别是在细粒度运动引导方面。

意义与主张

本文主张，自然语言是一种强大的、结构化的监督形式，对于从次优数据中学习而言，其优于压缩后的标量信号。通过显式描述任务进度、失败模式和纠正动作，语言标签提供了在复杂、长程和多模态环境中引导策略所需的结构化信息。

作者强调，其方法不仅仅是将语言作为一种描述性辅助工具，而是将其作为一种直接的、可微的监督信号，从而在不需要额外环境交互或专家数据的情况下，实现鲁棒的策略学习。其理论结果进一步支撑了这一实证成功，表明所提目标函数能够控制与专家策略的性能差距。这项工作表明，语言可以有效地弥合有限专家数据与丰富次优数据之间的鸿沟，为连续控制领域鲁棒的模仿学习提供了一条可扩展的路径。