💻 computer science

Learn from What We HAVE: History-Aware VErifier that Reasons about Past Interactions Online

本文介绍了 HAVE，这是一个通过将动作生成与一个能够通过对过去交互进行推理来选择最优候选动作的历史感知验证器解耦，从而提升机器人在歧义场景下操控能力的创新框架。

原作者： Yishu Li, Xinyi Mao, Ying Yuan, Kyutae Sim, Ben Eisner, David Held

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yishu Li, Xinyi Mao, Ying Yuan, Kyutae Sim, Ben Eisner, David Held

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图打开一扇门，但你看不到把手，也不知道是该推还是该拉。在现实世界中，许多物体看起来完全一样，但行为却截然不同。一个箱子无论里面是空的还是装满了沉重的砖块，看起来可能都一样；一扇门也可能看起来一样，但实际可能是向左开或向右开。

这篇论文介绍了一种让机器人处理这些令人困惑情况的新方法。他们将这个系统称为 HAVE（历史感知验证器，History-Aware VErifier）。

以下是通过简单的类比对该系统进行的解释：

问题所在：“猜谜游戏”

传统上，机器人试图学习一条单一的规则：“当我看到这扇门时，我会推。”但如果这扇门实际上需要拉，机器人就会失败。如果机器人试图通过仅仅更新其主“大脑”（生成器）来从错误中学习，它往往会变得混乱。这就像是在尝试学习一门语言，但只能通过一个有时说英语、有时说法语的说话者来学习，而你直到尝试开口说话之前，都无法分辨哪种语言。

作者发现，仅仅训练机器人去“记住”过去并猜测下一步动作的方法效果并不理想。机器人会不断犯同样的错误，因为它试图将所有不同的可能性平均化为一个单一的、混乱的答案。

解决方案：“创意生成器”与“聪明评论家”

与其让一个大脑承担所有工作，HAVE 将任务分成了两个截然不同的角色：

创意生成器（梦想家）：
这部分是机器人的创意头脑风暴环节。它不担心是否完美。相反，它会快速构思出许多不同的想法，关于下一步该做什么。
- 类比： 想象一位饥肠辘辘但不知道冰箱里有什么的厨师。他不再只猜一种餐食，而是提出了 30 个不同的食谱创意：“也许是意面？也许是汤？也许是三明治？”这位厨师会生成各种各样的选项，而不必担心现在是否正确。
历史感知验证器（聪明的评论家）：
这是系统中这个全新的、特殊的组成部分。它会查看“梦想家”提供的 30 个想法列表，并根据机器人的历史记忆进行检查。
- 类比： 想象一位睿智的老导师，他见过这位厨师失败的经历。导师会说：“上次你用那个重锅子做汤时，它翻倒了。所以，‘汤’不是个好主意。但记得上次你做三明治成功了吗？让我们试试那个吧。”
- 验证器不仅仅是在猜测；它在进行推理：“基于我们昨天尝试推那扇门时的经历，再次推门可能是不对的。让我们试着拉一下。”

它们如何协同工作

当机器人面对一个新的、令人困惑的物体时：

生成器喊出 30 个可能的动作（例如：“向左推”、“向右拉”、“此处抬起”、“彼处抬起”）。
验证器查看该列表以及机器人过去成功或失败的历史记录。
验证器从列表中选出单个最佳动作并告诉机器人去做。

为什么这种方法更好

论文通过数学和实验证明，这个“两人团队”比试图独自猜测答案的单体机器人要聪明得多。

实验： 他们在处理棘手的门（可以推也可以拉）、开启关节类物体（如抽屉或柜子）以及提升重量分布未知的重杆等任务上测试了该系统。
结果： 在模拟和现实世界测试中，HAVE 系统比那些试图一次性学完所有内容的机器人失败率低得多。
- 例如，在面对具有歧义性的门时，旧方法的失败率约为 20%。而 HAVE 系统的失败率仅为 2% 左右。
- 它还能用更少的步骤找到抬起重物的方法，从而节省了时间和能量。

核心结论

论文认为，当情况令人困惑时，你不应该仅仅尝试“更努力地学习”。相反，你应该生成许多种可能性，然后使用一个聪明的检查器，利用你过去的错误记忆来挑选出正确的选项。

通过将“创造想法”的行为与“检查想法”的行为分离，机器人能够更好地理解物理世界的隐藏规则，就像人类通过试错学习一样。

（注：本论文严格专注于机器人操作任务，如开门和抬起物体。它并未讨论医疗应用、临床用途或超出这些特定机器人实验范围的未来影响。）

技术摘要：历史感知验证器 (HAVE)

问题陈述

在现实世界中运行的机器人经常遇到视觉上具有歧义的对象，其中相同的外观掩盖了截然不同的物理行为（例如，需要推还是拉的门，或者内部质量分布未知的物体）。在这种情况下，环境的真实状态是部分可观测的，使其成为一个部分可观测马尔可夫决策过程 (POMDP)。

核心挑战在于，即使以动作历史为条件，标准的生成式策略也难以消除这些歧义。理论和实证证据表明，训练单个生成式策略来模仿异构专家数据集（即对于相同的观测值，其基准真相解是不同的）会导致次优的表现。作者认为，仅仅依赖于以历史为条件的生成器，无法有效地利用过去的交互来实时消除不确定性。

方法论：HAVE 框架

作者提出了 HAVE（History-Aware VErifier，历史感知验证器），该框架明确地将动作生成与动作验证解耦。该系统基于“生成-验证”范式运行：

无条件生成器 ( $\pi_G$ )： 一个基于扩散的模型，根据当前观测生成一组包含 $N$ 个候选动作的批次。至关重要的是，该生成器在生成阶段对于历史是“无条件”的；它提出的候选方案不会受到生成过程中过去失败或成功的影响。
历史感知验证器 ( $V$ )： 一个神经网络通过推理完整的交互历史（过去的动作及其产生的观测结果）来评估提出的候选方案。它为每个候选方案输出一个标量分数（估计奖励）。
选择： 系统从验证器中选择并执行估计得分最高的动作。

网络架构

验证器采用了专门设计的架构，旨在将当前的提案与历史数据联系起来：

编码： 动作被表示为稠密动作场（带有动作向量的点云）并通过 PointNet++ 进行编码。观测值通过计算“观测流”（连续帧之间点的运动）并对该流进行编码来完成。
注意力机制： 验证器的核心使用了一个显式的注意力层。当前的动作提案作为查询 (Query, Q)，而历史动作和观测流的嵌入则作为键 (Key, K) 和值 (Value, V)。这使得模型能够检索与当前提案相似的过去经验。
无条件分支： 为了处理不存在相似历史的情况，架构包含了一个无条件评估分支，该分支会对不带历史上下文的动作进行评分，并将其集成到最终的注意力机制中。
训练损失： 模型使用三个损失组件进行训练：
- 最终得分损失 (Final Score Loss)： 监督所选动作的最终预测得分。
- 历史得分损失 (History Score Loss)： 监督历史动作结果的得分。
- 无条件得分损失 (Unconditional Score Loss)： 监督无条件评估分支。

理论动机

论文为“生成-验证”的分离提供了理论依据：

生成-验证差距 (Generation-Verification Gap)： 引用 Setlur 等人的研究，作者指出在具有异构解轨迹的设置中，生成式策略遭受的奖励差距收敛速率为 $O(\sqrt{1/n})$ ，而旨在拟合奖励项的验证器收敛速率更快，为 $O(e^{-H/n})$ （其中 $H$ 是时界长度）。
选择收益： 作者证明，如果验证器的准确率大于 50% ( $p_V > 0.5$ )，且生成器具有采样到良好动作的非零概率，那么使用验证器从 $N$ 个样本中选择最佳动作，其期望奖励严格高于从生成器中采样单个动作。

实验结果

该方法在涉及基本歧义性的三个不同环境（包括模拟和现实世界）中进行了评估：

关节对象（模拟）：
- 任务： 从关闭状态打开各种关节对象 (PartNet-Mobility)。
- 结果： 与 FlowBot3D 相比，HAVE 将失败率降低了约 6倍（从 13% 降至 2%）；与不带验证器的历史条件生成器相比，失败率降低了 10倍。
- 消融实验： 使用稠密动作场和显式观测流提取的方法优于稀疏表示和原始点云序列。
多模态门（模拟与现实世界）：
- 任务： 为几何形状相同但关节配置不同的门确定正确的开启方向（推/拉，左/右）。
- 结果： HAVE 在失败率和开启门所需的步数方面均显著优于基准模型。在配备 Franka Emika Panda 机器人的现实实验中，HAVE 在所有四种门模式下都表现出了更高的成功率和效率。
不均匀物体拾取（模拟）：
- 任务： 提升具有未知、不均匀质量分布的杆状物和物体。
- 结果： 与基准模型相比，HAVE 在歧义杆状物数据集和未见过的物体数据集上均降低了失败率，展示了通过试错交互来推断质心的能力。

核心贡献

新型验证器结构： 一种历史感知验证器，通过显式推理过去的交互来消除不确定场景中的歧义，并将这种推理过程与动作生成过程解耦。
理论分析： 正式证明了使用验证器从生成器提案中进行选择可以提高动作质量，前提是验证器的表现优于随机猜测。
实证验证： 在模拟和现实世界环境（关节对象、歧义门、不均匀质量物体）中进行了全面的实验，证明了其相对于最先进基准模型的显著改进，并通过消融研究证实了特定设计选择（如稠密动作场、显式注意力）的有效性。

意义与局限性

论文声称 HAVE 为歧义、多模态操控任务中的在线消歧提供了一种鲁棒的解决方案。通过结合生成式策略与历史感知验证器，系统可以根据试错结果调整策略，克服纯生成式方法的局限性。

作者承认了以下局限性：

系统性能严格受限于生成器的表达能力；如果生成器未能提出可行的动作，验证器无法进行补偿。
目前的训练依赖于从模拟中获得的特权知识（基准真相动作和得分），这在多样化的现实场景中可能无法直接获得。
未来的工作旨在探索如何通过验证器主动提高生成器质量，以及如何在没有特权监督的情况下学习得分。