🤖 AI

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

本文介绍了 ValuePlanner，这是一种分层认知架构，它将基于大语言模型的价值推理与经典规划相结合，通过解决动机冲突使具身智能体能够执行稳定、自主且长程的行为，并在 TongSim 环境中通过一套新颖的以价值为核心的评估套件进行了验证。

原作者： Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你家里有一个机器人助手。目前，大多数这类机器人就像非常听话但略显困惑的实习生。如果你告诉它们“去打扫厨房”，它们会照做；如果你说“去煮咖啡”，它们也会照做。但如果你转身离开，把它们单独留在那里？它们通常只是站在那里，等待新的指令。它们不知道如何自主行动。

这篇论文介绍了一种新型机器人“大脑”，名为ValuePlanner。这种机器人不再被动等待指令，而是拥有自己的“个性”以及一套内在价值观，用以判断什么最为重要。这相当于赋予了机器人一个道德罗盘和一份它为自己撰写的待办清单。

其工作原理可分解为以下几个简单部分：

1. 问题：“做什么”与“怎么做”

作者们意识到，让机器人自主行动之所以困难，是因为存在两项不同的任务：

“做什么”（高层思维）： 基于何种事情更重要，决定下一步该做什么。（例如：“我应该整理一下，因为我喜欢井然有序。”）
“怎么做”（底层行动）： 规划具体步骤以完成任务，同时确保不损坏任何东西。（例如：“拿起杯子，走到水槽边，打开水龙头……"）

目前的机器人通常尝试用一个“大脑”（通常是大语言模型）同时完成这两项任务。问题在于，这些“大脑”有时会“产生幻觉”（凭空捏造），或者忘记物理规则（例如试图穿墙而过）。

2. 解决方案：两人协作团队

作者构建了ValuePlanner，将任务拆分为两个专门协作的成员：

“远见者”（大语言模型）： 这是富有创造力的部分。它审视机器人的内在“价值观”（例如“我喜欢整洁的房间”或“我希望保持安全”），并确定一个目标。它不担心细微的步骤，只会说：“让我们把房间整理干净吧。”
“工头”（符号规划器）： 这是严格且逻辑严密的部分。它接收“远见者”设定的目标，并检查房屋的规则。它会说：“好的，要整理房间，我们需要先捡起垃圾，然后放入垃圾桶。我们不能穿墙而过。”它会生成一个在物理上保证可行的分步计划。

神奇循环：
如果“工头”说：“嘿，这个计划行不通，因为垃圾桶满了”，“远见者”不会就此放弃。它会从批评者（第三个充当教练角色的“大脑”）那里寻求第二意见。批评者会说：“那个计划太乱了。让我们尝试另一个目标。”它们会不断 refinement 计划，直到完美为止。

3. “价值观”（机器人的个性）

当机器人没有老板时，它如何知道该做什么？它使用了一套基于人类心理学（具体为施瓦茨价值观理论）的系统。

想象机器人有一个带有 7 个设置的旋钮，就像调节不同感受的音量旋钮：

安全： “我希望安全舒适。”
管家精神： “我希望照顾我的家并保持整洁。”
享乐主义： “我希望放松并享受乐趣。”
成就： “我希望把事情做完。”

如果机器人“饿了”（能量低），它可能会优先考虑安全（吃点东西）。如果吃饱了但房间很乱，它可能会优先考虑管家精神（打扫）。如果它感到无聊，可能会优先考虑享乐主义（读一本书）。

最酷的部分是，机器人能够仲裁冲突。

场景： 房间很乱，但桌上边缘有一个花瓶，可能会掉落。
旧式机器人： 可能会直接清理杂物，却碰倒花瓶。
ValuePlanner： 权衡价值观。“安全”（不要打碎花瓶）此刻比“管家精神”（打扫）更重要。因此，它会先移动花瓶，然后再清理杂物。它做出了明智的权衡。

4. 他们如何测试

他们将这个机器人放入一个虚拟房屋（称为TongSim），并在不给任何指令的情况下观察了它很长时间。

结果： 机器人没有只是坐在那里。它开始自主地打扫、整理和放松。
对比： 他们将其与其他仅遵循指令或仅对基本需求做出反应（例如“我饿了，所以我吃”）的机器人进行了比较。ValuePlanner 在制定连贯的长期计划方面表现更好，这种计划让人感觉像是一个真正生活在房屋中的人，而不是一台仅仅在打勾的机器。

5. 核心结论

这篇论文不仅仅说“机器人可以执行任务”。它指出，“机器人可以拥有‘为什么’。”

通过将富有创造力的“我该做什么？”与逻辑严密的“我该怎么做？”分离开来，并赋予机器人一套内在价值观来指导其选择，作者们创造了一个能够主动行动的代理。它不仅仅是在遵循剧本；它是基于自己认为重要的事情做出决策，就像人类在无人要求时决定打扫房间一样。

简而言之： 他们教会了机器人拥有个性和计划，使其能够在房屋中过自己的生活，而不仅仅是等待你告诉它下一步该做什么。

以下是论文《弥合价值观与行为：主动具身代理的层级框架》的详细技术摘要。

1. 问题陈述

当前的具身代理（物理环境中的机器人或虚拟代理）存在被动性问题。它们主要局限于：

指令遵循：仅在外部用户明确提示时采取行动。
反应式需求满足：仅为了满足即时内部状态（例如饥饿）而行动，缺乏长期战略规划。

这些代理缺乏一个稳定的、高阶的价值框架，该框架对于以下方面是必要的：

主动自主性：在缺乏外部命令的情况下进行自我导向的行为。
冲突解决：在相互竞争的动机之间进行仲裁（例如，在为了整洁而“打扫房间”与为了饥饿而“进食”之间做出选择）。
长程一致性：生成连贯的多步骤行为，使其与一致的内在人格保持一致，而不仅仅是最大化即时奖励。

核心挑战在于高维抽象价值空间（基于价值观决定做什么）与巨大的组合动作空间（决定如何在物理上执行）的联合优化。

2. 方法论：ValuePlanner

作者提出了ValuePlanner，这是一种分层神经符号认知架构，它将高层价值推理与底层动作执行解耦。该架构基于施瓦茨基本价值观理论（Schwartz Theory of Basic Values），并针对单代理家庭环境进行了调整。

A. 内在价值系统

代理并非基于简单的稳态信号，而是基于源自施瓦茨理论的 7 维内在价值系统运行：

安全 - 生理：身体福祉（饥饿、能量）。
安全 - 环境：周围环境的秩序与安全。
享乐主义：即时的舒适与愉悦。
刺激：新奇感与探索。
成就：生产力与能力。
管家精神：培育和维护环境（由“仁慈”与“顺从”合并而来）。
充实：对平凡活动的过程导向式参与。

代理的“人格”由一个静态偏好向量 $w$ 定义，该向量对上述维度进行加权。其目标是在轨迹上最大化累积价值增益（ $\Delta V$ ）。

B. 分层架构

ValuePlanner 采用生成 - 批判 - 调整循环：

高层价值推理器（基于 LLM）：
- 生成器：提出一系列符号子目标（例如“整理房间”），以最大化预期价值增益。它受“环境解释规则”的约束，以防止幻觉并确保目标是持久的状态改变，而非短暂的动作。
- 批判器：审计生成的计划。它执行“价值增益最大化分析”（检查计划是否真正优化了人格的权重）和“计划质量分析”（检查效率与逻辑流）。这在执行前形成了一个迭代细化循环。
底层符号动作 grounding（基于 PDDL）：
- 使用经典规划器（Fast Downward）将抽象子目标转化为可执行的原子动作序列。
- 作用：保证物理和逻辑的一致性。如果规划器失败（例如“未找到计划”），则证明该子目标不可达，从而有效修剪 LLM 的幻觉。
适应机制（闭环）：
- 失败时：LLM 诊断根本原因（例如错误的谓词类型）并重新规划。
- 成功时：至关重要的是，系统会根据新的世界状态重新评估剩余的子目标。这允许进行协同规划（例如，意识到在去冰箱拿牛奶时，代理也可以为未来的目标抓取零食），从而动态优化轨迹。

3. 主要贡献

分层认知框架：一种新颖的架构，将“做什么”（基于 LLM 的价值 deliberation）与“怎么做”（符号规划）分离，实现了基于施瓦茨价值理论的主动自主性。
ValuePlanner 实现：一个可工作的神经符号代理，成功仲裁了复杂的价值冲突（例如平衡“安全”与“管家精神”），以生成连贯的、自我导向的行为。
以价值为中心的评估套件：超越简单的任务成功率，作者引入了以下指标：
- 累积价值增益：累积的总价值。
- 偏好对齐：代理的行为是否忠实反映了其分配的人格（通过加权 Kendall $\tau$ 测量）。
- 动作多样性：防止通过重复循环进行“奖励黑客”行为。

4. 实验结果

实验在TongSim中进行，这是一个高保真的家庭模拟环境。

性能：ValuePlanner 在累积价值增益（17.08 对比次优的约 11.9）和动作多样性（16.07 对比约 10.6）方面显著优于基线（ReAct、Reflexion、Plan-and-Solve 和 D2A）。
行为真实性：代理表现出高度的偏好对齐，证明它不仅仅是在最大化单一指标，而是根据其人格平衡了整个价值概况。
价值权衡：
- 协同：系统正确识别了协同关系（例如，打扫房间同时改善了“安全 - 环境”和“管家精神”）。
- 冲突解决：它成功处理了相互冲突的价值（例如，在疲惫时将“安全”（睡眠）置于“成就”之上，或者为“管家”人格将“管家精神”置于“享乐主义”之上）。
人类验证：人类研究证实，LLM 评估器对价值增益的评分与人类判断高度相关（ $r=0.68$ ），且人类观察者能够根据代理的行为准确推断其人格。

5. 意义与未来工作

从反应式到主动式的转变：这项工作弥合了感知与自主行为之间的差距，使代理能够基于内部价值观而非外部提示采取行动。
神经符号协同：它证明了结合 LLM 的灵活性（用于抽象推理）与符号规划器的严谨性（用于执行）对于可靠的长程具身人工智能至关重要。
局限性：当前框架依赖于静态的、预定义的符号领域。代理无法学习新的功能属性（例如，发现碗可以用作盖子）或更新其 PDDL 领域规则。
未来方向：作者提议关闭“认识论循环”，使代理能够观察、验证并将新的符号规则整合到其世界模型中，以实现长期适应。

总之，ValuePlanner代表了迈向真正自主代理的重要一步，这些代理拥有“个性”，能够解决内部冲突，并主动行动以在复杂环境中维持连贯的、以价值驱动的存在。