💻 computer science

Bayesian Partner Modelling enables Adaptive Replanning for LLM Coordination

本文介绍了 BayesBeliefAgent，这是一个结合了贝叶斯伙伴追踪与矛盾条件重规划的层级化大语言模型系统，旨在高效地适应队友的策略转变，并与现有方法相比，显著减少了不必要的重规划以及信念-行动差距。

原作者： Harsh Goel, Aditya Sai Ellendula, Vaishnav Tadiparthi, Ehsan Moradi Pari, Hossein Nourkhiz Mahjoub, Sandeep P. Chinchali

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Harsh Goel, Aditya Sai Ellendula, Vaishnav Tadiparthi, Ehsan Moradi Pari, Hossein Nourkhiz Mahjoub, Sandeep P. Chinchali

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，一个主要的进阶前沿是如何教计算机协同工作。想象两个人正在试图制作一张桌子；如果一个人突然决定开始打磨木材，而另一个人还在锯木头，那么项目就会停滞。几十年来，研究人员一直试图让计算机程序进行协调，但一种特定的失败模式始终难以攻克。大型语言模型——那些能够编写故事或解决谜题的强大人工智能系统——通常非常擅长理解合作伙伴的“意图”。它们可以观察队友的行为并正确猜测：“啊，他们正试图切蔬菜。”然而，了解合作伙伴正在做什么并不自动意味着人工智能知道何时停止自己的当前任务。AI 可能会正确意识到其伙伴改变了计划，却因为过于僵化而无法改变自己的航向，继续切了十分钟蔬菜。这种在“理解伙伴”与“改变自身行为”之间的差距，正是研究人员试图解决的核心问题。

来自德克萨斯大学奥斯汀分校和本田研究中心的一个研究小组引入了一种新方法来修复这种脱节。他们构建了一个名为 BayesBeliefAgent 的 AI 智能体，设计用于在一个模拟厨房环境中工作，其中两名厨师必须共同准备餐食。在这些场景中，AI 及其看不见的伙伴必须协调各项任务，如切洋葱、煮米饭或摆盘。挑战在于，伙伴的策略可能会在任务执行过程中发生转变。研究人员发现，仅仅给 AI 提供对伙伴更好的理解是不够的。相反，他们给了 AI 一个特定的机制，用以决定确切何时停止当前的动作并重新开始。该系统不断观察伙伴的动作，并将其与 AI 基于其对伙伴计划的当前猜测所预期的动作进行比较。当伙伴的行为明显违背了该猜测时，AI 会立即中断自身的工作并重新计算一个新计划。

这项创新的关键在于，这种中断仅在必要时发生。许多现有方法要么一旦开始就从不改变计划，要么改变得过于频繁，从而浪费时间和精力。新系统使用一种统计方法来追踪伙伴可能的技能水平。它会等待证据变得强大且一致之后才采取行动。如果伙伴做了一个可能属于失误的奇特动作，AI 会忽略它；但如果伙伴的行为持续显示出他们在做完全不同于预期的事情，AI 就会停止当前工作并请求一个新计划。这种方法防止了 AI 陷入“明知错误却仍在执行”的死循环。

研究人员在各种厨房布局（包括开放式空间和圆形布局）中测试了这个系统，将其与具有不同烹饪偏好类型的不同伙伴进行配对。他们将这个新智能体与其它方法进行了对比，这些方法要么在固定的时间间隔进行重新规划，要么在特定事件发生时进行重新规划，或者依赖于一个独立的 AI 裁判来决定何时改变计划。结果显示，新智能体在成功交付餐食的数量方面取得了相似或更好的成绩，但它完成任务时的中断次数要少得多。其他方法在每局游戏中可能需要停止并重启计划数十次甚至数百次，而新智能体通常只需要重新规划几次。这种效率源于它能够区分“噪声”与“真正的策略变化”。

至关重要的是，研究表明，拥有关于伙伴角色的正确猜测并不等同于良好的协调。在一组测试中，新智能体和标准智能体在预测伙伴技能方面的准确度几乎相同。然而，标准智能体在伙伴已经改变计划后仍长时间执行过时的计划，导致了大量的重复劳动（即两个智能体尝试执行同一项任务）。相比之下，新智能体通过在正确时机触发行为改变，有效地减少了“信念-行动差距”（即智能体已知真相却未能采取行动的程度）。该研究表明，对于 AI 而言，要实现真正的协作，它不仅需要一个关于伙伴的模型，还需要一个可靠的信号，告知它何时该模型已过时以及何时该切换档位。

研究人员还测试了如果将伙伴的信息仅作为背景上下文输入到规划过程中，还是将其作为直接触发器来停止并重启，哪种效果更好。他们发现，将信息作为触发器使用要有效得多。仅仅告诉 AI “你的伙伴正在做 X”并不能保证它会改变计划。只有当信息被用于主动中断当前动作时，系统才会得到提升。这种区别强调了：理解伙伴的价值在于能够立即根据这种理解来采取行动，而不仅仅是将其保存在记忆中。

尽管取得了这些成功，研究人员也承认了局限性。该系统目前依赖于一组预定义的技能列表（如“切削”或“烹饪”），而不是实时学习新技能。在需要两个智能体完美同步移动的高度耦合环境中，该系统的表现较弱，这表明 AI 底层的规划大脑仍需改进。团队指出，未来的工作需要解决如何自动学习这些技能，以及如何处理策略变化更快的伙伴。不过，目前这项工作展示了一条清晰的前进路径：通过将对伙伴的理解直接与“何时停止并重新开始”的决策相连接，AI 智能体可以从仅仅“观察”队友转向真正地与他们“协作”。

技术摘要：贝叶斯伙伴建模实现 LLM 协作中的自适应重规划

问题陈述

多智能体大语言模型（LLM）系统经常在面对策略发生变化的全新队友时表现出协作困难。虽然智能体能够成功推断伙伴的意图（这是一种与“心智理论”相关的能力），但它们往往无法将这种更新后的信念转化为及时的行为转变。具体而言，即使公开证据已经表明伙伴改变了策略，智能体仍倾向于继续执行过时的、多步骤的技能。这造成了信念—行动差距（belief–action gap）：智能体拥有关于伙伴当前角色的准确模型，却未能中断自身的持续执行过程，以选择互补的技能。现有方法要么将伙伴追踪视为被动上下文（导致反应迟缓），要么不加区别地触发重规划（导致过度的计算损耗）。

方法论：BayesBeliefAgent

作者引入了 BayesBeliefAgent，这是一种分层 LLM 协作智能体，旨在弥合伙伴信念与控制之间的鸿沟。该系统通过三个核心机制运行：

1. 在线贝叶斯伙伴-技能信念更新

智能体维护一个关于队友活跃技能 $\psi$ 的递归后验信念 $b_t(\psi)$ ，其中 $\psi$ 取自有限的技能库 $\Psi$ 。由于队友的高层策略是不可观测的，智能体利用基于公开可观测的原语动作的**贝叶斯逆向规划（Bayesian inverse planning）**来推断其技能。

推理窗口： 智能体在最近的轨迹段上更新信念，假设队友的技能在 $k$ 步的窗口内保持不变。
似然近似： 由于真实的队友低层控制器未知，智能体使用自身的低层动作控制器 $\pi^i_{low}$ 来近似动作似然，以此预测如果队友正在执行特定技能 $\psi$ ，其可能会采取的行为。
先验初始化： 先验信念基于当前回合内已完成的伙伴技能历史进行平滑计数模型初始化，使智能体能够随时间学习行为偏好。

2. 基于矛盾触发的技能中断

智能体并非不断进行重规划，而是采用了一种门控中断机制。智能体评估观察到的队友动作在当前最大后验（MAP）技能估计下的似然度。

矛盾信号： 如果观察到的动作似然度低于阈值 $\theta_{obs}$ ，则触发矛盾信号。
中断门控： 为防止由噪声引起的重规划，只有在满足以下条件时才会发生中断：
1. 检测到矛盾。
2. MAP 技能估计在近期更新中保持稳定。
3. 当前信念置信度超过阈值 $\Gamma_{conf}$ 。
4. 自我智能体正处于技能执行中且不在冷却期内。

3. 选择性重规划

当中断门控条件满足时，智能体会停止当前的技能并调用高层 LLM 规划器。规划器接收更新后的后验信念和新的 MAP 估计作为协作上下文，以选择互补的技能。这确保了智能体仅在当前计划与伙伴行为明显不一致时才进行重规划。

核心贡献

方法： 引入了 BayesBeliefAgent，它利用当前队友技能估计下的基于似然度的矛盾来选择性地中断并重规划，而非依赖于周期性或基于事件的触发。
诊断工具： 一种创新的评估协议，定义了信念—行动差距率（智能体拥有正确伙伴估计但执行非互补技能的决策比例）、基于矛盾的恢复能力以及重规划效率。这些指标揭示了聚合奖励指标往往会掩盖的协作失败问题。
证据： 实验结果表明，以后验概率为门控的中断机制将伙伴信念从被动上下文转化为主动控制信号，显著缩小了信念—行动差距，同时所需的重规划次数比启发式基准方法低几个数量级。

实验结果

该系统在 Overcooked 和 Burrito 环境中进行了评估，涵盖三种布局（开放式、环形、强制协作）以及三组具有不同行为偏好的伙伴。

协作性能： 在开放式和环式布局中，BayesBeliefAgent 的表现优于基于 LLM 的基准模型（ProAgent, Hypothetical Minds），尤其是在面对具有独特物流或采购偏好的伙伴时。然而，基于强化学习（RL）的基准模型（TALENTS, GAMMA）通常获得了更高的原始奖励，这表明底层的 LLM 规划器仍是性能瓶颈。
缩小信念—行动差距： 尽管 BayesBeliefAgent 的队友技能预测准确度与基准模型 ProAgent 几乎一致，但它显著降低了信念—行动差距（例如在开放式布局中从 0.41 降至 0.20），并减少了重复技能率。
重规划效率： 该方法实现了与通用重规划启发式算法（Periodic-10, Completion-triggered, LLM-judge）相当的奖励，但重规划次数大幅减少。例如，在 Open G1 设置中，BayesBeliefAgent 平均每回合仅需 2.0 次重规划，而实现类似性能的启发式算法则触发了 43 至 169 次重规划。
消融实验： 实验证实，将后验概率作为控制信号（触发中断）比仅将其作为规划器提示词中的上下文更为有效。研究表明，将信念与重规划决策直接耦合是提升协作能力的驱动力。

意义与主张

本文认为，有效的多智能体协作不仅需要准确的伙伴建模，还需要一种原则性的机制来决定何时根据该模型采取行动。作者主张：

没有控制，信念不足以支撑协作： 如果智能体未能中断过时的计划，即使正确推断了伙伴的意图也无法保证协作。
选择性重规划优于频繁重规划： 对每一次行为变化都做出反应会导致过度的计算损耗。检测针对稳定信念的具体矛盾，可以实现高效的适应。
弥合心智理论（ToM）差距： 本研究通过证明必须将信念更新与控制信号直接耦合，以防止智能体继续执行冗余或冲突的策略，从而解决了“字面—功能性心智理论”的差距。

作者也谦虚地指出了局限性，即该方法依赖于固定的、人工指定的技能库，并且在耦合紧密的场景（强制协作）中效果较差，因为在这些场景下底层的 LLM 规划器限制更为明显。他们指出，学习技能空间以及将信念估计与动作选择进行联合优化是未来的研究方向。