🤖 machine learning

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero 是一个统一框架，它通过在蒙特卡洛树搜索的根节点处注入大语言模型指导以进行聚焦探索，从而弥合静态大语言模型先验与动态世界模型之间的鸿沟，并通过将世界模型训练与大语言模型适配解耦以实现稳定、细粒度的信用分配，从而显著提升长程任务中的决策效率与性能。

原作者： Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一位非常聪明、博览群书的图书管理员（即大语言模型）如何玩一款复杂的文字冒险游戏，比如《Zork》或《侦探》。这位图书管理员对世界、故事和逻辑知之甚少，但他们从未真正玩过这款游戏。他们不知道具体的规则、隐藏的陷阱，也不知道游戏世界会对每一个动作做出何种反应。

论文PriorZero提出了一种新方法，教导这位图书管理员如何玩游戏，既不会让他们发疯，也不会让他们忘记已有的知识。

以下是问题与解决方案的分解，使用了简单的类比：

问题：“知”与“行”的鸿沟

作者发现，现有将图书管理员的知识与游戏游玩相结合的方法，主要在两个方面失败：

“静态指南”问题：如果你只是让图书管理员根据他们的通用知识告诉你该做什么，他们可能会给出一个逻辑上合理的答案，但这在游戏中实际上是一个陷阱。他们知道门通常起什么作用，但不知道游戏中这扇特定的门通向无底深渊。他们对游戏的具体规则是“盲”的。
“无尽试错”问题：如果你试图通过让图书管理员玩数千次游戏并在每次失败时纠正他们（这种方法称为“微调”）来教导他们，那将是一场灾难。游戏提供的奖励极少（例如找到宝箱），导致图书管理员感到困惑。他们可能会开始随机猜测，或者因为游戏的特定规则如此怪异而“遗忘”他们良好的通用知识。

解决方案：PriorZero

PriorZero 充当了图书管理员的通用智慧与专门的“游戏模拟器”（称为世界模型）之间的桥梁。它采用了两部分策略：

1. “根先验注入”（聪明的起点）

想象图书管理员和游戏模拟器正在使用一棵巨大的决策树（称为MCTS）共同规划下一步。

旧方法：图书管理员试图猜测未来路径的每一个步骤。这既缓慢又经常出错，因为图书管理员不了解游戏的物理机制。
PriorZero 方法：图书管理员仅在第一步（树的根节点）提供建议。他们会说：“基于我的知识，向北走似乎是个好主意。”
模拟器的任务：一旦图书管理员建议“向北”，游戏模拟器便接管。它仅从该建议开始，模拟数千种可能的未来，以查看这是否真的通向宝藏或陷阱。图书管理员不干涉深层模拟；他们只是帮助将搜索指向正确的方向，以免模拟器浪费时间去寻找明显糟糕的路径。

类比：把图书管理员想象成一位导游，他了解城市的历史。他指引你前往“历史街区”（根节点）。一旦你到达那里，GPS（世界模型）便接管，计算穿过街道的确切、最快路线，避开导游不知道的拥堵路段。

2. “交替训练”（安全的课程）

这是他们教导图书管理员变得更好而不破坏其大脑的方法。

阶段 A（模拟器学习）：首先，游戏模拟器玩游戏并学习规则、奖励以及每个动作的后果。它变得非常擅长预测未来。
阶段 B（图书管理员学习）：一旦模拟器变得聪明，它就充当一位严格但公正的老师。它告诉图书管理员：“你建议了‘向北’，这就是它带来的确切奖励量。”因为模拟器已经完成了艰难的数学计算，反馈清晰且不令人困惑。图书管理员从这些具体的反馈中学习。
循环：它们轮流进行。模拟器变得更聪明，然后教导图书管理员，接着图书管理员变得更聪明，这反过来帮助模拟器更好地探索，如此循环往复。

类比：想象一位国际象棋教练（模拟器），他已经下过数百万局棋。与其让一名学生（图书管理员）随机下棋并感到沮丧，不如让教练为学生模拟游戏。教练说：“如果你走这一步，你将在 5 步内获胜。”学生无需承受亲自下完整局游戏的压力，就能学会该步棋的价值。

结果

作者在两种类型的游戏中测试了这种方法：

文字冒险游戏（Jericho）：你需要输入命令来探索世界的游戏。
网格世界（BabyAI）：你需要在网格中导航以寻找物体的游戏。

发生了什么？

PriorZero 的学习速度快于仅使用图书管理员或仅使用模拟器的方法。
从长远来看，它达到了更高的分数（找到了更多宝藏）。
它解决了“死循环”问题，即智能体在同一个房间里来回走动而陷入停滞。图书管理员的初始提示帮助模拟器打破了这些循环。

总结

PriorZero 是一种团队合作策略。它让大语言模型（图书管理员）做它最擅长的事：利用常识建议一个好的起点。它让世界模型（模拟器）做它最擅长的事：计算这些动作复杂的长期后果。通过保持它们既分离又连接，它们避免了强迫图书管理员成为游戏引擎，或强迫游戏引擎成为哲学家的错误。

技术摘要：PriorZero

问题陈述

将大语言模型（LLM）整合到强化学习（RL）智能体中，为利用丰富的世界知识解决长视野、稀疏奖励的决策任务提供了一条有前景的途径。然而，现有方法受到根本性的先验 - 动力学不匹配（prior-dynamics mismatch）的阻碍。

当前范式面临特定的结构性瓶颈：

朴素策略（P1）： 将 LLM 用作零样本策略会导致短视决策，因为语言似然度并不等同于环境回报，从而造成“知行差距”。
朴素 RL 微调（P2）： 通过 RL 对 LLM 进行端到端微调会遭受高方差的信用分配问题和优化不稳定性，特别是在稀疏奖励环境中。
动力学建模（P3）： 使用 LLM 预测状态转换会因粒度不匹配而失败；LLM 是在 token 级文本生成上预训练的，而潜在动力学模型需要状态 - 动作级的转换预测。
文本编码器（P4）： 使用冻结的 LLM 特征作为静态表示限制了特定任务的适应能力，从而设定了性能上限。

核心挑战在于弥合 LLM 的静态语义先验与有效规划所需的动态、特定于环境的转换模型之间的差距。

方法论：PriorZero 框架

PriorZero 提出了一个统一框架，将 LLM 与世界模型解耦，并通过解耦的 rollout-训练设计将它们整合。该系统在 LLM 与环境之间放置了一个可学习的世界模型，允许 LLM 提供语义指导，而世界模型则处理转换建模、价值估计和多步规划。

1. 根先验注入（Rollout 阶段）

在 rollout 阶段，PriorZero 利用潜在世界模型（基于 UniZero）在潜在空间中执行蒙特卡洛树搜索（MCTS）。

机制： 一种新颖的根先验注入机制将 LLM 的语义动作先验专门融合在 MCTS 的根节点处。
实现： LLM 根据当前文本上下文生成情境分析（思维链）和动作分布（ $\pi_{LLM}$ ）。这与世界模型的策略（ $\pi_{WM}$ ）在根节点处融合：
$P_{root}(a | z_t) = (1 - \alpha) \pi_{WM}(a | z_t) + \alpha \pi_{LLM}(a | C_t)$
约束： 搜索树中的非根节点完全依赖世界模型的潜在动力学。这防止了范式 P3 的“粒度不匹配”，因为 LLM 从未被强制去预测想象潜在状态的状态转换。
优势： 这引导搜索朝向语义上更有希望的动作，防止 MCTS 陷入无意义的轨迹（例如奖励循环），同时保留世界模型的深度前瞻能力。

2. 交替强化微调（训练阶段）

为了解决范式 P2 的信用分配失败问题，PriorZero 采用交替微调策略，将世界模型学习与 LLM 适应解耦。

调度： 训练遵循非对称调度（例如，每 1 次 LLM 更新对应 10 次世界模型更新）。
世界模型学习： 世界模型在交互数据上进行更新，以优化其动力学、策略和价值预测。
LLM 适应： 不使用高方差的在线策略回报，而是利用源自世界模型价值估计的低方差优势信号对 LLM 进行微调。
- 优势使用 $n$ -步自举 TD 目标计算： $A(z_t, a_t) = Q_n(z_t, a_t) - v_\theta(z_t)$ 。
- LLM 通过截断的 PPO 目标进行更新，采用特定的加权方案：对动作 token 应用全权重，对思维链（CoT）推理 token 应用降低的权重（ $w_{cot}=0.1$ ）以保持稳定性。
优势： 这创建了一个闭环，其中世界模型为 LLM 提供稳定、细粒度的监督，使 LLM 的先验能够与环境动力学协同演化，同时避免了端到端优化的不稳定性。

主要贡献

范式分析： 本文确定了先验 - 动力学不匹配是将 LLM 知识转移到长视野 RL 中的核心障碍，对现有方法（P1–P4）及其特定的失败模式进行了分类。
PriorZero 框架： 一种新颖的架构，通过两个核心机制将 LLM 先验与世界模型规划协同结合：
- 根先验注入： 在 MCTS 根节点注入语义指导，以促进探索而不污染潜在动力学。
- 交替强化微调： 利用世界模型价值估计构建稳定的、低方差的信用分配信号，用于 LLM 适应。
实证验证： 在Jericho（基于文本的冒险游戏）和BabyAI（网格世界指令遵循）上的综合实验表明，与基线相比，PriorZero 一致地提高了探索效率和渐近性能。

实验结果

Jericho 基准测试： PriorZero 在四款不同的游戏（Detective, Acorncourt, Zork1, Omniquest）中均优于 UniZero（一个没有 LLM 先验的强世界模型基线）。
- 在 Zork1（长视野、稀疏奖励）中，PriorZero 实现了更高的渐近回报和更快的收敛。
- 在 Detective 中，PriorZero 在初始收益后超越了 UniZero，证明了将先验适应于特定任务动力学的价值。
BabyAI 基准测试： 在 BabyAI 网格世界的 18 个关卡上，PriorZero 达到了更高的回报平台（UniZero 为 0.79，PriorZero 为 0.82），并在组合任务（例如 SynthLoc）中显示出显著增益，其中 LLM 先验有助于将目标分解为子任务。
消融研究：
- 交替调度： 对稳定性至关重要；非交替变体由于噪声价值信号而遭受“知识腐蚀”。
- 仅根节点注入： 对于防止 LLM 在前瞻过程中覆盖世界模型的动力学至关重要。
- CoT 损失权重： 需要平衡的权重（ $w_{cot}=0.1$ ）；移除 CoT 会导致数值不稳定，而全权重则导致学习波动。
- MCTS： 禁用 MCTS 会导致性能崩溃，证实了规划改进目标的必要性。

意义与主张

本文主张，PriorZero 通过解决先验转移的结构性瓶颈，为 LLM 赋能的决策建立了一个有前景的框架。其意义在于：

解耦： 成功分离了 LLM 的角色（提供语义先验）与世界模型的角色（学习动力学和规划），从而避免了先前方法的粒度不匹配和信用分配失败。
稳定性： 通过利用世界模型作为低方差评论家，实现了 LLM 在长视野、稀疏奖励环境中的稳定微调。
可扩展性： 证明了该框架随 LLM 容量扩展（在复杂任务中，7B 模型的性能有所提升），同时通过交替训练调度保持鲁棒性。

作者将 PriorZero 定位为并非世界模型或 LLM 的替代品，而是一种协同整合，其中 LLM 专注于搜索，而世界模型通过持续交互精炼 LLM 的先验。