🤖 machine learning

Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

本文通过引入离散文本隐状态和一种强制严格中介的因子化 GRPO 训练方法，解决了由历史绕过（history bypass）导致的文本世界模型中隐状态不可识别的问题，从而在表示质量和长程展开性能方面取得了显著提升。

原作者： Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人玩文字冒险游戏（就像那种老式的“选择你的冒险”类书籍）。机器人无法看到整个世界；它只能看到它当前所在房间的文字描述。为了玩好游戏，它需要记住之前发生的事情：我是去了哪里？我拿到钥匙了吗？门锁上了吗？

在人工智能的世界里，这种记忆被称为**“潜状态”（latent state）**。

这篇论文探讨了一个特定的问题：我们如何确保机器人真正“学会”了良好的记忆，而不是仅仅在“作弊”？

问题：“小抄”漏洞

大多数现代 AI 模型就像是那些被允许带着整本教科书进考场的学生。

设定： AI 既能看到游戏的历史记录（教科书），也能看到当前的房间。
作弊： 尽管 AI 本应将历史记录总结成一个微小的“记忆笔记”（潜状态），但它足够聪明，能够忽略这个笔记。它直接通过查看完整的教科书（历史记录）来回答问题。
结果： AI 在测试中拿到了满分（正确预测了下一个房间），但它的“记忆笔记”却是空白或毫无用处的。这就像一个学生背下了答案，却并没有真正理解概念。你无法判断它的记忆是否有效，因为 AI 只是通过查看过去来作弊。

作者称之为**“可识别性问题”（Identifiability Problem）**。如果 AI 可以绕过其记忆，你就无法判断其记忆是否真的在起作用。

解决方案：“严格的中介者”

作者提出了一条规则，叫做**“严格中介”（Strict Mediation）**。把它想象成一个有着金科玉律的严格裁判：

“一旦你写好了你的记忆笔记，你就必须把教科书扔掉。你只能使用你的记忆笔记和你的下一步行动来预测接下来会发生什么。”

如果 AI 遵守这条规则：

它必须将所有重要信息放入记忆笔记中，否则它会在测试中失败。
如果它通过了测试，你就确信它的记忆笔记是完美的。
如果它测试失败，你就知道它的记忆笔记遗漏了某些东西。

这使得记忆的质量变得可测试。

挑战：文本很棘手

通常，AI 的记忆是由易于用数学进行微调的数字（向量）组成的。但本文希望 AI 的记忆是文本（例如一系列事实：“我有一把钥匙”、“门锁上了”）。

为什么用文本？ 因为它是可读的。人类可以查看记忆并理解它。
问题所在： 你很难通过对文本进行数学运算来“微调”它。这就像试图通过对字母进行微积分运算来修复一个句子一样。此外，如果你给 AI 一个强大的大脑（大型语言模型），它会试图忽略记忆笔记并转而查看历史记录。

解决方法：“可能性之树”（fGRPO）

为了强迫 AI 在不作弊的情况下学习基于文本的记忆，作者发明了一种新的训练方法，称为因子化 GRPO（fGRPO）。

想象你在训练一只去捡球的狗，但你不能用零食（因为你无法用数学去“微调”文本）。相反，你使用一场“如果……会怎样”的游戏：

分支树： AI 不仅仅是猜测一个未来，而是生成一棵完整的可能性之树。
- 分支 1： “如果我的记忆说我有钥匙会怎样？” -> 结果： 预测门会打开。
- 分支 2： “如果我的记忆说我没有钥匙会怎样？” -> 结果： 预测门会保持锁闭。
评分： 只有当预测与现实相符时，AI 才会得分。
教训： 如果 AI 试图忽略记忆而仅仅根据历史进行猜测，那么“树”就会坍塌，因为它无法在没有记忆的情况下正确预测未来。AI 意识到，为了赢得游戏，它必须将正确的事实放入其基于文本的记忆中。

实验结果：更好的记忆，更长的冒险

作者在两个文本游戏环境（TextWorld 和 ScienceWorld）中测试了这一方法。

准确率： AI 预测下一个房间的准确度与那些“作弊型”模型一样高。
记忆质量： “严格型”模型拥有更好的记忆笔记。它们的准确性更高，且包含了正确的事实。
长期稳定性： 这是最大的胜利。在长篇游戏中（许多步骤后），“作弊型”模型会变得混乱并失败，因为它们依赖的历史记录在实际游戏过程中是不可用的。而依赖于紧凑记忆的“严格型”模型即使在 9 步之后仍能保持准确，而其他模型则会崩溃。

类比总结

旧方法（有漏洞的）： 学生带着小抄参加考试。他们得了 100 分，但你不知道他们是否学到了知识。
新方法（严格的）： 学生被关在一个房间里，手里只有一张索引卡。在考试开始前，他们必须把需要知道的一切都写在这张卡片上。如果他们通过了测试，你就知道这张卡片是完美的。
训练方法： 老师不仅仅是给学生评分一次，而是要求他们根据手中的卡片想象 10 种不同的场景。如果卡片错了，学生在大多数场景下都会失败。这迫使学生写出一张完美的卡片。

为什么这很重要

这篇论文证明了你可以让 AI 用可读的文本进行“思考”，并强迫它真正学习一个压缩的世界摘要，而不是仅仅死记硬背过去。这是迈向能够进行长期规划和推理、且不会产生混乱的 AI 的关键一步。

技术摘要：用于世界模型的文本化信念状态

问题陈述

在部分可观测环境中，世界模型必须维持一个能够总结交互历史的潜表示（latent representation），以实现预测、规划和推理。现代基于大语言模型（LLM）架构的一个关键挑战是可识别性问题（identifiability problem）。在许多现有设计中，潜状态与其它信息源（如完整的观测历史）共存，后者可以替代潜状态。因此，模型可以通过“绕过”潜状态并直接依赖历史记录来获得高预测准确率。这使得潜状态变得不可识别；预测性能不再能约束或反映表示质量。

虽然经典的世界模型通过强制执行严格的潜状态中介（strict latent state mediation）——要求所有预测仅依赖于当前的潜状态和动作——来解决此问题，但将这一原则应用于文本领域却非常困难。文本潜状态是离散且不可微的，无法使用标准的变分训练（如 ELBO）。此外，使用此类目标进行训练的表达能力强的 LLM 解码器往往会忽略瓶颈，导致后验崩溃（posterior collapse）。本文旨在解决如何在文本领域强制执行严格的中介，以确保表示质量在经验上是可测试的，并确保潜状态作为历史记录的充分统计量。

方法论

1. 文本化潜状态

作者提出将潜状态表示为离散、可解释、变长的文本字符串（具体为 JSON 谓词-参数列表），而非连续向量。这种方法具有四个优势：

对齐性： 它与 LLM 主干网络保持一致，避免了有损的模态转换。
自适应瓶颈： 容量随内容变化而非固定维度。
可解释性： 状态可以直接被检查，并能针对事实真相进行评估。
模态匹配： 观测值是语义文本，因此文本状态保留了结构完整性。

2. 模型架构

该系统利用单个预训练的自回归语言模型，其参数 $\theta$ 共享，并在三个不同的、由提示词定义的阶段运行：

编码（Encoding）： $\hat{s}_t \sim p_\theta(\cdot | h_t)$ ，从历史记录 $h_t$ 生成潜状态。
转移（Transition/Dynamics）： $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$ ，仅基于当前的潜状态和动作预测下一个状态。
解码（Decoding）： $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$ ，从新的潜状态生成下一个观测值。

至关重要的一点是，一旦生成了 $\hat{s}_t$ ，转移和解码阶段就无法访问原始的历史记录 $h_t$ 。这强制执行了严格的中介。

3. 通过因子化 GRPO (fGRPO) 进行训练

由于文本状态是不可微的，无法通过梯度下降进行跨潜空间的优化。作者将每个生成阶段视为一个随机策略，并使用**强化学习（RL）**进行优化。

标准 GRPO 的局限性： 标准的组相对策略优化（GRPO）作用于单一的自回归续写，这会导致模型通过共享的提示词上下文访问历史记录，从而违反严格的中介原则。
fGRSO 解决方案： 作者引入了因子化 GRPO（fGRPO），这是一种树状结构的扩展。对于给定的历史记录，模型采样 $A$ 个候选潜状态，然后针对每个编码采样 $B$ 个候选下一状态，以及针对每个转移采样 $C$ 个候选观测值。这形成了一棵树，奖励在叶子节点计算（比较预测观测值与真实观测值），并向上传播。这种结构确保了转移和解码步骤严格受采样到的潜状态约束，而非原始历史记录。

4. 奖励设计

奖励信号结合了预测准确性和结构正则化，以鼓励生成紧凑且充分的状态：

观测准确度 ( $R_{obs}$ )： 从预测观测值和真实观测值中提取的事实之间的 F1 分数。
格式有效性 ( $R_{fmt}$ )： 二进制检查，确保潜状态是有效的 JSON 结构。
辅助奖励：
- 支持度 ( $R_{sup}$ )： 鼓励预测观测值与底层状态事实之间的一致性。
- 去重 ( $R_{dedup}$ )： 惩罚语义冗余的事实。
- 消融 ( $R_{abl}$ )： 衡量移除事实后导致预测性能下降的比例，从而鼓励仅保留必要信息。

核心贡献

形式化严格中介： 本文证明了在严格中介下，最优预测准确率意味着潜状态是历史记录的充分统计量（命题 1）。相反，在允许历史绕过的“泄漏式”架构中，即使潜状态没有信息量，也能实现最优准确率（命题 2）。
关于展开（Rollout）的理论保证： 严格中介使训练和推理条件在结构上保持一致。作者表明，这防止了在基于历史或泄漏式展开中出现的几何误差增长，并在收缩假设下实现了有界的误差传播（命题 3）。
fGRPO 算法： 引入了因子化 GRPO，它能够在严格的中介约束下，通过不使用变分目标来训练离散、不可微的文本潜状态。
经验验证： 在 TextWorld 和 ScienceWorld 上的实验表明，严格中介产生的表示既具有预测性又具有可识别性。

实验结果

作者将该方法与三个基线进行了对比：

无状态（Stateless）： 直接从历史记录进行预测（准确率上限，无显式表示）。
泄漏状态（LeakyState）： 使用文本潜状态，但在预测过程中允许历史绕过。
严格状态-嵌入（StrictState-Emb）： 使用严格中介，但采用连续嵌入（变分训练）。

主要发现：

预测准确度： StrictState-Text 的单步预测准确率（obs.F1）达到了 LeakyState 和 Stateless 基线的水平，证实了严格中介不会牺牲性能。
表示质量： 在匹配预测准确率的情况下，相比于 LeakyState，StrictState-Text 在复杂任务中实现了显著更高的状态级 F1（在 ScienceWorld 中提升高达 57%，在 TextWorld 中提升 30%）。这证实了泄漏式模型学习到的是依赖于历史绕过的无信息状态。
展开稳定性： 严格中介显著提高了多步展开的性能。随着预测步长增加，状态级 F1 的增益不断扩大，在 TextWorld 步长为 9 时，增益达到 98%。这验证了严格中介能缓解累积误差传播的理论主张。
消融实验： 移除辅助奖励（去重、消融、支持）会降低长程展开性能，表明这些组件对于学习紧凑且充分的状态至关重要。

意义与主张

本文声称，严格的潜状态中介是使世界模型中的表示质量在经验上可测试的必要条件。如果没有它，预测准确率将无法作为表示质量的良好代理，因为模型可以通过直接访问历史记录来“作弊”。

通过使用 fGRPO 在文本领域成功实施严格中介，作者证明了：

可识别性是可以实现的： 可以学习到离散、可解释的潜状态，其中表示的质量可以直接从预测性能中诊断出来。
文本状态是有效的： 与固定维度的嵌入相比，变长文本状态为离散、组合的事实提供了更灵活且更具解释性的瓶颈。
稳定性得到改善： 严格中介使训练和推理对齐，防止了在泄漏式或无状态架构中困扰长程展开的误差累积。

作者指出，其评估重点在于表示质量而非下游控制或规划，且实验局限于合成的、经过仪器化处理的环境（TextWorld 和 ScienceWorld）。他们也承认存在结构性限制，例如压缩压力完全落在单次编码器上，以及对用于辅助奖励的结构化事实提取的依赖。然而，这项工作为构建可靠、可解释的文本环境世界模型奠定了方法论基础。