🤖 machine learning

Learning POMDP World Models from Observations with Language-Model Priors

本文介绍了 Pinductor，这是一种利用语言模型先验知识，从有限的观测 - 动作轨迹中高效学习部分可观测马尔可夫决策过程（POMDP）世界模型的方法，其在样本效率上显著优于传统基线方法，同时达到了与特权状态方法相当的性能。

原作者： Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你被扔进了一个全新、漆黑一片的迷宫。你看不见墙壁、死胡同或出口。你唯一知道的是：当你向前迈一步时，可能会撞到什么东西，可能会听到某种声音，或者如果你找到了宝藏，可能会感受到某种奖励。你必须仅凭摸索来弄清楚这个迷宫是如何运作的，而永远无法看到完整的地图。

这就是**部分可观测马尔可夫决策过程（POMDPs）**所面临的挑战。它是在无法看清全貌的情况下学习世界运作方式背后的数学原理。

这篇论文介绍了一种名为Pinductor（即"POMDP-inductor"的缩写）的新方法，它利用大型语言模型（LLM）——就像你可能与之聊天的那种人工智能——来解决这个问题。以下是其工作原理，使用简单的类比来说明：

问题：在黑暗中学习

通常，要教会人工智能如何穿越迷宫，你会给它一张“作弊纸”。你会在每次移动后向它展示隐藏地图（真实状态），以便它能从错误中学习。但在现实世界中，机器人和智能体很少能得到作弊纸。它们只能看到眼前的景象。

以往的方法试图利用人工智能来猜测地图，但它们仍然秘密地依赖看到隐藏地图来进行学习。如果你拿走作弊纸，那些方法就会失效。

解决方案：Pinductor（“侦探”型人工智能）

Pinductor 就像一名侦探，他必须在从未见过嫌疑人的情况下破案。相反，这名侦探使用了一位超级智能的人工智能助手（即 LLM），这位助手非常了解世界通常是如何运作的。

以下是分步过程：

猜测（假设）：
人工智能助手观察几段某人穿越迷宫的短视频片段（观测与动作数据）。基于其对迷宫、钥匙和门通常如何运作的广泛知识，助手编写了一个计算机程序，试图解释迷宫的行为方式。
- 类比： 想象人工智能编写了一本规则手册：“如果你向前走并撞到了墙，你就原地不动。如果你捡起一把钥匙，你就可以打开红色的门。”
测试（模拟）：
系统利用这本规则手册运行模拟。它假装自己是迷宫中的智能体，遵循人工智能编写的规则。它会问：“如果我遵循这些规则，我会看到与真实智能体相同的景象吗？”
- 转折： 由于系统不知道真实的隐藏状态，它使用一种“信念系统”。它保持一团可能的位置（像一群蜜蜂），并根据智能体看到的内容更新它们。如果这群蜜蜂能够解释观测结果，那么规则手册就是好的。如果蜜蜂感到困惑且无法解释所见内容，那么规则手册就是坏的。
修正（精炼）：
系统将人工智能的规则手册与真实的视频片段进行比较，找出错误。
- 示例： “嘿，你的规则手册说岩浆可以安全行走，但视频显示智能体在接触岩浆时会死亡。”
  系统随后将此反馈发送给人工智能助手：“你搞错了岩浆的部分。修正你的代码。”
  人工智能重写代码，循环重复进行，直到规则手册能够完美预测迷宫中发生的一切。

为什么这很重要

无需作弊纸： 与以往的方法不同，Pinductor 严格从智能体所见和所做中学习。它永远无法窥探隐藏地图。
高效： 它学习得非常快。论文显示，仅需 handful 个视频片段（例如 10 次简短运行），人工智能就能构建出一个模型，其效果几乎与那些拥有作弊纸的方法一样好。
利用“常识”： 魔力来自于 LLM 的先验知识。人工智能已经知道“岩浆很烫”或“开门需要钥匙”。它利用这种常识进行有根据的猜测，然后利用数据来微调这些猜测。

结果

研究人员在"MiniGrid"环境（简单的网格世界游戏）中测试了这种方法。

性能： Pinductor 的表现与“作弊纸”方法相当，且远优于不使用人工智能的传统方法。
信念准确性： 随着智能体在迷宫中移动，其关于自身位置的内部“信念”变得更加清晰和准确，最终能够精确定位真实位置，即使它从未见过地图。
依赖性： 该方法高度依赖人工智能的智能。如果你使用“更笨”的人工智能，或者移除环境的文本描述，性能就会下降。这证明了人工智能正在利用其语言知识来填补空白。

总结

简而言之，Pinductor通过让超级智能的语言模型猜测房间的规则，然后根据智能体实际看到的内容修正这些猜测，从而教会人工智能构建黑暗房间的思维地图。这是一种无需作弊纸即可学习世界运作方式的方法，是迈向创造能够自主导航真实、混乱且不可预测环境的机器人的重要一步。

技术摘要：利用语言模型先验从观测中学习 POMDP 世界模型

问题陈述

在部分可观测环境中，高效智能体必须学习一个内部模型，以理解世界如何对其动作做出响应。虽然部分可观测马尔可夫决策过程（POMDP）为这类世界模型提供了灵活的数学形式，但仅凭观测 - 动作轨迹来学习它们却 notoriously 困难。经典方法（表格估计器、谱方法、深度潜在模型）通常需要进行大量的环境交互、做出强烈的结构假设，或能够访问真实隐藏状态。

现有利用大语言模型（LLM）来诱导世界模型的方法，往往依赖于一个关键的简化假设：在训练期间能够访问特权隐藏状态。即使是最接近的前驱工作 POMDP Coder，也假设在每轮回合后能够访问真实状态。这一局限性使得此类方法无法应用于真实世界场景（例如在杂乱空间中运行的机器人，或在非完美信息游戏中的智能体），因为这些场景中无法获得状态监督。本文探讨的核心问题是：LLM 先验是否足够强大，能够仅利用观测 - 动作 - 奖励轨迹（无需任何隐藏状态标签）来诱导可执行的 POMDP 模型。

方法论：Pinductor

作者提出了 Pinductor（POMDP-inductor），这是一个仅从观测 - 动作 - 奖励轨迹中诱导可执行 POMDP 世界模型的框架。该方法运行于“生成 - 评估 - refine - 规划”的循环中，避免了将预测状态与真实隐藏状态进行直接比较。

1. 模型提议

LLM 接收自然语言环境描述、一小份离线轨迹数据集，以及定义状态、动作和观测空间的代码 API 作为提示。LLM 生成一个候选可执行模型 $m = (\rho_0^m, T^m, O^m, R^m)$ ，该模型定义了初始状态分布、转移动力学、观测模型和奖励函数。

2. 基于信念的模型评估

由于隐藏状态未被观测，Pinductor 使用基于信念的似然分数来评估候选模型。

粒子滤波：对于候选模型，从提议的初始状态分布中采样一组粒子，并利用观测到的动作通过转移模型 $T^m$ 进行传播。
软观测似然：LLM 生成的观测模型 $O_{LLM}^m$ 通常是确定性的。为了处理不匹配并提供类梯度信号，该方法采用距离核。将预测观测值与实现观测值之间的距离 $d_{obs}$ 转换为软似然：
$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$
评分：模型根据粒子滤波诱导的信念分布下观测轨迹的期望对数似然进行评分：
$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$
该分数评估模型自身的滤波动力学在无需特权状态访问的情况下解释观测流的能力。

3. 反馈与优化

该方法利用结构化的调试反馈迭代地优化模型：

全局分数：标量似然分数指示整体拟合度。
局部诊断：系统识别特定的失败模式，例如执行错误、具有高观测距离的轨迹片段，或奖励不匹配。
分歧信号：使用先前生成的转移模型的“委员会”来计算投票熵。高熵上下文（候选模型对下一个状态存在分歧）被突出显示给 LLM，引导其解决动力学中的歧义。
优化策略：Pinductor 采用树状结构的优化过程（UCB1 选择），而非单一的编辑链，在多个候选家族中进行探索，然后选择一个接近最优的模型。

4. 规划

选定的模型用于在线交互期间的信念空间规划（例如通过 A* 风格的规划器）。新轨迹被追加到数据集中，触发进一步的优化轮次。

主要贡献

仅观测的 POMDP 诱导：本文证明了 LLM 先验足以仅从观测 - 动作 - 奖励轨迹中诱导可执行的 POMDP 世界模型，消除了在训练或推理时获取真实潜在状态监督的需求。
基于信念的模型评分：作者提出了一种基于核的似然目标，用于在过滤后的信念分布下对候选程序进行评分。这提供了一种仅从部分观测中即可计算的每步修复信号。
端到端验证：该方法在五个部分可观测的 MiniGrid 任务中进行了验证。Pinductor 在性能上和样本效率上均与特权状态 LLM 基线（POMDP Coder）相当，同时显著优于非 LLM 基线（包括被赋予特权状态访问权的表格 POMDP）。

结果

性能：在 MiniGrid 环境（Empty, Corners, Lava, Unlock, Four Rooms）中，尽管使用了严格更少的信息，Pinductor 实现的平均回合奖励和胜率与特权状态基线相当。
样本效率：Pinductor 仅需极少的离线轨迹（少至 2-10 条）即可达到强劲性能，其样本效率与状态访问方法相匹配。
信念质量：在规划过程中，随着观测的积累，Pinductor 的信念状态越来越集中于真实隐藏状态，这表明学习到的模型支持信息丰富的后验更新。
消融实验：
- LLM 能力：性能随 LLM 能力的提升而增强；较弱的模型无法合成可用的世界模型，而较强的模型（Qwen 3.6 Plus, Claude Opus 4.7）则实现了高性能。
- 语义信息： withholding 语义环境描述会导致性能下降，表明该方法依赖于基于文本信息锚定的 LLM 先验。
- 随机性：该方法在环境的随机变体中仍然有效，尽管与确定性设置相比性能有所下降。

意义与局限性

本文将语言模型先验定位为部分可观测条件下样本高效世界模型学习的实用工具。通过消除对特权状态访问的需求，Pinductor 将 LLM 引导的模型诱导扩展到了具有真实世界部署特征的场景（例如机器人技术、非完美信息游戏）。

作者谦逊地指出了若干局限性：

范围：评估仅限于 MiniGrid 环境；向其他领域或复杂真实世界场景的迁移尚未得到测试。
固定组件：观测距离函数、规划器和演示缓冲区目前是固定的，并未由 LLM 进行优化。
方差：依赖 LLM API 调用导致执行时间和结果存在高方差。
数据收集：离线数据集是手动收集的；自动化数据收集策略的影响尚未被探索。

这项工作代表了迈向通用智能体的一步，使其能够在部分可观测环境中从第一人称经验中学习内部世界模型。