🤖 AI

World models of environment, agent and joint agent-environment systems

本文提出了一种利用计算力学来区分并定义环境、智能体及其共同交互的规范预测模型的框架，展示了闭环耦合和支持限制如何从根本上改变这些世界模型的结构与复杂度。

原作者： Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能时代，一个核心挑战是如何教会机器理解它们周围的世界。为了做出决策，一个智能体——无论是机器人、软件程序还是数字大脑——都需要一个“世界模型”。这并非指物理意义上的地球仪，而是一个内部地图或一套规则，允许系统预测接下来会发生什么。如果机器人知道按下按钮通常会开门，那么它就拥有了关于这种交互的简单模型。几十年来，研究人员一直专注于这些模型如何根据智能体的行为来预测未来。他们问道：“如果我采取这个行动，我会看到什么？”这种方法取得了巨大的成功，使机器能够通过在行动前模拟结果来学习复杂的任务。然而，这种传统观点假设模型仅仅是为了理解环境作为一个等待智能体动作的被动舞台而构建的。它将智能体自身行为视为一个固定的输入，而非故事中动态的一部分。

一组研究人员现在提出了一种更细致的方法来审视这些模型。他们认为，要真正理解人工智能是如何思考的，我们不仅要区分它预测了“什么”，还要区分它正在建模的是“哪种渠道”的信息。在智能体与其周围环境的任何交互中，都有三种看待因果流动的不同方式。首先，是环境的视角，即在特定行动下会看到什么。第二，是智能体自身的视角，即在看到某些情况后，它下一步会采取什么行动。第三，是整个系统协同工作的视角，即预测当两者陷入循环时，所展开的实际行动与观察序列。研究人员使用一种被称为“计算力学”的数学框架，为这三个视角的每个最有效、最精简的模型进行了定义。他们的工作揭示了这些模型在本质上是不同的结构，而不仅仅是同一种事物的变体。

这项研究中最令人惊讶的发现涉及智能体在与环境进行闭环运行时的情形。理论上，一个智能体可以想象它可能采取的每一个可能的行动，甚至是那些它永远不会去执行的行动。一个基于这种“不受限”视角的模型必须解释所有的反事实可能性。研究人员发现，对于许多系统而言，这种不受限的模型极其复杂，有时需要无限数量的内部状态来追踪所有可能性。然而，当他们观察仅考虑智能体实际采取的行动——即“受支持”的行动——的模型时，情况发生了戏剧性的变化。他们证明了，智能体实际行为的模型总是由联合系统的模型所决定的。换句话说，当通过智能体实际选择的视角来看待时，环境那复杂的、无限的可能性会坍缩为一个更简单的、有限的结构。

为了说明这一点，研究人员构建了一个特定的例子，涉及一个简单的二进制环境和一个具有有限记忆的控制器。在这种情景下，环境有一个隐藏状态，其值可以为零或一。某些行动会随机重置该状态，而另一些行动则保持状态不变。如果你试图构建一个能够预测在任何可能的行动序列下环境行为的模型，该模型会变得无限大。这是因为智能体理论上可以选择长时间固定状态，从而创造出无数种独特的信念状态。但当研究人员引入一个只执行特定一组行动的控制器——即偶尔重置状态，并在重置前保持状态固定的短时间内进行操作——复杂性便消失了。仅限于控制器实际执行的行动下的环境模型，变得有限且易于处理。那些“无限”的可能性在实际的交互中从未实现。

这种区分对于理解人工智能究竟在学习什么至关重要。研究人员表明，人工智能用于决策的内部状态并不一定是整个可能世界的地图。相反，它通常是针对其经历过的特定交互的地图。当受限于智能体的实际行为时，环境的模型是联合过程的一个简化版本。研究人员证明，这个简化模型的各个状态直接源自联合系统的状态。这意味着，智能体世界模型的复杂度并非环境本身的固有属性，而是由智能体与世界之间的特定耦合关系决定的。如果智能体的能力有限，其世界模型也会相应地受到限制并变得更简单。

这项工作的意义在于如何理解和信任人工智能。如果我们想知道一个AI对其世界的认知，我们不能仅仅在真空中观察它的预测。我们必须追问：它是在预测所有可能行动下的环境，还是在基于它正在遵循的特定策略来预测环境？研究人员认为，这是两个不同的问题，需要两个不同的模型。一个AI可能拥有一个非常简单的内部世界表示，因为它只接触到现实的一个微小切片。这并不意味着这个AI很“笨”或者世界很简单；这意味着该AI的模型是为其在系统中的特定角色量身定制的。通过将环境模型、智能体模型和联合过程模型区分开来，研究人员为描述这些系统究竟在做什么提供了一种更清晰的语言。

这种方法还阐明了规划与学习之间的区别。当一个智能体从数据中学习时，它通常是从特定的交互中学习，而非从所有可能的交互中学习。研究人员的框架让我们能够看到，从这些数据中学到的模型是一个“支持受限”的模型。即使它无法描述环境的完整理论图景，它对于智能体实际面临的情况也是有效且准确的。这有助于解释为什么一些AI系统尽管在理论层面上模型看似不完整或过于简化，但在实践中却表现出色。它们并不是在试图模拟不可能，而是在模拟真实。

研究结论指出，世界模型的结构并非固定不变，而是由交互本身塑造的。智能体与环境的耦合方式决定了预测其未来所需的复杂度。这挑战了“存在一个智能体应当努力学习的单一、完美的世界模型”这一观点。相反，“最好的”模型取决于所提出的问题。如果问题是“如果我做X会发生什么？”，答案可能需要一个复杂的模型。但如果问题是“给定我在做Y的情况下，接下来会发生什么？”，答案则可能存在于一个更简单的结构中。通过精确定义这些模型，研究人员提供了一个更好地理解智能机制的工具，表明机器思维的复杂度往往是其身体及其世界约束条件的反映。

技术摘要：环境、智能体及智能体-环境联合系统的世界模型

问题陈述

世界模型在基于模型的强化学习（RL）中至关重要，然而其形式化定义往往因其预测的具体变量（如观测值、奖励、潜状态）而异。作者认为存在一个更基本的区别：世界模型所代表的通道（channel）是什么。在智能体-环境交互中，模型通常被讨论为对环境的表示，但智能体也可能对自身、其他智能体或耦合系统进行建模。如果不区分底层的通道，就很难澄清一个学习到的潜状态究竟代表了什么（例如，是对环境的信念，还是对策略行为的表示），也难以比较不同模型的复杂度和抽象水平。

本文旨在解决正式区分三种不同预测通道的需求：

环境通道 ( $O_{:} | A_{:}$ )：给定未来动作预测未来观测值。
智能体通道 ( $A_{:} | O_{:}$ )：给定未来观测值预测未来动作。
联合过程 ( $(A, O)_{:}$ )：预测实现的耦合动作-观测轨迹，被视为一个零输入通道。

作者强调，这些通道诱导了不同的因果等价关系，从而导致了不同的抽象、模型复杂度和效用概念。此外，标准的“无限制”模型通常考虑在特定闭环交互中可能永远不会发生的反事实输入，这可能导致比仅限于实际交互支持集的模型更复杂或更无限的状态空间。

方法论

本文采用**计算力学（computational mechanics）**来定义这三个通道的规范预测模型。核心工具是 $\epsilon$ -机器（用于自主过程）和 $\epsilon$ -转换器（用于输入-输出过程），它们提供了唯一、极小且单流（unifilar）的随机过程表示。

1. 规范无限制模型

作者基于动作-观测历史 ( $h_{:t}$ ) 的等价关系定义了规范模型：

规范环境模型：由等价关系 $\sim_E$ 定义，其中两个历史是等价的，如果它们对所有可能的未来动作延续下的所有未来观测序列都分配相同的概率分布。这作为 $\epsilon$ -转换器恢复了标准的预测状态表示（PSRs）。
规范智能体模型：由 $\sim_M$ 定义，其中两个历史是等价的，如果它们在所有可能的未来观测延续下预测相同的未来动作序列。这作为策略或控制器行为的规范预测状态模型。
规范联合模型：由 $\sim_J$ 定义，其中两个历史是等价的，如果它们对于实现的自主过程预测相同的未来动作-观测轨迹。这对应于耦合系统的 $\epsilon$ -机器。

作者证明了这三种模型通常是不同的。用于预测未来观测值的最小充分统计量（环境模型）与用于预测未来动作的统计量（智能体模型）或用于预测联合轨迹的统计量（联合模型）并不相同。因此，这些模型的潜状态空间并不一定重合，也不一定通过简单的积构造相关联。

2. 规范支持限制模型

为了解决反事实复杂性的问题，论文引入了规范支持限制模型（canonical support-restricted models）。这些模型由特定的闭环耦合（例如，一个与环境交互的固定策略）所诱导。

支持限制：预测等价性仅在由实现的联合过程所支持的未来输入延续上定义。
全总化（Totalisation）：对于不支持的查询（智能体无法采取的动作，或环境无法生成的观测），模型会发出一个特殊的汇点符号 $\perp$ 。
构造：作者定义了一个支持限制的环境通道 $\tilde{O}_{:} | A_{:}$ 和一个智能体通道 $\tilde{A}_{:} | O_{:}$ （对偶）。这些通道的规范模型被构造为带有全总化汇点状态的 $\epsilon$ -转换器。

3. 结构性结果

本文的一个关键理论贡献是联合模型与支持限制的环境/智能体模型之间的关系。

分解（Factorization）：支持限制环境模型的非汇点因果状态通过联合模型的因果状态进行分解。
归纳（Induction）：支持限制环境模型的转移结构直接由联合模型归纳得出。
对偶性（Duality）：智能体侧的构造是环境侧构造的对偶。

这意味着支持限制环境模型的复杂度受限于联合模型的复杂度，而无限制的环境模型如果智能体的策略限制了动作空间，则可能变得极其复杂或趋于无限。

核心贡献

基于通道的表征：论文提出了一个系统框架，通过模型所代表的通道（环境、智能体或联合）而非仅仅通过其预测的变量来对世界模型进行分类。这澄清了学习到的潜状态的语义含义。
规范定义：它利用 $\epsilon$ -转换器和 $\epsilon$ -机器提供了规范智能体模型和联合模型的正式定义，将预测状态表示（PSRs）的概念扩展到了环境通道之外。
支持限制模型：它引入并形式化了由闭环耦合诱导的支持限制模型。这些模型区分了反事实世界建模与策略调节预测，并通过全总化汇点处理不支持的查询。
结构定理：论文证明了规范支持限制环境模型完全由规范联合模型决定。具体而言，限制模型的非汇点状态是联合因果状态的商，且其转移是由联合动力学诱导的。
复杂度分离：通过一个二元示例，作者展示了无限制环境模型可能具有无限个状态（由于在任意动作下产生无限不同的后验信念），而由有限状态控制器耦合产生的支持限制模型则保持有限。

结果

理论区分：三种规范模型（环境、智能体、联合）通常拥有不同的状态空间和转移结构，因为它们解决了不同的预测问题（给定 $A$ 预测 $O$ ，给定 $O$ 预测 $A$ ，或在无输入下预测 $(A,O)$ ）。
分解定理：定理 16 确立了从联合因果状态到支持限制环境状态的映射是满射。这意味着支持限制环境模型的复杂度不会超过联合模型（加上一个汇点状态）。
有限与无限：在提供的示例（示例 9）中，无限制环境模型是无限的，因为任意长度的“保持（hold）”动作序列会产生无限个不同的后验信念。然而，当与一个限制了“保持”序列持续时间的有限状态控制器耦合时，得到的支持限制环境模型是有限的。这证明了从展开（rollouts）中学习到的紧凑表示不需要代表环境完整的反事实动力学。

意义与主张

本文声称澄清了人工智能和强化学习中世界模型的本体地位。通过明确识别通道，研究人员可以更好地解释学习到的表示所编码的内容：

可解释性：它为机械可解释性提供了参考目标。人们可以询问一个潜状态是属于环境通道、智能体通道还是联合过程的状态。
复杂度管理：它解释了为什么从特定策略（在策略/on-policy）中学习的模型可以比真实的环境动力学更简单。支持限制框架形式化了这样一个观点：智能体只需要建模它实际发生的交互，而不是所有的反事实可能性。
统一框架：它在单一的计算力学框架下统一了预测状态表示、策略蒸馏、有限状态控制器和嵌入式智能（embedded agency）等概念。

作者保持了适度的研究范围，专注于这些模型的形式化表征及其结构关系。他们建议未来的工作可以将这些定义应用于分析训练好的 AI 模型（例如 Transformer），利用混合状态呈现（mixed-state presentations）来识别特定的信念类型（环境信念 vs 自我参照信念），但本文建立了此类分析的理论基础。