技术摘要：从观察中学习理论化世界

1. 问题陈述

当代人工智能世界模型主要将“理解”操作化为在潜在空间或观测空间中准确预测未来状态的能力。然而，发展认知科学表明，人类的理解并非仅源于预测，而是源于构建关于世界运作方式的内部、可复用理论，且往往发生在语言习得之前。这种“理论论”（theory-theory）认为，认知涉及为观测到的现象发现结构化、可组合的解释。

当前人工智能系统存在一个关键缺口：它们通常针对预测或重建进行优化，往往学习到纠缠的复合变换，这些变换虽然能捕捉相关性，但缺乏实现系统性泛化所必需的组合结构。这些模型未能发现明确的、可复用的机制来解释观测是如何以及为何生成的，导致其在分布偏移或面对已知因素的新颖组合时变得脆弱。

所解决的核心问题是：一个人工智能系统能否仅通过观察原始的非文本感官输入，而不依赖语言、任务标签或真实程序监督，来学习构建关于世界的明确解释性理论？

2. 方法论：学习理论化（L2T）与 NEO

作者提出了学习理论化（Learning-to-Theorize, L2T），这是一种学习范式，模型从中从原始观测对 $(x, y)$ 推断出可执行、可组合的程序（即理论）。理论被定义为一系列可复用的原始操作序列，用于将源观测 $x$ 转换为目标 $y$。

为了具体实现 L2T，本文引入了神经理论家（Neural Theorizer, NEO），这是一种具有以下核心组件的概率神经网络模型：

2.1 概率框架

NEO 通过引入潜在变量来建模条件似然 $p_\theta(y | x)$：一个离散程序 $\tau$（原始操作序列）和一个执行轨迹 $s$。该模型假设了一个生成过程，其中编码器将 $x$ 映射到初始潜在状态，“理论编程器”（Theory Programmer）按顺序选择原始操作，共享的转换模型执行这些操作以生成最终状态，解码器随后将其解码以重建 $y$。

2.2 习得的思想语言

NEO 不使用预定义的象征性语言，而是直接从数据中学习一种思想语言（Language of Thought）。

• 原始操作（Primitives）： 模型通过向量量化 VQ-VAE 码本诱导出一个离散的操作词汇表。这些原始操作没有预定义的语义；它们的意义源于它们如何转换潜在状态。
• 组合（Composition）： 理论编程器 $q_\phi(z_{ik} | s_k, y)$ 充当基于目标的条件策略，选择下一个原始操作以引导潜在状态朝向目标 $y$。这使得模型能够在没有显式监督的情况下将原始操作组合成结构化程序。

2.3 最小描述长度（MDL）原则

为了防止过度分解（创建不必要的长程序）并鼓励发现最可复用的原始操作集合，NEO 采用了最小描述长度（MDL）原则。模型选择一个最优程序长度 $k^*$，以在重建准确性和程序简洁性之间取得平衡：
$$k^* = \arg \min_{k} \lambda_{MDL}^k \cdot \ell(y, \hat{y}_k)$$
该机制激励模型找到最短的准确解释，自然地倾向于发现基本原始操作，而不是记忆纠缠的序列。

2.4 状态接地（State Grounding）

一项关键创新是状态接地。为了确保中间潜在状态对应于有效的观测（防止模型学习偏离数据流形的“捷径”转换），NEO 对中间状态强制执行解码 - 编码一致性损失。这确保了推断程序中的每一步都是在学到的潜在空间内有意义的转换。

2.5 推理与测试时扩展

在测试时，NEO 通过迭代选择原始操作来推断理论，直到重建误差低于阈值。由于模型学习了组合结构，它支持长度泛化（处理比训练期间看到的更长的程序）。此外，理论编程器的概率性质使得**测试时搜索（NEO-S）**成为可能，即采样多个候选理论并通过多数投票进行选择，以提高在复杂、未见组合上的准确性。

3. 评估：观测到理论归纳基准（OTIB）

作者引入了OTIB，这是一个旨在评估模型能否在没有程序监督的情况下从原始观测中推断出可复用理论的基准。

• 设置： 训练数据由潜在程序生成的观测对组成。训练集包含可能程序组合的 $\alpha$ 比例，其余部分作为组合分布外（Compositional Out-of-Distribution, OOD）保留。
• 指标： 性能通过自解释性（从支持对重建目标）和可迁移性（将推断的理论应用于新的查询输入 $x'$ 以预测 $y'$）来衡量。可迁移性是确定是否学习了可复用理论而非特定实例映射的关键指标。
• 领域： 该基准在三个领域中具体实现：
  1. GridWorld： 带有运动原始操作的 10x10 网格。
  2. 算术分解： 通过素数乘法进行的整数变换。
  3. 图像编辑： 通过旋转、亮度和掩码等操作变换的 CIFAR-10 图像。

4. 关键结果

实验表明，NEO 在所有设置下均显著优于单体基线（离散/连续 VQ-VAE 和 $\beta$-VAE）：

• 组合泛化： 虽然基线在分布内表现良好，但在组合 OOD 任务上，其可迁移性崩溃至接近零。NEO 保持了高可迁移性（例如，GridWorld OOD 约为 0.93），证明它学习的是可复用的原始操作，而不是记忆输入 - 输出映射。
• 长度泛化： NEO 成功泛化到比训练期间观察到的更长的程序（例如，GridWorld 中的长度 8，算术中的长度 6），而基线在此能力上完全失败。
• 原始操作发现： 分析显示，即使原始操作在训练期间从未单独出现过（低 $\alpha$），NEO 也能恢复真实原始操作集。该模型成功地将纠缠的训练示例分解为原子、可复用的单元。
• 测试时扩展： 利用推理时基于采样的搜索的 NEO-S 变体进一步提升了性能，特别是在长视野任务上，证实了组合结构能够有效地探索程序空间。

5. 意义与主张

本文将自己定位为人工智能学习目标转变的概念验证：从以预测为中心的世界模型转向以解释驱动、组合式理解。

• 理论贡献： 它验证了这样一个假设：结构化、可组合的理论可以从原始、非文本的观测中诱导出来，而无需象征性监督，这与发展认知科学中“婴儿即科学家”的观点相一致。
• 方法论贡献： 它证明了将理论表示为带有习得原始操作的可执行程序，并对中间状态进行接地，能够实现单体潜在表示无法实现的系统性泛化。
• 适度范围： 作者明确承认了局限性。当前的公式假设小型、离散的原始操作集和短程序长度，限制了其在高度复杂、连续或随机现实世界动态中的可扩展性。实验仅限于受控的合成基准。该工作被呈现为学习机制的基础研究，而非部署就绪的系统。

总之，本文认为，通过将学习框架化为“学习理论化”，人工智能系统可以获取内部解释结构，这些结构是可复用的、可组合的，并且能够泛化到新颖现象，从而更接近更丰富的机器理解概念。