🤖 AI

OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration

OPINE-World 是一个基于大语言模型（LLM）的智能体，它通过将假设生成与本体错误优先级的探索相结合，从基于像素的交互中在线学习数据高效、可重用且以对象为中心的程序化世界模型，在无需针对特定游戏进行训练的情况下，在具有挑战性的 ARC-AGI-3 基准测试上实现了强大的性能。

原作者： David Courtis, Wenhao Li, Scott Sanner

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： David Courtis, Wenhao Li, Scott Sanner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你被丢进了一个全新的电子游戏中。你不知道规则，不知道角色叫什么名字，甚至连“目标”是什么都不知道。你只能不停地按按钮，看看会发生什么。大多数计算机程序会陷入困境，试图记住它看到的每一个像素，或者需要玩成千上万次游戏才能弄明白按下“向上”会让角色跳跃。

这篇论文介绍了一种名为 OPINE-World 的新型 AI 智能体，它学习玩这些游戏的方式更像人类：通过构建一个世界的心理模型，测试它，并在出错时修正它。

以下是它的工作原理，分为几个简单的概念：

1. 双脑系统

与其使用一个试图处理所有事情的巨型大脑，OPINE-World 使用了两个协作的智能体（可以把它们想象成两个正在合作的专家）：

探索者 (动作智能体/The Explorer)： 这是“双手”。它在实时进行游戏。它尝试各种动作，观察结果，并记录下每一次移动和结果的“日记”。它现在还不尝试编写规则手册；它只是在收集证据。
建筑师 (世界模型智能体/The Architect)： 这是“大脑”。它阅读探索者的日记，并尝试编写一套规则（一个计算机程序）来解释为什么会发生这些事情。它会问：“如果我在地面上按下‘向上’，角色就会跳跃。如果他们在空中，他们就会落下。让我把这条规则记下来。”

2. “假设与测试”循环

该系统不仅仅是猜一次然后听天由命。它运行着一个持续的假设与测试循环：

建筑师编写一份规则手册草案（一个程序）。
探索者继续玩游戏。
验证者根据探索者的日记来检查建筑师的规则手册。它会问：“你的规则手册是否能精确预测日记中发生的所有事情？”
- 如果规则手册完美预测了未来，则被接受。
- 如果规则手册说“角色应该跳跃”，但角色实际上摔倒了，这就是一个反例 (Counterexample)。建筑师会收到一个“红旗”警告，重写规则手册以修复这个特定的错误，然后再次尝试。

3. 学习“本体论”（对象词汇表）

这是 OPINE-World 特别之处。在许多游戏中，计算机会被告知“这是一个玩家，这是一个墙壁”。但 OPINE-World 并非被告知这些信息的。它必须从零开始自行摸索。

问题： 想象你看一张桥梁的照片。它是一个巨大的物体，还是由许多小木板组成的？如果 AI 对物体的分组错误，它的规则将会变得混乱。
解决方案： 系统使用了一个聪明的衡量标准，叫做本体论误差 (Ontology Error)。你可以把它看作是一个“困惑度计”。
- 如果 AI 对某个物体的类型感到困惑（例如，“这是一个钥匙还是一个门？”），计数器就会上升。
- 如果 AI 对一个物体的行为感到困惑（例如，“有时这个按钮可以开门，有时却不行”），计数器也会上升。
- 系统利用这个计数器来引导探索者前往游戏中最令人困惑的部分以收集更多数据，从而帮助建筑师理清正确的“物体词汇表”。

4. “精确回放”规则

大多数 AI 系统只要“大致正确”即可。但 OPINE-World 是一个完美主义者。它使用了一种称为反例引导的归纳合成 (CEGIS) 的方法。

只有当建筑师的程序能够完美回放过去每一次的动作，精确到最后一个像素时，该程序才被允许使用。
如果程序哪怕仅有一次失败，也会被拒绝。这确保了一旦 AI 认为它掌握了规则，它就是真正掌握了规则，而不是仅仅基于模式进行猜测。

5. 结果：击败基准测试

研究人员在 ARC-AGI-3 上测试了它，这是一个旨在测试 AI 在没有预先训练的情况下学习新技能速度的极难基准测试。

挑战： AI 必须玩 25 种不同的游戏。它不知道目标、物体名称或规则。
结果： OPINE-World 成功解决了 25 个游戏中的 20 个。
效率： 它不仅解决了问题，而且解决得非常高效。在许多游戏中，它所采取的动作比人类还要少。
对比： 其他 AI 方法（如试图记忆像素的深度神经网络，或其他程序合成方法）在相同的严格条件下未能解决任何游戏。

总结类比

想象你被丢进了一个没人说你所用语言的异国他乡。

旧的 AI： 试图记住它看到的每一张脸和每一个路标，希望以后能识别出模式。它会被信息淹没并感到困惑。
OPINE-World：
1. 探索者四处走动，指着东西并记录：“当我推这个时，门开了。”
2. 建筑师根据这些笔记编写了一本字典和一本语法书。
3. 困惑度计告诉他们：“我们还不知道那个红色物体是什么，我们再去观察一下。”
4. 他们不断完善他们的字典，直到他们能够完美预测接下来会发生什么。
5. 一旦他们有了完美的字典，他们就可以规划前往目的地的路线，而不需要进行任何猜测。

论文声称，通过将“执行”与“思考”分离，并坚持要求其内部规则手册具有完美的准确性，这种系统可以比以往的方法更快、更高效地学习复杂的未知环境。

技术摘要：OPINE-World

问题陈述

构建能够适应陌生任务的智能体，需要通过交互学习环境的行为方式。虽然基于深度网络的生成式世界模型提供了灵活性，但它们对数据需求量大，且在训练分布之外的迁移能力较差。相反，程序合成的世界模型具有数据效率高和可重用的优点，但在历史上一直受限于具有预定义对象词汇表的结构化状态环境。单一的程序搜索无法扩展到像素渲染的环境中，因为在这些环境中，对象结构本身必须能够灵活地从原始观测中进行假设。

这项工作解决的核心挑战是，在以下环境下通过交互在线学习一个以对象为中心的程序化世界模型：

对象词汇表及其机械类型的划分是未知的。
目标和动作语义是隐藏的。
智能体必须仅从原始像素帧和稀疏奖励中推断对象结构、动力学和目标相关性。

方法论：OPINE-World

OPINE-World 是一个 LLM 智能体，它通过“假设与测试”的循环学习一个以对象为中心的程序化世界模型。它耦合了两个协作的智能体和一个周期性的评论者（critic），并在共享的交互回放缓冲区上运行。

1. 以对象为中心的程序化模型

世界模型表示为一个按对象类型进行分解的 Python 程序。该模型不是一个单体化的转移函数，而是为每个机械类型 $\tau$ 持有一个响应规则 $f_\tau$ 。该规则根据对象的当前属性、执行的动作以及只读的局部上下文来预测更新后的对象状态。这种分解使得从一个对象中学习到的规则可以迁移到所有同类型的对象上，前提是类型划分近似正确。

2. 两个协作的智能体

系统将行动与建模解耦为两个专门的 LLM 智能体：

行动智能体（目标导向）： 与实时环境交互，提出关于动力学和目标的假设并对其进行探测。它维护一个自然语言世界模型，并根据当前的合成模型或探索需求选择动作。
合成智能体： 读取共享的交互缓冲区和行动智能体的假设。它合成代码（即世界模型），将观察到的转移泛化为规则。它将候选程序提交给验证器。

3. 验证与反例引导合成 (CEGIS)

只有当候选程序能够精确复现缓冲区中记录的每一次转移时（精确回放测试），才会被采纳。

接受标准： 程序必须逐属性、逐对象地预测下一个状态。此外，程序还会运行两次以确保确定性（拒绝依赖于隐藏状态的模型）。
修复机制： 合成是由反例触发的——即当前模型误判观察结果的转移。一个延迟窗口允许反例在重写前进行累积，而一个停滞保护机制则防止在无法修复的错误上陷入无限循环。
目标识别： 一旦某个关卡被通过，系统会合成一个布尔目标谓词，并使用相同的精确回放标准进行验证。

4. 本体错误与探索引导

由于对象划分是未知的，OPINE-World 采用了一种称为本体错误 ( $\eta_t$ ) 的贝叶斯诊断方法来引导探索。

效应特征（Effect Signatures）： 系统不跟踪精确的数值增量，而是跟踪属性变化的粗略类别特征（例如：“x 改变了”、“像素改变了”、“消失了”）。
局部效应表： 这些表按行（由类型、动作和局部上下文定义）统计特征数量。
不确定性度量： 系统计算两种归一化熵：
1. 类型不确定性 ( $U_{type}$ ): 系统对一个对象机械类型的确定程度。
2. 行不确定性 ( $U_{row}$ ): 特定类型-动作-上下文组合下效应分布的混合程度。
本体错误： 通过这些不确定性的 Noisy-OR 计算得出（ $\eta_i = 1 - (1-U_{type})(1-U_{row})$ ），用于识别当前类型无法解释的对象和上下文。行动智能体会被引导去探索高错误区域，从而促使合成智能体细化类型或增加上下文特征。

5. 规划

一旦模型被采纳且至少通过了一个关卡，规划器就会在验证过的模型中搜索通往目标的路径。计划被逐步执行于实时游戏中。任何预测状态与观察状态之间的不匹配都会中止计划，记录一个反例，并将控制权交还给行动智能体。

核心贡献

OPINE-World 智能体： 一个通过涉及两个协作智能体、反例引导合成及基于模型的规划的“假设-测试”循环，在线学习以对象为中心的程序化世界模型的 LLM 智能体。
本体发现： 一种直接从交互中发现对象本体（将对象划分为机械类型）的方法，将程序合成的世界模型从结构化状态输入扩展到了对象结构未知的像素渲染环境。
在 ARC-AGI-3 上的评估： 在 ARC-AGI-3 基准测试（其中对象词汇、目标和动作语义均被隐藏）上的演示，表明 OPINE-World 在无需针对每个游戏进行训练的情况下解决了 25 个游戏中的 20 个。

实验结果

系统在 ARC-AGI-3 公开评估集（25 个游戏，183 个关卡）上进行了评估。

性能： OPINE-World 在无需针对每个游戏进行训练的情况下，解决了 25 个游戏中的 20 个，并完成了 183 个关卡中的 160 个。
动作效率： 其动作效率得分为 78.4（相对于人类基准），而一个强大的单智能体编码基准（baseline1）为 63.8，一个在评估集上预训练的视觉智能体为 63.2。
与基准对比：
- 单智能体编码 (baseline1)： 解决了 14 个游戏。OPINE-World 解决了这 14 个游戏中的全部，并额外解决了 6 个击败了该基准的游戏。在基准失败的 6 个游戏中，OPINE-World 使用的动作数仅约为基准失败前所用动作数的 25%。
- 程序合成 (WorldCoder) 与神经潜空间模型： 这些方法在基准测试的动作预算内解决了 0 个游戏。
- 人类基准： 在 OPINE-World 获胜的 20 个游戏中，有 16 个案例其使用的动作数少于人类参考值。

意义与主张

论文声称，OPINE-World 证明了程序化世界模型可以从原始像素中在线学习，且无需预定义的对象词汇或目标。通过将行动与建模分离，并使用由贝叶斯本体错误引导的严格精确回放验证循环，该系统实现了高样本效率和可迁移性。

作者强调，该系统不依赖于乐观约束或合成的奖励函数（不同于 WorldCoder 等先前工作），而是依赖于精确回放一致性和从观察到的奖励中提取的目标谓词。结果表明，通过按对象类型分解模型并动态发现本体，智能体能够跨越不同的布局进行泛化，并以比神经潜空间模型或单智能体编码方法更少的交互次数完成复杂的技能习得任务。

局限性

作者指出了以下几点局限性：

可观测马尔可夫范围： 精确回放测试假设在正确的表示下存在确定性的转移函数。隐藏状态会降低时间信号的准确性。
推断感知： 对象配对和类型划分是从原始帧中推断的，这比使用引擎提供的对象标识要困难。
规划器规模： 规划器使用有界前向搜索，这在具有高分支因子的游戏中可能会失效。
单次运行： 结果基于每个游戏的单次运行，缺乏方差估计。