Reinforcement Learning with World Models in the Era of Scale: From Online Imagination to World Action Models
本文回顾了从2019年到2026年带有世界模型的强化学习的演进过程，强调了向互联网规模生成式基础模型和统一架构转变的三大关键范式转移，并调研了其在机器人、自动驾驶、医疗保健及多智能体系统等领域的广泛应用。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个能够在事情发生前进行预演的心智。几个世纪以来，哲学家和生物学家一直争论认为，这种在脑中模拟决策后果的能力是智能的基石。正是通过这种能力，人类决定如何穿过马路而不踏入车流，或者鸟类如何规划穿越风暴的飞行路径。在现代人工智能时代，研究人员一直试图教会机器这项同样的技能。他们将这些内部模拟称为“世界模型”。与其仅仅通过在现实世界中进行试错——这是一个缓慢、危险且昂贵的过程——人工智能代理会构建一张关于其环境运作方式的心理地图。它利用这张地图来想象成千上万种可能的未来，在脑海中测试各种行动，以观察哪些会导致成功，哪些会导致灾难，而无需移动任何物理肌肉。这种方法已从一个理论上的好奇点，转变为构建下一代智能系统的一个核心支柱。
对 2019 年至 2026 年间发表的研究进行的全面回顾显示，该领域经历了一场激进的变革。故事不再仅仅关于如何让机器人学习得更快；而是关于这些系统如何从简单的模拟器成长为强大的基础架构，驱动着从自动驾驶汽车到医疗方案的一切事物。研究人员 Wojciech Dąbrowicki 和 Andrzej Rusiecki 追踪了一个旅程：它始于提高视觉任务效率的尝试，并最终演变为能够从数十亿帧视频中学习的系统，在接触物理世界之前，实际上已经在脑海中构思出了新的技能。
该综述中确定的最显著转变是这些系统训练方式的变化。在早期，人工代理会在与真实环境交互的同时，学习其世界模型及其决策策略。如今，主流方法是先预训练世界模型。研究人员现在向这些系统输入大量的无标签视频数据——有时是数万小时的人类活动或互联网规模的视频素材——以教导它们世界是如何运动和变化的。一旦建立了这种心理模型，代理便完全在这个模拟的“梦境”中学习其特定任务。它不需要通过与现实世界交互来学习一项新技能。这种方法使得系统能够仅通过学习人类视频就掌握复杂任务，例如机械臂抓取物体，而仅需此前认为必要的极小部分数据。
另一个重大进化是模糊了“地图”与“旅行者”之间的界限。在过去，代理拥有一个用于理解世界的独立模型和一个用于决定行动的独立大脑。新一代系统通常被称为“世界动作模型”（World Action Models），它们统一了这两个功能。预测未来的模型同时也生成实现目标所需的行动。在某些情况下，这些统一的模型非常鲁棒，可以在无需进一步训练的情况下直接作为最终决策者。这种集成已被证明在自动驾驶领域特别强大，这些系统目前正被部署在生产环境中，用以构思罕见且危险的情景，例如儿童冲向街道，从而使车辆能够在从未经历过真实事故的情况下，学习如何安全反应。
该综述还强调了这些系统变得更加高效和抽象。早期的模型试图重建视频帧中的每一个像素，这在计算上非常沉重，且经常让系统分心于背景噪声等无关细节。较新的方法已经学会跳过逐像素重建，转而关注对任务有意义的底层动态和关系。其中一些系统规模已增长到包含超过十亿个参数，并在超过一百万小时的视频上进行训练，但它们仍能执行“零样本规划”（zero-shot planning），这意味着它们只需通过应用从大规模训练数据中学到的知识，就能解决从未见过的全新任务。
尽管取得了这些飞跃，作者指出仍然存在重大挑战。一个持续存在的问题是误差累积：当系统想象一段长序列的事件时，预测下一步时的微小错误会不断叠加，导致对未来的扭曲认知。还有一个物理准确性的问题：虽然这些模型擅长预测视觉模式，但在处理物体碰撞或流体运动的精确力学机制时，有时会显得力不从心。此外，该领域缺乏统一的衡量成功的方法。虽然存在许多不同的基准测试，但没有一个能完美预测世界模型在现实决策任务中的表现。
论文总结道，尽管这项技术已从学术实验转向工业基础设施，但未来的道路仍需解决这些根本性问题。愿景是清晰的：一个人工智能可以从人类庞大的视频历史中学习，建立对物理定律的深刻理解，并通过思考行动的后果来安全地应对复杂环境的未来。从简单的试错到复杂的基于想象的学习，这一旅程虽然迅速，但世界模型的全部潜力才刚刚开始显现。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。