Simulus: Combining Improvements in Sample-Efficient World Model Agents
受 DQN 彩虹方法的启发，本文提出了 Simulus，这是一种模块化世界模型智能体，它结合了分词灵活性、内在动机、优先经验回放以及回归即分类技术，从而在多样化的视觉、连续和符号强化学习基准测试中实现了最先进的样本效率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个机器人玩电子游戏。问题在于，你只有非常有限的时间让机器人练习，因为电池很快就会耗尽。这就是研究人员所说的“样本效率”：用最少的尝试次数获得最多的学习成果。
长期以来，实现这一目标的最佳方法是教机器人构建一个“世界模型”。机器人不再仅仅对眼前所见做出反应，而是构建一个关于世界如何运作的心理模拟。随后，它可以在这个模拟中“白日梦”，在脑海中练习数百万次操作，而不会浪费哪怕一秒钟的真实电池寿命。
然而，构建这些心理模拟非常困难。研究人员发现了许多巧妙的技巧来改进它们，但这些技巧往往被隔离在不同的实验室中，因为将它们组合在一起，就像试图拼凑一个拼图，而拼图的碎片却不太吻合。
现在，Simulus 登场了。
“彩虹”的灵感
这篇论文的作者受到了人工智能历史上一个著名时刻的启发，即Rainbow。多年前，研究人员将几种不同的、经过验证的游戏人工智能改进方案组合成一个超级智能体。效果惊人。
这篇论文提出的核心问题是：“我们能为世界模型做同样的事情吗？”我们能否将一堆有前景但被忽视的技巧组合成一个模块化、易于构建的机器人“大脑”？
Simulus 的配方
作者构建了Simulus，这是一种新型智能体，其运作方式像一个模块化厨房。他们不是使用一个巨大而混乱的锅，而是设置了可以互换的独立工作站。以下是他们混合在一起的四种主要成分：
通用翻译器（Tokenization/分词化）：
想象一个机器人只能理解图片，或者只能理解数字。这是有限的。Simulus 使用一种“分词化”系统。你可以将其视为一个通用翻译器，它将一切——图像、数字、文本，甚至复杂的网格——转化为简单的乐高积木块（token）字符串。这使得机器人能够处理任何混合输入，无论是观看电子游戏屏幕，还是读取机械臂传来的数字列表。好奇的探索者（内在动机）：
通常，机器人只有在获得奖励（如游戏中的分数）时才会学习。但如果机器人感到无聊怎么办？Simulus 为机器人提供了第二种奖励：好奇心。如果机器人进入了一个它不太理解的世界区域（高“不确定性”），它就会获得一点“好奇心奖励”。这鼓励它去探索地图上奇怪、未知的角落，即使这些角落似乎没有即时的分数。论文发现，即使时间紧迫，这一点也至关重要。高光集锦（优先经验回放）：
当你学习新事物时，你不会只练习简单的内容，而是会专注于那些你反复出错的地方。Simulus 也是如此。它保留了一个“回放缓冲区”（记忆库），存储过去的经历。它不是随机地回顾这些经历，而是优先处理那些“困难”的时刻——即其世界心理模型出错的时刻。它会反复研究这些错误，直到将其修正。估算器（回归即分类）：
预测未来奖励很棘手，因为数字可能非常大或非常小。Simulus 不试图猜测确切的数字（例如“我将获得 42.3 分”），而是将其视为带有桶的猜谜游戏。它会问：“奖励是在‘低’桶、‘中’桶还是‘高’桶里？”这使得数学计算更加稳定和准确。
结果：新的冠军
作者在三个截然不同的“竞技场”中测试了 Simulus：
- Atari 100K： 经典电子游戏（视觉化、快节奏）。
- DMC 500K： 机器人控制任务（连续运动，无图片，只有数字）。
- Craftax-1M： 一个复杂的生存游戏，包含地图和统计数据（混合了所有内容）。
在所有三种情况下，Simulus 都击败了之前的最佳方法。 它学习得更快，并且达到了比任何其他不使用复杂规划算法的“白日梦”机器人更高的分数。
核心启示
这篇论文证明，你不需要一台庞大的单体超级计算机来构建优秀的人工智能。相反，你可以构建一个模块化系统，其中不同的部分（翻译器、好奇的探索者、高光集锦）完美协同工作。
作者还表明，好奇心（探索未知）实际上是安全且有益的，即使你只有很少的时间去学习。它不会浪费时间；它通过防止机器人陷入它已经理解的循环中来节省时间。
简而言之，Simulus 是构建高效人工智能智能体的新蓝图。它表明，通过组合正确的工具集，我们可以创造出学习速度极快、能处理任何类型数据、并准备好解决练习时间成本高昂的现实世界问题的智能体。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。