JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning
JEDI 引入了首个在线端到端潜在扩散世界模型，该模型将 JEPA 风格的预测表示学习与扩散目标相统一，从而在基于模型的强化学习中实现了比基于像素的方法以及单独训练的潜在方法更优越的效率和更具竞争力的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人玩电子游戏。为了高效地做到这一点，机器人需要一个“世界模型”——一种对游戏运作方式的思维模拟，以便它在实际游玩之前就能在脑海中进行练习。
长期以来，构建这种思维模拟的最佳方法是让机器人尝试逐像素地重建游戏画面，就像画家试图精确复制一张照片一样。这种方法虽然准确，但速度非常慢，并且需要海量的计算机内存（就像试图把整个图书馆塞进你的背包里）。
最近，一种名为**扩散（Diffusion）**的新技术变得流行起来。把扩散想象成一位雕塑家：他从一块充满噪点和杂讯的粘土开始，慢慢凿去噪点，从而显现出一尊清晰的雕像。这对于理解复杂场景非常棒，但逐像素地执行这一过程对于机器人在实时运行来说仍然过于沉重。
另一种方法试图先将游戏压缩成一个微小的抽象“摘要”（潜在空间），但这些摘要通常是单独训练的，且未能独自充分学习游戏规则。
JEDI（联合嵌入扩散）登场了。
这篇论文的作者创造了一种新方法，结合了两者之所长。以下是 JEDI 的工作原理，使用简单的类比来说明：
1. “思维快照”与“绘画”
- 旧方法（像素扩散）： 想象机器人试图记住海滩上的每一粒沙子，以此来理解海洋。虽然准确，但这需要耗费永恒的时间，并耗尽它所有的脑力。
- JEDI 的方法： JEDI 不要求机器人记忆沙子，而是教它捕捉海洋的本质（波浪、颜色、动态）的思维快照。它不在乎单个沙粒。它将游戏画面压缩成一个微小、高效的“摘要”，只捕捉对获胜至关重要的内容。
2. “猜谜游戏”训练
机器人是如何学会拍摄这些快照的？
- 旧方法： 机器人通常是通过被展示一张图片并被要求重绘它来训练的。如果它漏掉了一个细节，就会受到惩罚。这就像给学生评分时关注的是字迹而不是对故事的理解。
- JEDI 的方法： JEDI 使用一种预测猜谜游戏。
- 机器人观察当前的游戏状态。
- 它被要求猜测下一个“思维快照”会是什么样子。
- 为了增加难度（并使其更智能），计算机获取实际的下一个快照，向其添加一些“静态噪点”（就像将其模糊化），然后要求机器人将其去噪回清晰状态。
- 关键在于，机器人是在游玩过程中学习这一点的。它不需要一位单独的老师来教它如何绘画；它通过尝试预测未来来学习游戏规则。
3. 为什么这很重要（结果）
该论文声称 JEDI 在三个方面是一个重大升级：
- 更精简： 因为 JEDI 处理的是微小的“思维快照”而非完整的视频帧，它使用的计算机内存减少了 43%。这就像从背着一个装满书的沉重背包，换成携带一个单一的、智能的笔记本。
- 更快速： 机器人的思考（采样）速度比之前最好的基于像素的方法快3 倍，训练速度快2.5 倍。
- 玩法不同： 这是最令人惊讶的部分。论文发现，JEDI 不仅玩得更快，而且玩得不同。
- 对于那些其他机器人已经觉得容易的游戏，JEDI 表现良好，但并不总是绝对最佳。
- 然而，在最困难、最混乱的游戏（例如有许多移动目标的射击游戏）中，JEDI 大放异彩。它似乎能更好地处理混乱，因为它的“思维快照”专注于策略，而不是被视觉噪点分散注意力。
结论
该论文认为，你不必成为一名完美的画家（重建每一个像素）也能成为伟大的战略家。通过教机器人利用去噪游戏（扩散）来预测未来的“要点”，你得到的系统运行速度更快、成本更低，并且在处理困难、混乱的情况时出奇地出色。
作者将这种方法称为JEDI，他们声称这是首次成功地将这种特定的“预测猜谜”方法与“去噪”（扩散）相结合，用于教机器人在线玩游戏，而无需任何预先训练好的老师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。