Correcting a learned physical invariant improves world-model rollouts
本文表明，尽管像 DreamerV3 这样的世界模型能够从视频数据中学习编码诸如能量之类的物理不变性，但这些不变性在自主展开（rollouts）过程中会发生漂移，而通过修正潜状态以满足所学习的约束，可以显著提高预测精度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，一种被称为“世界模型”（world model）的特定软件已成为一种强大的预测工具。这些系统通过观察视频片段进行训练，学习世界的运动方式，从而使其能够想象接下来会发生什么。如果一个机器人学会了预测落球的路径或摆钟的摆动，它就可以利用这种预见性来规划自己的行动。然而，一个仅仅能正确预测像素的模型与一个真正理解支配这些像素的物理规律的模型之间，存在着至关重要的区别。一个模型可能会通过识别模式来高精度地猜测视频的下一帧，但从未理解运动的底层规律，例如重力或能量守恒。当我们要求这些模型想象超出其训练范围的场景时，这种差距至关重要：如果模型不遵守宇宙的基本规则，其长期预测最终会漂移成荒谬的结果。
研究人员最近试图测试一个经过复杂训练的世界模型（仅通过观看摆钟视频进行训练）是否真的学习了能量守恒这一物理定律。他们使用了一个名为 DreamerV3 的系统，该系统已被证明能有效预测视频帧，但他们剥离了所有外部引导。该模型被输入了 64x64 像素的真空环境下摆钟摆动的视频，没有任何关于“能量”是什么的标签，没有物理方程，也没有因预测正确而给予的奖励。目标是观察在训练后，模型是否在其自身的内部状态中自发地发现了一个隐藏的常数，就像现实世界中的能量一样，在摆钟摆动时保持不变。
团队首先检查了模型是否可以被“读取”以找到这样一个数字。他们发现，甚至在模型训练之前，对模型内部状态的随机猜测有时也能产生一个看起来像能量的数字。这表明，仅仅在模型内部拥有正确的信息，并不足以证明它已经学习了物理学。真正的测试是在训练之后进行的。研究人员分析了三个独立训练模型的内部状态，发现它们都收敛到了几乎相同的隐藏数字。这个数字的行为表现得完全像摆钟的总能量：它在摆钟来回摆动时保持稳定，仅因模拟器的自然极限而发生微小变化。至关重要的是，这种一致性并未出现在接受阻尼摆训练的模型中（其中摩擦力会导致能量消失）。在那些案例中，寻找守恒数的尝试完全失败了，这证明了这些模型并非只是在寻找随机模式，而是专门针对物理守恒定律做出的反应。
然而，当研究人员要求模型在不观察真实视频的情况下想象未来时，出现了一个更深层的问题。当模型独自预测摆钟的运动时，它们所学习到的隐藏数字开始发生漂移。它随时间缓慢改变数值，违反了模型似乎已经学到的物理定律。这种漂移导致模型的预测变得越来越不准确。为了测试这种漂移是否是误差的原因，研究人员应用了一个简单的修正方法：在每一次想象的过程中，他们强制将模型的内部状态拉回到正确的能量水平。这种干预并不涉及重新训练模型或修改其代码；它只是将内部状态推回正确的路径。结果是即时且一致的。在所有三个学习了物理定律的模型中，这种修正使它们在 50 步预测中的误差减少了约 3%。相比之下，基于随机、无意义的数字进行类似的修正通常会使预测效果变差。
这项研究揭示了这些人工大脑运作方式中的一种特定失效模式。模型成功地从它们观察到的像素中编码了一个物理约束，但在尝试向后想象时，它们却未能保持这一约束。这有点像一个学生可以完美地背诵游戏规则，但在独自玩耍时却不断做出违规动作。研究表明，虽然世界模型可以学习物理定律的结构，但它们并不会在自身的内部模拟过程中自动遵守这些定律。这一发现强调了学习模式与理解规则之间的差距，表明即使是先进的系统，也可以在记忆中持有物理真理，同时又在想象中违反它。这项工作并不声称已经解决了所有复杂系统的这一问题，但它提供了一种识别模型是否学习了物理不变性的清晰方法，以及一种修复因忘记应用该定律而产生的误差的具体方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。