Orbis 2: A Hierarchical World Model for Driving
该论文介绍了 Orbis 2，这是一个结合了用于长时程场景结构的高层预测器与用于细节保真度的低层生成器的分层驾驶世界模型，它利用一种新颖的两阶段训练范式，通过扩散强制进行预训练以获得丰富的表示，并通过教师强制进行微调以实现稳定的展开，从而在驾驶模拟中达到了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个机器人开车。你不仅仅是想让它识别出一个停止标志；你还希望它能理解接下来会发生什么。如果机器人看到红灯，它需要预见到前方的车会停下来，交通会拥堵，而且灯最终会变绿。在人工智能的世界里，这种猜测未来的能力被称为“世界模型”（world model）。把这想象成机器人在大脑内部的一个心理电影放映机。当机器人看到当前的场景时，放映机会播放几秒钟内的景象——即如果机器人采取某个特定动作（比如转动方向盘）后，世界看起来会是什么样子。
长期以来，这些“心理电影”一直有些模糊或短暂。大多数机器人尝试逐帧预测未来，就像是在飞快地翻阅一本相册。这种方法在处理一两秒钟的情况时效果尚可，但如果你要求它们想象一分钟后的未来，电影就会变得混乱不堪：汽车会漂浮起来，道路也会消失。问题在于，机器人试图记住每一个微小的细节——比如沥青的纹理或某片叶子的颜色——而不是专注于大局，比如“道路向左弯”或“车辆正在减速”。科学家们意识到，要做出好的预测，你需要将“大概念”与“细微细节”分开，就像人类驾驶员在规划路线时会瞥向地平线，同时又关注着前车的保险杠一样。
于是，出现了 Orbis 2，这是一种由弗莱堡大学研究人员开发的新型驾驶大脑。他们的核心理念是停止试图同时处理所有事情，而是为机器人建造一座两层结构的“心理房子”。顶层是“抽象预测器”（Abstract Predictor），它是一个睿智的高层规划者，负责观察大局。它不在乎路过的卡车油漆是什么颜色，它只关心道路的结构、其他车辆的位置以及未来几秒钟内的行程走向。它就像一位国际象棋大师，能洞察整个棋局并规划出十步之后的走法，而不会去在意棋子木纹的纹理。
底层是“细节生成器”（Detail Generator）。它是一位艺术家。它接收来自顶层的粗略草图，并填补所有缺失的像素。它会添加车窗上的闪亮反光、树木的具体形状以及道路的质感。通过这样拆分任务，机器人可以在不迷失方向的前提下规划一条漫长且复杂的路线，同时还能生成一段看起来极其逼真且清晰的视频。
但这里有一个难点。当机器人尝试学习这项技能时，它经常会感到困惑。如果你只给它看过去完美的、干净的范例来预测未来，它就会变得懒惰，并在情况稍有偏差时失败。研究人员发现了一个巧妙的技巧来解决这个问题：他们使用一种叫做“扩散强制”（diffusion forcing）的方法来训练机器人。想象一下，通过展示一张照片，然后用一点脏东西把它弄脏，再要求学生猜原图长什么样来进行教学。通过不断重复这个过程，机器人学会了如此深刻地理解世界的“结构”，以至于它能够应对混乱的现实情况。一旦它掌握了这种深层的理解，研究人员就会切换到标准的训练方法，以确保它能完美地预测紧接着的下一帧。
结果令人印象深刻。在真实驾驶数据的测试中，Orbis 2 不仅看起来效果出色，而且表现得非常稳定。当其他机器人运行几秒钟后就开始出现幻觉或偏离道路时，Orbis 2 依然能保持冷静，长时间地进行高精度预测。它还证明了拥有强大的“世界理解力”（例如知道什么是路、什么是车）对于长期稳定性而言，比仅仅拥有一个超高清的摄像头更为重要。该模型还非常高效，运行速度比竞争对手更快，且占用的计算内存更少。
简而言之，Orbis 2 表明，智能自动驾驶汽车的秘诀不在于更大的大脑或更锐利的眼睛，而在于将大脑进行分层组织。通过让高层规划者专注于“是什么”和“在哪里”，同时让注重细节的艺术家处理“看起来如何”，机器人便能以一种此前难以企及的前瞻性和稳定性，在复杂且混乱的驾驶世界中穿行。这是向着“不仅是看见道路，而且真正理解道路走向”的机器迈出的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。